精华内容
下载资源
问答
  • Python爬取网页提示状态码404,浏览器可访问网址错误原因原因正确修改 错误原因 url = "https://www.ip138.com/iplookup.asp?ip=222.222.64.194&action=2" try: r = requests.get(url) print(r.status_code)...

    Python爬取网页提示状态码404,浏览器可访问网址

    错误原因

     url = "https://www.ip138.com/iplookup.asp?ip=222.222.64.194&action=2"
        try:
            r = requests.get(url)
            print(r.status_code)
            r.raise_for_status()
            r.encoding = r.apparent_encoding
            print(r.text)
        except:
            print("爬取失败")
    

    在这里插入图片描述

    原因

    该网址保护较好,没法直接通过链接访问到该网站

    正确修改

    添加请求头
    kv = {’ user-agent’: ‘Mozilla/ 5.0’}
    r = requests.get(ur1, headers=kv)

     url = "https://www.ip138.com/iplookup.asp?ip=222.222.64.194&action=2"
        try:
            kv = {'user-agent': 'Mozilla/5.0'}
            r = requests.get(url, headers=kv)
            print(r.status_code)
            r.raise_for_status()
            r.encoding = r.apparent_encoding
            print(r.text)
        except:
            print("爬取失败")
    

    在这里插入图片描述
    状态码显示200,访问成功

    展开全文
  • flask项目运行时404错误 部署项目时遇到404找不到资源的问题 运行项目时项目可以正常启动,但是会提示UserWarning,如下: UserWarning: Current server name '172.29.60.11:5000' doesn't match configured server ...

    flask项目运行时404错误

    部署项目时遇到404找不到资源的问题 运行项目时项目可以正常启动,但是会提示UserWarning,如下:

    UserWarning: Current server name ‘172.29.60.11:5000’ doesn’t match configured server name ‘0.0.0.0:5000’

    UserWarning: Current server name ‘172.29.60.11:5000’ doesn’t match configured server name ‘0.0.0.0:5000’

    即:当前服务器名称“172.29.60.11:5000”与配置的服务器名称“0.0.0.0:5000”不匹配
    这种情况主要发生在使用了config.from_object(xx)来配置加载属性
    如下:

    class AppConfig():
    	ENV = "production"    # 生态环境        development:开发者模式
    	DEBUG = True
    	SERVER_NAME = "0.0.0.0:5000"
    
    api = Flask(__name__)
    def get_app():
    	api.config,from_object(AppConfig)
    	api.test_request_context()
    	# 注册蓝图
    	import admin_api
    	api.register_blueprint(admin_api.blue)
    
    
    __main__ = "__name__"
    	app = get_app()
    	app.run()
    

    如果是通过Falsk提供的config.from_object(xx)方法来配置webApi的地址,则SERVER_NAME尽量别用localhost或者0.0.0.0,否则会发生上述提到的服务器名称与配置名称不符合的错误。
    在flask服务器运行时,配置服务器地址别用“0.0.0.0” 代替 服务器IP地址,将“0.0.0.0”改为当前服务器地址即可解决该问题,如下:

    class AppConfig():
      ENV = "production"    # 生态环境        development:开发者模式
      DEBUG = True
      SERVER_NAME = "192.168.1.1:5000"
    

    当然也可以不用config.from_object(xx)方法来配置webapi的地址,也可以解决这个问题

    api = Flask(__name__)
    def get_app():
    	# api.config,from_object(AppConfig)
    	api.test_request_context()
    	# 注册蓝图
    	import admin_api
    	api.register_blueprint(admin_api.blue)
    
    
    __main__ = "__name__"
    	app = get_app()
    	app.run(host="0.0.0.0", port=5000, debug=None, load_dotenv=True)
    

    这是从配置方法上解决问题,即run的时候指定host,port

    展开全文
  • python Django 提示““GET /static/css/bootstrap.min.css.map HTTP/1.1” 404错误 提示这个错误说明找不到booststrap.min.css.map这个文件,我们只需要把下载的boostrap里的bootstrap.min.css.map文件也放到...

    python Django 提示““GET /static/css/bootstrap.min.css.map HTTP/1.1” 404”错误

    提示这个错误说明找不到booststrap.min.css.map这个文件,我们只需要把下载的boostrap里的bootstrap.min.css.map文件也放到Django项目中的bootstrap.min.css所在的文件夹即可。
    在这里插入图片描述

    展开全文
  • 主要介绍了在Python的Django框架中编写错误提示页面,包括传统的404页面和设置连接中断警告等,需要的朋友可以参考下
  • python检测404页面

    千次阅读 2017-11-28 22:23:17
    某些网站为了实现友好的用户交互,提供了一种自定义的错误页面,而不是显示一个大大的404 ,比如CSDN上的404提示页面如下: 这样虽然提高了用户体验,但是在编写对应POC进行检测的时候如果只根据返回的HTTP头部...

    某些网站为了实现友好的用户交互,提供了一种自定义的错误页面,而不是显示一个大大的404 ,比如CSDN上的404提示页面如下:
    这里写图片描述
    这样虽然提高了用户体验,但是在编写对应POC进行检测的时候如果只根据返回的HTTP头部信息判断,则很可能造成误报,为了能准确检测到404页面,
    需要从状态码和页面内容两个方面来进行判断。
    从状态码来判断比较简单。可以直接使用requests库发送http请求,得到响应码即可。
    从页面内容上进行判断的话,采用的思路是访问web站点上明显不存在的页面,获取页面内容进行保存,然后访问目标页面,将二者进行比较,如果相似度达到某一阈值,则该页面为404页面,否则为正常页面。
    为了判断两个页面的相似度,采用Python的simhash库,这个库具体实现的算法我不太懂,但是Python的好处就是:不懂无所谓,直接拿来用就行。这里也只是简单的拿来用一下:

    #-*- encoding:utf-8 -*-
    # 404 页面识别
    from hashes.simhash import simhash
    import requests
    
    class page_404:
        def __init__(self, domain): #检测站点
            self._404_page = [] # 404页面
            self._404_url = [] #404 url
            self._404_path = ["test_404.html", "404_test.html", "helloworld.html", "test.asp?action=modify&newsid=122%20and%201=2%20union%20select%201,2,admin%2bpassword,4,5,6,7%20from%20shopxp_admin"] #404页面路径,用于生成一部分404页面
            self._404_code = [200, 301, 302] #当前可能是404页面的http请求的返回值
            #自己构造404url,以便收集一些404页面的信息
            for path in self._404_path:
                for path in self._404_path:
                    if domain[-1] == "/":
                        url = domain + path
                    else:
                        url = domain + "/" + path
                    response = requests.get(url)
                    if response.status_code in self._404_code:
                        self.kb_appent(response.content, url)
    
        def kb_appent(self, _404_page, _404_url):
            if _404_page not in self._404_page:
                self._404_page.append(_404_page)
            if _404_url not in self._404_url:
                self._404_url.append(_404_url)
    
        def is_similar_page(self, page1, page2):
            hash1 = simhash(page1)
            hash2 = simhash(page2)
            similar = hash1.similarity(hash2)
            if similar > 0.85: #当前阈值定义为0.85
                return True
            else:
                return False
    
        def is_404(self, url):
            if url in self._404_url:
                return True
    
            response = requests.get(url)
            if response.status_code == 404:
                return True
            if response.status_code in self._404_code:
                for page in self._404_page:
                    if self.is_similar_page(response.content, page):
                        self.kb_appent(url, response.content) #如果是404页面,则保存当前的url和页面信息
                        return True
                    else:
                        return False
            return False

    上面的代码中,检测类中主要保存了这样几个信息:
    _404_page:404页面,用于与其他请求的页面进行相似度判断,以便识别404页面,这里用列表主要为了防止一个站点有多种404页面,这段代码运行时间越长它的准确度越高
    _404_url:404 页面的url,保存之前判断出页面是404的url,已经判断出来的就不再判断,为了提升效率
    _404_path:构建不存在页面的url,最后一个是一个sql注入的代码,这里为了识别出那些被防火墙拦截而显示的错误页面
    _404_code:可能返回404页面的响应码,如果响应码为这些,则需要对页面进行判断
    类在初始化时需要传入一个域名,根据这个域名来拼接几个不存在的或者会被防火墙拦截的请求并提交这些请求,得到返回信息,将这些信息作为判断的信息进行保存。
    在判断时首先根据之前保存的404 url信息进行判断,如果当前url是404页面则直接返回,提高效率。然后提交正常的http请求并获取响应信息,
    如果响应码为404则返回True,否则再状态码是否在_404_code列表中,最后再与之前保存的404页面信息进行比较得到结果。
    这段代码的测试代码如下:

    from page_404 import page_404
    if __name__ == '__main__':
        domain = "http://xzylrd.gov.cn"
        check_404 = page_404(domain)
        dest_url = "http://xzylrd.gov.cn/TEXTBOX2.ASP?action=modify&newsid=122%20and%201=2%20union%20select%201,2,admin%2bpassword,4,5,6,7%20from%20shopxp_admin"
        print (check_404.is_404(dest_url))
    展开全文
  • 2019独角兽企业重金招聘Python工程师标准>>> ...
  • 2019独角兽企业重金招聘Python工程师标准>>> ...
  • 我在提交表单时收到了404错误提示。我试图通过该表格上传并提交.png,按理来说服务器(Python,Flask)应该能够使用它才对......有人知道我的问题出在哪里吗? <p>AJAX: <pre><code><script> document....
  • Python开发环境下安装了bottle框架,输入例子: from bottle import error, route, run @route('/hello') @error(404) def hello():  return 'hello world.' run(host='localhost', port=8082, debug=True, ...
  • Python实训第三天

    2020-07-02 10:05:33
    如果遇到500的错误, 一定要认真看错误提示, 具体时在后台程序的哪里出现了问题 Cookie 客户端浏览器上的一个文件, 该文件与服务器本身没有任何关系 cookie的存储方式为: key : value (类似于python的字典类型) 在...
  • 文章目录1. 下载地址及安装说明2. 下载出错及解决方案 1. 下载地址及安装说明 ...使用某些国产浏览器(如QQ浏览器)可能会提示如下所示的404错误 404 - File or directory not found. The resource you are
  • cionda create -n torch python3.6 出现的错误大致如下: 解决方法: 输入 conda config --remove channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ 也就是移除了原来的传输路径,之后便可以...
  • 运行项目 提示AttributeError: module 'json' has no attribute 'dumps'错误 没有重复命名的json.py文件 ``` "C:\PyCharm 2019.3.3\bin\runnerw64.exe" D:\Users\曲宗山\PycharmProjects\untitled5\venv\Scripts\...
  • 访问某个网站时,如果出现网站页面无法打开、无法登陆账密、抓取信息显示空白、出现404 not found错误提示、明确标明同一IP操作字样等。都能说明你中奖了,IP被封了。建议先观察下出现的规律,如...
  • <div><p>详细错误提示如下: <pre><code> bash Traceback (most recent call last): File "bddown_cli.py", line 53, in <module> execute_command() File "bddown_cli.py", line 49...
  • 1、执行yum命令报404错误 2、 执行yum install命令提示failed错误 3、执行yum命令提示Python解释器不存在 具体请参考以下步骤进行排查。 简介 本文主要为大家讲解CentOS 7系统中执行yum命令失败等常见问题的...
  • pip 下 Wordcloud安装失败

    千次阅读 2019-08-01 11:42:28
    win10系统下Python安装wordcloud库出现错误的问题,安装命令行提示的网址跳转之后发现是404,枯了,然后就来找各种解决方法 查询了许多的方法之后,发现最好用的方法是以下的方法: https://www.lfd.uci.edu/~gohlke...
  • 0_requests库的安装

    2020-05-20 07:53:50
    request库的安装 用管理员身份运行命令提示符 pip install requests 就可以...r.status_code #状态码 200代表正确,404代表错误 r.encoding = 'utf-8' #状态编码 r.text #打印出来 如果requests安装不成功 pip install
  • 如果部分链接提示下载失败(若全部无法下载看上一条解决方案),这个不影响,应该是爬虫爬到了已经被管理员删除或者还没有正式发布的资源,能够正常下载的就是该课程所有的资源。 TO DO LIST 下载文档按课程归类...
  • 404 GET /favicon.ico (127.0.0.1) 20.00ms QUANTAXIS>> Selecting the Best Server IP of TDX USING DEFAULT STOCK IP USING DEFAULT FUTURE IP QUANTAXIS>> === The BEST SERVER =&#...
  • 树莓派3B+语音无输出

    2021-01-06 16:02:28
     404 Not Found [IP: 218.104.71.170 80] 正在读取软件包列表... 完成  E: 仓库 “http://mirrors.ustc.edu.cn/archive.raspberrypi.org stretch Release” 没有 Release 文件。 N: 无法安全地用该源进行更新&#...
  • RED HAT LINUX 6大全

    热门讨论 2011-10-21 18:46:06
    7.2.10 普通的sendmail配置错误 128 7.3 POP 128 7.3.1 配置POP服务器 128 7.3.2 配置ipop3d 128 7.3.3 APOP如何工作 129 7.3.4 设置APOP验证 130 7.3.5 POP3协议 130 7.4 IMAP 130 7.5 邮件获取 131 7.5.1 配置...
  • wxPython学习手册

    热门讨论 2014-04-19 08:01:58
    2.8 一些最常见的错误现象及解决方法? 48 2.9 总结 49 3、在事件驱动环境中工作 51 3.1 要理解事件,我们需要知道哪些术语? 51 3.2 什么是事件驱动编程? 52 3.2.1 编写事件处理器 54 3.2.2 设计事件驱动程序 55 ...
  • 更正《深入理解高并发编程(第1版)》中的一处错误! 冰河写的这部《深入理解高并发编程》电子书全网已累计下载15W+!! 高并发场景下如何优化服务器的性能? ReadWriteLock怎么和缓存扯上关系了?! 一起进大厂...

空空如也

空空如也

1 2
收藏数 27
精华内容 10
关键字:

python404错误提示

python 订阅