精华内容
下载资源
问答
  • fake-usergent报错一劳永逸解决办法

    千次阅读 多人点赞 2020-05-28 10:01:10
    处理fake-useragent报错 1. 报错如下: fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached 原因:fake-useragent能够给我们这么多用户代理,其实质上是它访问了一个网站,如果访问网站...

    处理fake-useragent报错

    1. 报错如下:

    fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached
    

    原因:fake-useragent能够给我们这么多用户代理,其实质上是它访问了一个网站,如果访问网站失败达到最大重试次数,那么就会报这样的错误。我们只需要访问该网站并将网站中的数据保存到本地即可。

    网站为:https://fake-useragent.herokuapp.com/browsers/0.1.11
    

    在这里插入图片描述
    2. 解决办法:
    访问此网站,并将返回的数据保存为json文件并放在系统的临时目录中。

    1. 访问网站并保存数据,保存的路径在代码的同级路径下,若有访问不了此网站的,我提供了百度网盘的下载链接。

      链接: 下载链接
      提取码:ak2i

    import requests
    
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36'}
    res = requests.get('https://fake-useragent.herokuapp.com/browsers/0.1.11', headers=headers)
    with open('fake_useragent_0.1.11.json', 'w', encoding='utf-8')as f:
        f.write(res.text)
        print('保存完毕')
    
    1. 查看本系统的临时文件夹,我系统的临时文件夹为
      路径:C:\Users\ADMINI~1\AppData\Local\Temp
    import tempfile
    
    print(tempfile.gettempdir())
    
    1. 先显示隐藏文件夹,再将下载的json文件放在系统的临时文件夹里面即可
      在这里插入图片描述
      在这里插入图片描述

    3.测试结果
    原因:因为我们已经用户代理的json文件保存到本地了,所以相当于之后发送的请求fake-useragent都会先检查我们电脑是否有此文件,若没有则去请求网站。

    断网后的测试结果,大伙要注意一下,我们将json文件放在的是系统的临时文件夹,如果下一次你们使用还是报错了,就要检查一下是不是已经将其清理掉了。
    在这里插入图片描述

    结语:本章小知识点在这里就结束了。期望大家能够学到知识并将知识运用到实际当中,fake-useragent的主要作用就是产生不同的用户代理,这样我们就不需要再去网上收集用户代理保存到一个列表或py文件中。再使用random模块中的choice方法去随机选择了,会使我们方便很多。

    展开全文
  • Python fake_useragent模块报错 pip install -U fake-useragent 升级一下 https://fake-useragent.herokuapp.com/browsers/0.1.11 from fake_useragent import UserAgent ua = UserAgent() #ie浏览器的user ...

     Python fake_useragent模块报错

    pip install -U fake-useragent 升级一下

    https://fake-useragent.herokuapp.com/browsers/0.1.11

    from fake_useragent import UserAgent
    ua = UserAgent()
    #ie浏览器的user agent
    print(ua.ie)
    
    #opera浏览器
    print(ua.opera)
    
    #chrome浏览器
    print(ua.chrome)
    
    #firefox浏览器
    print(ua.firefox)
    
    #safri浏览器
    print(ua.safari)
    
    
    # 随意变换headers
    print(ua.random)
    print(ua.random)
    print(ua.random)
    Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.0; Trident/4.0; GTB7.4; InfoPath.3; SV1; .NET CLR 3.1.76908; WOW64; en-US)
    Opera/9.80 (X11; Linux x86_64; U; Ubuntu/10.10 (maverick); pl) Presto/2.7.62 Version/11.01
    Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1468.0 Safari/537.36
    Mozilla/5.0 (Windows NT 6.1; rv:21.0) Gecko/20130401 Firefox/21.0
    Mozilla/5.0 (Windows; U; Windows NT 5.1; it-IT) AppleWebKit/533.20.25 (KHTML, like Gecko) Version/5.0.3 Safari/533.19.4
    Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/36.0.1944.0 Safari/537.36
    Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2226.0 Safari/537.36
    Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1664.3 Safari/537.36
    

     

    展开全文
  • python fake_useragent 报错问题解决方法

    千次阅读 2020-01-03 10:31:07
    这个问题的原因是因为请求不到这个网址,然后导致无法下载fake_useragent_0.1.11.json 这个文件 一般来说这个json存储在tmp文件夹下边 因为系统会定时清除tmp文件的内容,所以建议像示例那样放到其他文件夹。 首先...

    这是因为请求不到这个地址
    这个问题的原因是因为请求不到这个网址,然后导致无法下载fake_useragent_0.1.11.json 这个文件
    setting.py
    一般来说这个json存储在tmp文件夹下边 因为系统会定时清除tmp文件的内容,所以建议像示例那样放到其他文件夹。
    首先是因为缺少了这个json 导致远程下载时访问网址然后访问不到 无法下载 导致的 ,所以我们可以手动下载这个json 放到指定目录。

    wget https://fake-useragent.herokuapp.com/browsers/0.1.11
    

    然后修改一下名字改成 fake_useragent_0.1.11.json

    mv 0.1.11 fake_useragent_0.1.11.json
    

    想放到哪个文件夹就在哪个文件夹下载 之后修改上边说的路径就行。
    修改完成后运行一下爬虫测试即可。

    展开全文
  • fake-useragent 该库是用来模拟浏览器请求头,使用pycharm安装时会报错, 这个错误很滑稽 ,是由于开发者的代码书写习惯和pycharm风格不同的原因 在命令行界面: pip install fake-useragent 是会提示报错的,具体...

    fake-useragent

    该库是用来模拟浏览器请求头,使用pycharm安装时会报错,
    这个错误很滑稽 ,是由于开发者的代码书写习惯和pycharm风格不同的原因

    在命令行界面:

    pip install fake-useragent
    

    是会提示报错的,具体报错我就不截图了。

    解决办法

    很简单,命令行界面改一下下划线就行,秒安装

    pip install fake_useragent
    

    当然也可官网下载安装包,但是比较麻烦。

    展开全文
  • 解决反爬虫fake-useragent 的用法

    千次阅读 2018-12-27 22:51:20
    ** UserAgent 就是用户代理,又叫报头,是一串字符串,相当于浏览器的身份证号 在利用爬虫爬取网站数据时,频繁更换它可以避免触发相应的反爬机制 ** 安装 pip install fake-...如果报错 fake_useragent.e...
  • 最新Python3使用fake-useragent库失败,有效解决方法 作者初学python爬虫,断断续续学了很多次,都是因为很多库的安装下载失败以及错误的使用,导致每次均半途而废,因此想着把自己的学习过程记录下来,也许这其中...
  • fake-useragent对频繁更换UserAgent提供了很好的支持,可谓防反扒利器。下面将介绍fake-useragent的安装到使用。 安装 pip install fake-useragent 在运行 python 脚本的时候 报错 fake_useragent.errors....
  • 使用fake_useragent报错,报错信息为Maximum amount of retries reached,可以用my_fake_useragent来代替,能实现同样的效果,条条大路通罗马,不用局限于一种方法 emm~,如果嫌弃my_fake_useragent比较长,...
  • 安装: pip install fake-useragent 使用: from fake_useragent import UserAgent if __name__ == '__main__': agent__random = UserAgent().random print(str(agent__random))
  •   使用fake_useragent报错fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached Solution:   1、获取临时目录:(linux和windows都适用) #windows and linux import tempfile ...
  • 知识点讲解六:fake-useragent的用法

    万次阅读 多人点赞 2019-02-02 17:49:30
    fake-useragent对频繁更换UserAgent提供了很好的支持,可谓防反扒利器。下面将接受fake-useragent的安装到使用。 安装 在命令行中输入pip install fake-useragent即可完成安装。 继续输入pip ...
  • fake-useragent 库的作用不用多介绍了吧!! 相信大家都了解这个库,即能返回一个随机的ua请求头(当然自己也可以实现这个库的功能) 好了,话不多说,出现这个错误的情况下,有以下几种解决方案 1. 禁用服务器缓存 from...
  • Python编程(Pycharm社区版2018.3.7工具)使用fake-useragent报的错误 JSONDecodeError 首先,JSON(JavaScript Object Notation, JS 对象简谱) 是一种轻量级的数据交换格式。 在使用fake-useragent这个模块时会用到...
  • 打开pycharm ... 在命令行输入pip install fake_useragent 出现(Successfully installed fake_useragent-0.1.11)即安装成功 因为我已经安装过,...(Requirement already satisfied: fake_useragent in e:\python...
  • import tempfile print(tempfile.gettempdir())
  • 2020年最新 win环境下 from fake_useragent import UserAgent报错 相信大家都遇到这样的问题:尤其是cmd下的卸载重新安装也是无法进行安装的 解决办法:在pycharm中的Terminal执行pip install fake_useragent
  • fake_useragent_0.1.11.json
  • 在用fake-useragent的时候发生报错fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached 代码如下: >>> from fake_useragent import UserAgent >>...
  • 进入 UserAgent 源代码,在import加载项可以找到setting,再次进入到setting.py,里面包含了 fake-useragent 在线获取 useragent 的逻辑。 其中可以看到如下代码 CACHE_SERVER = '...
  • 在使用 Python 做爬虫的时候,我们需要伪装头部信息骗过网站的防爬策略,Python 中的第三方模块 fake_useragent 就很好的解决了这个问题,它将给我们返回一个随机封装了好的头部信息,我们直接使用即可 fake_...
  • fake_useragent.errors.FakeUserAgentError: Maximum amount of retries reached https://fake-useragent.herokuapp.com/browsers/0.1.11
  • FAKE-USERAGENT MAXIMUM AMOUNT OF RETRIES REACHED 解决方案: 在python安装路径下找到fake-useragentfake-useragent包下找到settings.py 找到代理连接地址:...
  • 解决fake_useragent报错

    2021-10-22 00:11:37
    from fake_useragent import UserAgent ua = UserAgent(use_cache_server=False) print(UserAgent().chrome) headers = {'User-Agent': ua.random} 然后找temp文件夹 import tempfile print(tempfile.gettempdir())...
  • 一、问题综述 Anaconda虚拟环境虽然提供了很多便利,但是有些包不...1. 安装fake_useragent >> sudo pip3 install fake-useragent 2. 安装scrapy # 安装依赖包 1) sudo apt-get install libffi-dev 2) s...
  • 使用fake_useragent库伪装请求头

    千次阅读 2018-08-08 18:54:20
    在编写爬虫进行网页数据的时候,大多数情况下,需要在请求是增加请求头,下面介绍一个python下非常好用的伪装请求头的库:fake-useragent,具体使用说明如下: 安装fake-useragent库 pip install fake-...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 517
精华内容 206
关键字:

fake-useragent报错