精华内容
下载资源
问答
  • python urllib.request

    2018-10-22 20:22:36
    import urllib.request #创建完整的url(要访问的网站,例如百度) url = 'http://www.baidu.com' #发送请求得到响应 response = urllib.request.urlopen(url) #可以得到响应的状态码 print(response.status) #可以...

    #导入urllin.request包
    import urllib.request

    #创建完整的url(要访问的网站,例如百度)
    url = 'http://www.baidu.com'

    #发送请求得到响应
    response = urllib.request.urlopen(url)

    #可以得到响应的状态码
    print(response.status)

    #可以获得响应头信息
    print(response.headers)

    #得到请求的url
    print(response.url)

    #获得网页内容,但是字节格式
    content =  response.read()

    #要对得到的字节内容进行解码,得到字符串
    content = content.decode('utf-8') #字符格式可能不一样,具体情况选取合适的

    #将得到的内容存入文件中
    with open('content.txt','w',encoding='utf-8') as fp:
        fp.write(content)


    #也可以得到图片

    #创建一个图片的完整url
    url = "https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1540216805401&di=68f956690ad56f4b4b0a35705d395478&imgtype=0&src=http%3A%2F%2Fmmbiz.qpic.cn%2Fmmbiz_jpg%2FxwQHtLwKNlLr10wbH0VMibOnQ52icnhsDdFjx0lJop3L742qWudiclSsMMwW4DrTGx34lia7fOibMTeIcdQTmPibpGMw%2F0.jpeg"

    #发送请求得到响应
    response_img = urllib.request.urlopen(url)

    #获得图片,但是字节格式
    content_img =  response_img.read()

    #将图片的二进制信息存入文件中,打开这个文件就可以访问这个图片
    #要选wb存入文件中的必须是二进制信息
    with open("content_img.jpg",'wb') as img:
        img.write(content_img)


    #有一个简便方法可以快速的存入图片,第一个参数为图片的url,第二个参数为文件的路径
    urllib.request.urlretrieve(url,'urlretrieve.jpg')

    展开全文
  • 1.urllib.request 请求模块 2. urllib.error 异常处理模块 3. urllib.parse url 解析模块 4. urllib.robotparser robots.txt 解析模块 Urllib 库下的几种模块基本使用如下: urllib.request 关于 urlli
  • Python3.7 urllib.request https urllib.error.URLError 在python3.7中,请求https出现urllib.error.URLError异常,导致程序报错; 异常如下: urllib.error.URLError: urlopen error [SSL: CERTIFICATE_VERIFY_...

    Python urllib.request https urllib.error.URLError

    在python中,请求https出现urllib.error.URLError异常,导致程序报错;

    异常如下:
    urllib.error.URLError: urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: self signed certificate in certificate chain (_ssl.c:1045)

    SSL?

    解决方案:
    1、

    import ssl
    ssl._create_default_https_context = ssl._create_unverified_context
    

    在urllib.request.urlopen()前加上此一句话,在运行,即可;

    2、

    import ssl
    context = ssl._create_unverified_context()
    
    res = urllib.request.urlopen(url, data, context=context);
    
    

    创建一个未经验证的上下文,在urlopen()中添加,在运行,即可

    第一种方法是访问https,在浏览器中访问该网站时会弹出证书不受信任,忽略就行了 ;
    第二种是创建一个未经验证的上下文。

    展开全文
  • 小白想自学python爬取网页信息,但是代码写了第二行...import urllib.requestTarget = "http://www.tmsf.com/newhouse/property_330181_287055905_price.htm"url = urllib.request.urlopen(Target)-----报错行page =...

    小白想自学python爬取网页信息,但是代码写了第二行就老是报错,度娘了很久感觉不是很能get,求大神点拨!

    import urllib.request

    Target = "http://www.tmsf.com/newhouse/property_330181_287055905_price.htm"

    url = urllib.request.urlopen(Target)-----报错行

    page = url.read()

    url.close()

    fp = open("grab.txt","wb")

    fp.write(page)

    fp.close()

    报错信息

    Traceback (most recent call last):

    File "C:UsersjqhDesktop1.py", line 35, in

    url = urllib.request.urlopen(Target)

    File "C:UsersjqhAppDataLocalProgramsPythonPython35liburllibrequest.py", line 162, in urlopen

    return opener.open(url, data, timeout)

    File "C:UsersjqhAppDataLocalProgramsPythonPython35liburllibrequest.py", line 471, in open

    response = meth(req, response)

    File "C:UsersjqhAppDataLocalProgramsPythonPython35liburllibrequest.py", line 581, in http_response

    'http', request, response, code, msg, hdrs)

    File "C:UsersjqhAppDataLocalProgramsPythonPython35liburllibrequest.py", line 509, in error

    return self._call_chain(*args)

    File "C:UsersjqhAppDataLocalProgramsPythonPython35liburllibrequest.py", line 443, in _call_chain

    result = func(*args)

    File "C:UsersjqhAppDataLocalProgramsPythonPython35liburllibrequest.py", line 589, in http_error_default

    raise HTTPError(req.full_url, code, msg, hdrs, fp)

    urllib.error.HTTPError: HTTP Error 403: Forbidden

    展开全文
  • urllib.request.urlopen()函数用于实现对目标url的访问。 函数原型如下:urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)  url: 需要打开的...

    一.  介绍

    urllib.request.urlopen()函数用于实现对目标url的访问。

     

    函数原型如下:urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None) 

    url:  需要打开的网址

    data:Post提交的数据

    timeout:设置网站的访问超时时间

     

    直接用urllib.request模块的urlopen()获取页面,page的数据格式为bytes类型,需要decode()解码,转换成str类型。

     

    二.  函数参数解析

     

    1. url 参数:目标资源在网路中的位置。可以是一个表示URL的字符串(如:http://www.pythontab.com/);也可以是一个urllib.request对象

    2. data参数:data用来指明发往服务器请求中的额外的参数信息(如:在线翻译,在线答题等提交的内容),data默认是None,此时以GET方式发送请求;当用户给出data参数的时候,改为POST方式发送请求。

    3. timeout:设置网站的访问超时时间

    4. cafile、capath、cadefault 参数:用于实现可信任的CA证书的HTTP请求。

    5. context参数:实现SSL加密传输。

    三. 返回处理方法解析

    urlopen返回对象提供方法:

    read() , readline() ,readlines() , fileno() , close() :对HTTPResponse类型数据进行操作

    info():返回HTTPMessage对象,表示远程服务器返回的头信息

    getcode():返回Http状态码。如果是http请求,200请求成功完成;404网址未找到

    geturl():返回请求的url

     

                                                                                                                                                   欢迎关注微信公众号  :   码奋

                                                                                                                                                   Email:maafenn@gmail.com

                                                                                                                                                  

    展开全文
  • urllib.request 子模块下包含了一个非常实用的urllib.request.urlopen(url, data=None)方法,该方法用于打开 url 指定的资源,并从中读取数据。根据请求 url 的不同,该方法的返回值会发生动态改变。如果 url 是...
  • urllib.request.urlretrieve(url, filename=None, reporthook=None, data=None) 函数说明 将URL表示的网络对象复制到本地文件。如果URL指向本地文件,则对象将不会被复制,除非提供文件名。返回一个元组()(filename...
  • Python要访问一个网页并读取网页内容非常简单,在利用《第14.5节 利用浏览器获取的http信息构造Python网页访问的http请求头》的方法构建了请求http报文的请求...req = urllib.request.Request(url=site,headers=hea...
  • 蟒蛇中urllib.request.Request()与urllib.request.urlopen()的区别: 相对于urllib.request.urlopen()来说urllib.request.Request是进一步的包装请求,下面是请求类的源码示例: class Request: # 主要...
  • import urllib.request #1.数据url url = 'http://www.yaozh.com/member/' #2.添加请求头 headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome.....
  • req = Request(url, data_rq, header) url:包含有效URL的字符串 data_rq:必须是一个字节对象,用于指定要发送到服务器的其他数据,如果不需要此类数据则为NONE (提供data参数时,HTTP请求将是POST而不是GET ) ...
  • 1.结合Request()和urlopen()传Headers;2.get请求需手动拼接并使用quote()对中文处理;3.post请求直接转发即可
  • 2017/3/12 21.9 urllib.error 由urllib.request提出的异常类 Python 3.6.1rc1文档 21.9urllib.error 由urllib.request引发的异 常类 源代码 Lib / urllib / error.py 该urllib.error模块定义了所提出的异常异常类...
  • Python爬虫入门:urllib.request.Request详解

    万次阅读 多人点赞 2019-07-21 20:36:31
    Python爬虫入门:urllib.request.Request详解Request简介基本用法参数解析用法 Request简介 urlopen()方法可以实现最基本的请求的发起,但如果要加入Headers等信息,就可以利用Request类来构造请求。 使用方法为:...
  • 摘要:python3.x 版本将urllib与...简单介绍一下用过的urllib.request和urllib.parseurllib is a package that collects several modules for working with URLs:urllib.request for opening and reading URLsurll...
  • Python 3 urllib.request

    2018-08-27 13:02:12
    request = urllib.request.Request(url) #request.add_header('Content-Type', 'application/json') #request.add_header("Cookie", cookie) response = urllib.request.urlo...
  • Python中有很多库可以用来抓取网页,我们先学习urllib.request。(在python2.x中为urllib2)urlopen我们先阅读以下代码:#!/usr/bin/python3# -*- conding:utf-8 -*-__author__ = 'mayi'# 导入urllib.request库imp.....
  • import urllib.request import urllib.parse url = 'http://192.168.**.**:9080/api/transactions' header = { 'Content-Type': 'application/json' } values ={ "currentToken": { "simplifiedName": ...
  • 刚刚接触爬虫,基础的东西得时时回顾才行,这么全面的帖子无论如何也得厚着脸皮转过来啊!什么是 Urllib 库?...有以下几种模块:1.urllib.request 请求模块2. urllib.error 异常处理模块3. urllib.parse u...
  • 该楼层疑似违规已被系统折叠隐藏此楼查看此楼Python 2 namePython 3 nameurllib2.urlopen() urllib.request.urlopen()urllib2.install_opener() urllib.request.install_opener()urllib2.build_opener() urllib....
  • 主要介绍了pythonurllib.request和requests的使用及区别详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
  • 请求网页import urllib.requestf = urllib.request.urlopen('http:www.bing.com')print(f.read().decode('utf-8'))#获取状态码f.getcode()#获取urlf.geturl()#获取meta-infomation,像headersprint(f.info())发送数据...
  • Python3中-爬虫库Urllib概述urllib.request1. urllib.request.Request2. urllib.request.urlopen3. urllib.request.urlopen和urllib.request.Request实例演示 概述 问:Urllib能做什么? 答:常用在爬虫开发、API...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 16,159
精华内容 6,463
关键字:

pythonurllib.request

python 订阅