精华内容
下载资源
问答
  • Python url编码和解码

    千次阅读 2019-08-16 13:21:38
    Python怎么对url进行编码和解码? 导入模块 编码 解码 引题 我们上网的时候经常见到url中会有%25E6,这样有%号的字符,下面是51job的链接: https://search.51job.com/list/020000,000000,0000,00,9,99,%25E6%...

     

    目录

    引题

    url编码有什么作用?

    Python怎么对url进行编码和解码?

    导入模块

    编码

    解码


    引题

    我们上网的时候经常见到url中会有%25E6,这样有%号的字符,下面是51job的链接:

    https://search.51job.com/list/020000,000000,0000,00,9,99,%25E6%25B7%25B1%25E5%25BA%25A6%25E5%25AD%25A6%25E4%25B9%25A0,2,1.html?lang=c&postchannel=0000&workyear=99&cotype=99&degreefrom=99&jobterm=99&companysize=99&ord_field=0&dibiaoid=0&line=&welfare=

     

    %25E6%25B7%25B1%25E5%25BA%25A6%25E5%25AD%25A6%25E4%25B9%25A0

    是我搜索的关键字“深度学习”,这是url编码两次后的结果。

    通过在线url解码试试看解码的结果,我用的在线解码网址:https://www.sojson.com/encodeurl.html

    1、第一次解码,得到的结果是%后面加两个字符

    2、第二次解码,得到的就是正常的中文了。

    一般的,url编码后的规律:

    编码一次,%号后面加两个字符;

    编码二次,%号后面加四个字符;

    编码三次,%号后面加六个字符。

     

    url编码有什么作用?

    如果你搜索的关键词是“深度学习&机器学习”,中间有个url的特殊字符&,那么服务器收到这个get请求的时候就会出错,不知道如何去解析请求带的参数了,所以需要把这一整块进行编码。编码一次得到的结果是%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0&%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0,就已经没有特殊字符&,这样请求就没有问题,服务器拿到这个参数进行解码就能正常解析得到想要的参数。

     

    Python怎么对url进行编码和解码?

     

    导入模块

    import urllib.parse

    编码

    urllib.parse.quote(),对字符串进行url编码
    import urllib.parse
    kw="机器学习"
    kw1=urllib.parse.quote(kw)
    print(kw1)
    kw2=urllib.parse.quote(kw1)
    print(kw2)
    kw3=urllib.parse.quote(kw2)
    print(kw3)

    输出结果:

    %E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0
    %25E6%259C%25BA%25E5%2599%25A8%25E5%25AD%25A6%25E4%25B9%25A0
    %2525E6%25259C%2525BA%2525E5%252599%2525A8%2525E5%2525AD%2525A6%2525E4%2525B9%2525A0

    解码

    urllib.parse.unquote() ,对字符串进行url解码
    import urllib.parse
    kw="机器学习"
    # 编码
    kw1=urllib.parse.quote(kw)
    print(kw1)
    kw2=urllib.parse.quote(kw1)
    print(kw2)
    kw3=urllib.parse.quote(kw2)
    print(kw3)
    
    # 解码
    ym2=urllib.parse.unquote(kw3)
    print(ym2)
    ym1=urllib.parse.unquote(ym2)
    print(ym1)
    ym=urllib.parse.unquote(ym1)
    print(ym)

    输出结果:

    # 编码开始
    %E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0
    %25E6%259C%25BA%25E5%2599%25A8%25E5%25AD%25A6%25E4%25B9%25A0
    %2525E6%25259C%2525BA%2525E5%252599%2525A8%2525E5%2525AD%2525A6%2525E4%2525B9%2525A0
    
    # 解码开始
    %25E6%259C%25BA%25E5%2599%25A8%25E5%25AD%25A6%25E4%25B9%25A0
    %E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0
    机器学习

    最后得到我们的最原始的字符串!

     

     

     

     

     

     

    展开全文
  • python url地址传json数据

    千次阅读 2018-08-13 18:26:11
    (url=url, headers=headers, data =json.dumps ( data ) .encode () ) response = urllib.request.urlopen(request) res = response.read() #加载返回的页面,转为json格式 sites = json.loads(res) #...
    import json
    import requests
    import urllib
    from scrapy.http import Request, FormRequest
    
    data ={'fileinfo':{'id':'XXXXXX','Name':'XXXX'}}
    values = urllib.parse.urlencode(data).encode(encoding='UTF8')
    headers = {'Content-Type': 'application/json'}
    url='XXXXXXXXX.ext'
    request = urllib.request.Request(url=url, headers=headers, data=json.dumps(data).encode())
    response = urllib.request.urlopen(request)
    res= response.read()
    
    #加载返回的页面,转为json格式
    sites = json.loads(res)
    #取出其中需要的字段
    fileinfo=sites['fileinfo'][0]
    newname=obpfileinfo['fileName']            
    fileRoute=obpfileinfo['fileRoute']
    展开全文
  • python URL获取文件

    千次阅读 2018-02-06 17:21:54
    Python中下载url最流行的方法就是通过Http利用urllib或者urllib2模块。当然你也可以利用ftplib从ftp站点下载文件。 此外Python还提供了另外一种方法requests。 来看看三种方法是如何来下载zip文件的: import ...

    【转】http://blog.csdn.net/kezunhai/article/details/46523149

    Python中下载url最流行的方法就是通过Http利用urllib或者urllib2模块。当然你也可以利用ftplib从ftp站点下载文件。

    此外Python还提供了另外一种方法requests。

    来看看三种方法是如何来下载zip文件的:

    import urllib   
    import urllib2   
    import requests     
    url = 'http://www.blog.pythonlibrary.org/wp-content/uploads/2012/06/wxDbViewer.zip'    
    print "downloading with urllib"  
    urllib.urlretrieve(url, "code.zip")     
      
      
    print "downloading with urllib2"  
    f = urllib2.urlopen(url)   
    data = f.read()   
    with open("code2.zip", "wb") as code:       
        code.write(data)     
      
      
    print "downloading with requests"  
    r = requests.get(url)   
    with open("code3.zip", "wb") as code:  
         code.write(r.content)  


    展开全文
  • python url参数转map(字典)

    千次阅读 2019-08-09 13:52:30
    from urllib.parse import parse_qs page_content = 'http://www.baidu.com?id=30303&inum=16&flei=恐怖惊悚&bookname=邪术学徒&filename=016.mp3&rand=16&...a = dict([(k...
    from urllib.parse import parse_qs
    page_content = 'http://www.baidu.com?id=30303&inum=16&flei=恐怖惊悚&bookname=邪术学徒&filename=016.mp3&rand=16&nexturl=play_30303_16.htm'
    a = dict([(k, v[0]) for k, v in parse_qs(page_content).items()])
    print(a)
    
    # 输出结果
    {'id': '30303', 'inum': '16', 'flei': '恐怖惊悚', 'bookname': '邪术学徒', 'filename': '016.mp3', 'rand': '16', 'nexturl': 'play_30303_16.htm'}
    
    展开全文
  • python URL解析转换成字典

    万次阅读 2016-09-03 15:04:47
    引用包: import urlparse ...url="https://www.baidu.com/s?ie=utf-8&f=8&rsv_bp=1&rsv_idx=2&tn=baiduhome_pg&wd=300200&rsv_spt=1&oq=python%20nonetype&rsv_pq=ddeee0430002a4d3&rsv_t=52bbRWiHUtsbsalW02N
  • 安装依赖: pip install tldextract==2.2.2 import tldextract #url = "https://zhplz.com" url = ...val = tldextract.extract(url) print(val.domain, val.suffix, val.registered_domain)
  • Python url编码

    千次阅读 2019-05-10 21:53:54
    Python3对url编解码
  • python url 参数修改

    千次阅读 2016-03-09 16:41:42
    基于python 3.5,python 2.7 与python3.4 的urllib不同,是urlparse>>> from urllib import parse >>> url = 'http://www.baidu.com/s?wd=codeif.com&spt=1' >>> bits = list(parse.urlparse(url)) >>> bit ['http',...
  • python URL请求地址的拼接

    千次阅读 2016-03-09 16:37:30
    URL = "http://127.0.0.1/version" dicts = {'platform': 'windows_64bit', 'object': 'agent', 'version': '20160216'} os_type={"os_type":"win_xp"} def parse_url(data={}): item=data.items() urls="?
  • python url 转义

    千次阅读 2013-04-10 18:04:04
    URL特殊字符需转义 1、空格换成加号(+) 2、正斜杠(/)分隔目录和子目录 3、问号(?)分隔URL和查询 4、百分号(%)制定特殊字符 5、#号指定书签 6、&号分隔参数 转义字符的原因: 如果你的...
  • Python 解析 URL

    千次阅读 2019-03-30 09:57:20
    Python3 中,解析URL常用的方法是 urllib.parse 模块中的 urlparse、 parse_qs 和 parse_qsl 三个函数。urlparse 将 url 分割为 scheme、netloc、path、params、query 和 fragment 这几部分,如下图所示: 在 ...
  • 使用python进行URL编码

    千次阅读 2020-03-08 23:25:26
    为什么要对URL进行encode 在写网络爬虫时,发现提交表单中的中文字符都变成了TextBox1=%B8%C5%C2%CA%C2%DB这种样子,观察这是中文对应的GB2312编码,实际上是进行了GB2312编码和urlencode。 那么为什么要对URL进行...
  • python进行URL编码

    千次阅读 2020-06-21 22:48:49
    在浏览器发送请求时会对表单请求数据与查询字符串进行一种URL编码,这种编码旨在将数据中的影响HTTP的字符进行转换,变为HTTP允许的字符,Python使用urllib库进行转换 from urllib import parse #数据对象 data ...
  • Python - 构建URL

    千次阅读 2018-12-24 09:57:41
    Requests模块可以帮助我们构建URL并动态操作URL值。可以通过编程方式获取URL的任何子目录,然后可以使用新值替换其中的某些部分以构建新URL。 Build_URL from requests.compat import urljoin base='...
  • python根据url链接下载文件

    千次阅读 2021-03-04 14:28:39
    python根据url下载文件背景方法 背景 一个execl文件中包含很多视频的url链接,希望批量地将这些视频下载到本地。 方法 def get_video_url(excel_path): import xlrd url_list = [] wb = xlrd.open_workbook(excel...
  • python 解析链接url

    千次阅读 2019-01-11 10:01:38
    python url解析 在开始Python编程之前我们先来看看一个关与url的知识 在url中会有一些特殊字符,如果你写过cgi程序,并且提交一个表单去调用你的cgi,你会很清楚的 像?name=aiqier&age=21这样的参数传递 ...
  • python中的urlencode与urldecode

    千次阅读 2020-04-21 20:33:06
    文章目录一、urlencode二、urldecode 当url地址含有中文,或者参数有中文的时候,这个算是很正常了,但是把这样的url作为参数传递的时候(最常见的callback),需要把一些中文甚至’/'做一下编码转换。 所以对于一些...
  • Python 如何获取 url 中的域名

    万次阅读 2020-10-28 17:03:46
    比如我们上面的提取域名的功能, tld 可以这么写: def get_domain_by_tld(u): return tld.get_tld(u, as_object=True).parsed_url.netloc 其实 tld.get_tld 返回的是一个内容丰富的对象,可以看看下面的截屏: ...
  • Python3 URL格式化url解析url提取参数

    千次阅读 2019-06-26 21:46:00
    我们一般见到的url地址都是字符串形式,例如: http://api.bilibili.com/x/web-interface/view?aid=44699780 请求协议: http 请求域名:api.bilibili.com 请求相对路径:/x/web-interface/view 请求参数:aid=...
  • Python解析URL参数的简单介绍

    千次阅读 2018-11-06 17:12:39
    在日常工作的项目中,经常需要将一个传递...在Python3中,我们可以使用urllib中的parse来搞定。我们可以拿到请求的协议如http/HTTPS/ftp,还可以拿到路径等等~~~ 具体上代码: import urllib.parse url = "...
  • 读取txt中的url,调用默认浏览器,打开不同网址
  • # -*- coding:utf-8 -*- import requests from PIL import Image from io import BytesIO import time time1=time.time() img_src_list=['...
  • 记一个pythonURL拼接的方法

    千次阅读 2020-06-14 10:31:55
    背景:我们从接口请求数据或者爬取网页数据时候,经常要自己各种形式拼接url,简单的字符串+ 已经不能满足需求 import urllib.parse url = 'http://www.baidu.com/index.html' data = { 'name':'bowen', 'age':...
  • python 解析url路径

    千次阅读 2018-05-29 15:20:01
    原理:使用urlparse,先解析整个url,然后使用split('/')方式构造为词典,下面就可以直接读取from urllib.parse import urlparse url = 'http://www.abc.cn/jfjbmap/content/2016-01/03/node_2.htm' urldic = ...
  • 文章目录为什么要进行url编码python中如何进行URL编码&解码 为什么要进行url编码 **很简单,因为url可以看做是一个很复杂的字符串,它里面有可能包含很多各式各样的字符。在很多应用场景中,这些字符可能导致...
  • python中用url_for构造URL

    千次阅读 2017-12-04 00:31:21
    url_for构造URL,他接受函数名作为第一个参数, 也接受对应URL规则的变量部分的命名参数, 未知的变量部分会添加到URL末尾作为查询参数。 构建URL而不选择直接在代码中拼URL的原因有两点: 1)在未来有更改的...
  • 关于pythonurl处理

    万次阅读 2016-10-05 21:16:39
    python2.71 完整的url语法格式: 协议://用户名@密码:子域名.域名.顶级域名:端口号/目录/文件名.文件后缀?参数=值#标识2 urlparse模块对url的处理方法 urlparse模块对url的主要处理方法有:urljoin/urlsplit/...
  • Python:检测URL是否有效

    千次阅读 2020-05-05 16:49:34
    导出了一批图片URL,但不知道其中真正有效的数量 from urllib import request import xlrd import requests # 打开Excel文件读取数据 data = xlrd.open_workbook(r'D:\URL\url.xlsx') table = data.sheet_by_...
  • python3 url 获取域名ip

    千次阅读 2020-07-08 12:28:42
    url中提取域名 方法一: In [1]: from urlparse import urlparse In [2]: url = 'https://www.jianshu.com/writer#/notebooks/30425954/notes/43737977' In [3]: urlparse(url).hostname Out[3]: '...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 551,413
精华内容 220,565
关键字:

pythonurl

python 订阅