1）第三方库的安装

a.在线安装

pip install 第三方库名

b.本地安装
下载对应版本的.whl文件，然后cd到文件目录下，通过

pip install xxx.whl

2）使用requests获取网页源代码

a. GET方式

import requests
html = requests.get('网址')#得到一个Response对象
html_bytes = html.content#属性.content用来显示bytes型网页的源代码
html_str = html_bytes.decode()#属性.decode()用来把bytes型的数据解码为字符串型的数据，默认编码格式UTF-8

常见的编码格式 UTF-8、GBK、GB2312、GB18030。以中文可以正常显示为准。
上面的代码可缩减为：

html_str = requests.get('网址').content.decode()

b. POST方式
有些网页使用GET和POST方式访问同样的网址，得到的结果不一样。还有些网页只能用POST方式访问，使用GET方式访问返回错误信息。
post()方法的格式：

import requests
data = {'key1':'value1','key2':'value2'}
html_formdata = requests.post('网址',data = data).content.decode()
#html_formdata = requests.post('网址',json = data).content.decode()#有些网址提交的内容是json格式

3）结合requests与正则表达式
①提取标题

title = re.search('title>(.*?)<',html,re.S).group(1)

②提取正文，并将两端正文使用换行符拼接起来

content_list = re.findall('p>(.*?)<', html_str,re.S)
content_str = '\n'.join(content_list)

完整代码如下：

import requests
import re
html_str = requests.get('http://exercise.kingname.info/exercise_requests_get.html').content.decode()
title = re.search('title>(.*?)<',html,re.S).group(1)
content_list = re.findall('p>(.*?)<', html_str,re.S)
content_str = '\n'.join(content_list)
print(f'页面标题为：{title}')
print(f'页面正文内容为：\n{content_str}')

总结

1. 建议安装第三方库时使用本地安装，因为有些库在线安装传输速度非常慢。
2. 网页源代码获取格式

#GET方式
html_str = requests.get('网址').content.decode(编码格式，默认UTF-8)

#POST方式 data json
html_str = requests.post('网址',data = data).content.decode()
html_str = requests.post('网址',json = data).content.decode()

import re #正则表达式模块

import urllib.request

import time #时间模块

import string #字符串模块

def getHtml(url):f=urllib.request.urlopen(url)

print(f.read())

if name == '__main__':

getHtml('http://www.baidu.com/')

下面的是获取网页代码不乱码

import re #正则表达式模块

import urllib.request

import time #时间模块

import string #字符串模块

def getHtml(url):f=urllib.request.urlopen(url)

print(str(f.read(),'utf-8'))

if name == '__main__':getHtml('http://www.baidu.com/')

第三种获取网页源代码方法

import requests

req = requests.get("http://news.sina.com.cn/")

if req.encoding == 'ISO-8859-1':encodings = requests.utils.get_encodings_from_content(req.text)

if encodings:

encoding = encodings[0]

else:

encoding = req.apparent_encoding

# encode_content = req.content.decode(encoding, 'replace').encode('utf-8', 'replace')

global encode_content

encode_content = req.content.decode(encoding, 'replace') #如果设置为replace，则会用?取代非法字符；

print(encode_content)

with open('test.html','w',encoding='utf-8') as f:f.write(encode_content)

赏

支付宝打赏

微信打赏

如果文章或资源对您有帮助，欢迎打赏作者。一路走来，感谢有您！

发现用python用requests在百度中获得的代码有乱码

import requests
# 0.通过如下代码，会发现获取的网页源代码出现乱码
url = 'https://www.baidu.com'
res = requests.get(url).text
print(res)

出现乱码

查看python获得的编码格式

import requests
# 0.通过如下代码，会发现获取的网页源代码出现乱码
url = 'https://www.baidu.com'
res = requests.get(url).text
print(res)

# 1.编码分析
# 1.1 查看Python获得的网页源代码的编码方式，其编码方式为ISO-8859-1
url = 'https://www.baidu.com'
code = requests.get(url).encoding
print('通过Python获得的网页源代码的编码方式为：' + code)

网页获取的格式

按F12在head中查看

发现为utf-8编码需要转码

import requests
# 0.通过如下代码，会发现获取的网页源代码出现乱码
url = 'https://www.baidu.com'
res = requests.get(url).text
print(res)

# 1.编码分析
# 1.1 查看Python获得的网页源代码的编码方式，其编码方式为ISO-8859-1
url = 'https://www.baidu.com'
code = requests.get(url).encoding
print('通过Python获得的网页源代码的编码方式为：' + code)

# 1.2 查看网页实际的编码方式，通过F12查看，展开最上方的head标签（head标签里主要用来存储编码方式、网站标题等信息），
# 其中<meta charset="编码方式">中存储着网页实际的编码方式，可以看到网页实际的编码方法为utf-8
# 2.重新编码及解码
url = 'https://www.baidu.com'
res = requests.get(url).text
res = res.encode('ISO-8859-1').decode('utf-8')
print(res)  # 此时便已经可以解决数据乱码问题了

还有gbk的编码格式

其它情况的完整代码如下：

# =============================================================================
# 5.2 数据乱码常规处理方法 by 王宇韬 代码更新：www.huaxiaozhi.com 资料下载区
# =============================================================================

import requests
# 0.通过如下代码，会发现获取的网页源代码出现乱码
url = 'https://www.baidu.com'
res = requests.get(url).text
print(res)

# 1.编码分析
# 1.1 查看Python获得的网页源代码的编码方式，其编码方式为ISO-8859-1
url = 'https://www.baidu.com'
code = requests.get(url).encoding
print('通过Python获得的网页源代码的编码方式为：' + code)

# 1.2 查看网页实际的编码方式，通过F12查看，展开最上方的head标签（head标签里主要用来存储编码方式、网站标题等信息），
# 其中<meta charset="编码方式">中存储着网页实际的编码方式，可以看到网页实际的编码方法为utf-8
# 2.重新编码及解码
url = 'https://www.baidu.com'
res = requests.get(url).text
res = res.encode('ISO-8859-1').decode('utf-8')
print(res)  # 此时便已经可以解决数据乱码问题了

# 注意，如果有的网站的实际编码方式为gbk，则在decode解码的时候需要把utf-8换成gbk
# 补充知识点：encode()编码函数与decode()解码函数
# encode()编码函数
res = '华小智'  # 中文字符串
res = res.encode('utf-8')  # encode编码将中文字符串转为二进制
print(res)

# decode()解码函数
res = b'\xe5\x8d\x8e\xe5\xb0\x8f\xe6\x99\xba'  # 二进制字符
res = res.decode('utf-8')  # decode解码将二进制字符转为字符串
print(res)


# 3.数据乱码万金油的解决办法
import requests
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36'}

url = 'https://www.baidu.com'
res = requests.get(url).text
# res = requests.get(url, headers=headers).text  # 这里加headers能获取更多的网页源代码
try:
    res = res.encode('ISO-8859-1').decode('utf-8')  # 方法3
except:
    try:
        res = res.encode('ISO-8859-1').decode('gbk')  # 方法2
    except:
        res = res  # 方法1
print(res)  # 可以在源代码里搜索“百度”检验爬取成功