当我们在爬取某些页面的时候，服务器往往会需要cookie，而想要得到cookie 就需要先访问某个URL进行登录，服务器接收到请求之后验证用户名以及密码在登录成功的情况下会返回一个响应，这个响应的header中一般会有一个set-cookie的信息，它对应的值就是要设置的cookie信息。

虽然我们再之前可以通过requests.utils.dict_from_cookiejar(r.cookies)提取到这个响应信息中设置的新cookie，但在下一个请求中再携带这个数据的过程较为麻烦，所以requests有个高级的方式“会话Session”

一，Session的作用

会话Session能够跨请求保持某些参数，也会在同一个 Session 实例发出的所有请求之间保持 cookie

会话保持有两个内涵：

• 保存cookie，下一次请求会自动带上前一次的cookie
• 实现和服务端的长连接，加快请求速度

二，使用方法

# 1. 创建一个session实例对象
s = requests.Session()

# 2. 使用上一步创建的对象发起请求
r = s.get(url1, headers)
r = s.get(url2, headers)
r = s.get(url3, headers)
r = s.get(url4, headers)

session对象在请求了一个网站后，对方服务器设置在本地的cookie会保存在session对象中，下一次再使用session对象请求对方服务器的时候，会自动带上前一次的cookie

示例：

import requests

s = requests.Session()

headers = {
    "User-Agent": "Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1"
}

# 发送第一个请求
r = s.get('https://www.baidu.com', headers=headers)
print("第一次请求的请求头为:", r.request.headers)
print("响应头：", r.headers)
print("设置的cookie为:", requests.utils.dict_from_cookiejar(r.cookies))

# 发送第二个请求（）
r = s.get("https://www.baidu.com")
print("第二次请求的请求头为:", r.request.headers)

效果如下：

可能大家对session已经比较熟悉了，也大概了解了session的机制和原理，但是我们在做爬虫时如何会运用到session呢，就是接下来要讲到的会话保持。

首先说一下，为什么要进行会话保持的操作？

requests库的session会话对象可以跨请求保持某些参数，说白了，就是比如你使用session成功的登录了某个网站，则在再次使用该session对象求求该网站的其他网页都会默认使用该session之前使用的cookie等参数

尤其是在保持登陆状态时运用的最多，在某些网站抓取，或者app抓取时，有的时强制登陆，有的是不登陆返回的数据就是假的或者说是不完整的数据，那我们不可能去做到每一次请求都要去登陆一下怎么办，就需要用到保持会话的功能了，我们可以只登陆一次，然后保持这种状态去做其他的或者更多的请求。

实例如下：

import requests

# 会话
session = requests.session()
data ={
   'loginName': xxxxxx,       #改为自己的用户名
   'password': 'xxxxxxxxxx'   #改为自己的登录密码
}
# 登录
url ="https://passport.17k.com/ck/user/login"

restult = session.post(url,data=data)

# print(restult.text)
# print(restult.cookies)

# 再次请求  拿取书架上的数据
url2 = "https://user.17k.com/ck/author/shelf?page=1&appKey=2406394919"
result_data =  session.get(url2)
print(result_data.json()['data'])

结果如下：

 如果我们不使用这个，直接去请求数据就会提示：

 这样就看的出来session的会话机制。

http协议本身是无状态的，为了让请求之间保持状态，有了session和cookie机制。requests也提供了相应的方法去操纵它们。

requests中的session对象能够让我们跨http请求保持某些参数，即让同一个session对象发送的请求头携带某个指定的参数。当然，最常见的应用是它可以让cookie保持在后续的一串请求中。

下面，通过官方文档中的示例来了解如何使用它。

从结果中我们可以看出，第二次请求已经携带上了第一次请求所设置的cookie，即通过session达到了保持cookie的目的。示例中创建了一个requests.Session()对象，通过该对象来进行http请求操作，该操作基本类似于requests.request()。由于session让请求之间具有了连贯性，那么，就有了跨请求参数和非跨请求参数的区别。即有时我想让所有请求均带有某个参数，而有时我只是想让单独的一条请求带上临时的参数。通过下面的例子来了解如何使用。

从结果中我们可以得出两条结论：

• session可以为请求方法提供缺省数据，比如第一次请求中的{'x-test': 'true'}就是缺省数据，此时的缺省数据就是跨请求参数。
• 方法级别的参数不会被跨请求保持，比如第二次请求时，没有携带headers={'x-test2': 'true'}，返回的结果中也没有{'x-test2': 'true'}，说明该参数没有在第一次请求后被保持住。

在做爬虫时，有的网站必须先登录才能访问到页面，爬这样的网页，就需要像请求中插入Cookie值，下面介绍3种方式

方式一：将Cookie插入Headers请求头

1，先登录成功一次，获取到携带登录信息的Cookie（需要手动）

拿CSDN举例，登录成功 -> 个人主页 -> 打开控制台 -> 刷新页面 -> 看到以自己用户名命名的文件 -> 复制cookie

2，携带cookie发请求

需要用到requests模块的get请求 

import requests

headers={

 'Cookie':'复制页面文件里的cookie值'

}

html=requests.get(url='',headers=headers).text

方式二：Cookies直接作为requests方法的参数

方式二与方式一都是通过携带Cookie来发请求，方式二直接调用requests的cookies参数，但是要求cookies是一个字典类型，所以要对从网上复制下来的cookie值进行一些处理，cookie中都是键值对的形式，如：

uuid_tt_dd=10_19035893370-1578805336439-452978; dc_session_id=10_1578805336439.387381;

我们要将这样的一串字符串做成字典的形式首先要将它以“; ”分隔，注意两个值直接不仅有；符号，还有一个空格，所以是；+空格。分隔之后得到的格式为：键=值 ，再以=号分隔，取[0]为键，[1]为值，如下：

import requests

cookies="从网上复制的cookie值"

cookies_dict={}

for i in cookies.split("; ")：

   cookies_dict[i.splict('=')[0]] = i.splict('=')[1]

html=requests.get(url='',cookies=cookies_dict}

方式三：session会话保持

request模块提供了session类，来实现客户端和服务端的会话保持，操作方法如下：

1.实例化session对象

2.使用session.post()模拟登陆，此时将得到cookie，并保存到session中

3.再使用session.post()或session.get()方法请求页面时，不会提示需要登录，因为上一步已经将cookie保存到会话中了

人人网案例：

首页URL：http://www.renren.com/

 使用requests模拟登录人人网，获取请求的地址action：http://www.renren.com/PLogin.do

name="email"，password="password"

使用session的posts方法做一次登录请求，将cookie保存在session会话里。

如下：

import requests

url='http://www.renren.com/PLogin.do'
session=requests.session()
data={
      'email':'',
      'password':''
}
session.post(url=url,headers=headers,data=data)
html=se.get(url=url,headers=headers).text

提示：现在很多网站都做了验证码机制，使用以上的方式可能行不通。