先来思考一个问题，B站一个视频的弹幕最多会有多少？
比较多的会有2000条吧，这么多数据，B站肯定是不会直接把弹幕和这个视频绑在一起的。
也就是说，有一个视频地址为https://www.bilibili.com/video/av67946325，你如果直接去requests.get这个地址，里面是不会有弹幕的，回想第一篇说到的携程异步加载数据的方式，B站的弹幕也一定是先加载当前视频的界面，然后再异步填充弹幕的。
接下来我们就可以打开火狐浏览器(平常可以火狐谷歌控制台都使用，因为谷歌里面因为插件被拦截下来的包在火狐可以抓到，同理谷歌也是)的控制台来观察网络请求了。
经过仔细排查之后，我找到了一个请求xml的，它后面跟了一个oid，查看它的响应内容之后可以发现它就是弹幕文件。
它的响应时间98毫秒，远超其它几个响应，所以说如果把弹幕直接放在视频页面，用户体验一定会很差。
找到弹幕了，爬取它很容易，但是我们想要是爬取固定av号视频的弹幕，而不是说随意去找一个oid来爬取弹幕，这样我们都不知道爬下来的弹幕是哪个视频的。
接下来我们就可以复制oid的117784982值，去视频页面搜索看看了，通过视频来获得它的oid再来爬xml弹幕就很方便了。
这次用了谷歌浏览器，在里面通过搜索oid果然搜索到相关的数据了。
其中cid是弹幕对应的id，aid对应视频av号。
先把这个页面爬取下来。
# encoding: utf-8
import requests
headers = {
'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
'Accept': 'text/html',
'Cookie': "_uuid=1DBA4F96-2E63-8488-DC25-B8623EFF40E773841infoc; buvid3=FE0D3174-E871-4A3E-877C-A4ED86E20523155831infoc; LIVE_BUVID=AUTO8515670521735348; sid=l765gx48; DedeUserID=33717177; DedeUserID__ckMd5=be4de02fd64f0e56; SESSDATA=cf65a5e0%2C1569644183%2Cc4de7381; bili_jct=1e8cdbb5755b4ecd0346761a121650f5; CURRENT_FNVAL=16; stardustvideo=1; rpdid=|(umY))|ukl~0J'ulY~uJm)kJ; UM_distinctid=16ce0e51cf0abc-02da63c2df0b4b-5373e62-1fa400-16ce0e51cf18d8; stardustpgcv=0606; im_notify_type_33717177=0; finger=b3372c5f; CURRENT_QUALITY=112; bp_t_offset_33717177=300203628285382610"
}
resp = requests.get('https://www.bilibili.com/video/av67946325',headers=headers)
print(resp.text)
拿到了内容我们就要从中解析弹幕id了，对于这种规则紊乱的网页，我们就不能用上一篇中Bs4解析了，而是使用正则表达式。
正则表达式最简单的使用方式其实就是直接match。
re.search(匹配规则,文本).group()
观察这里的内容，我们大致的匹配规则就有了。
cid={目标}&aid=av号
117784982就是我们的目标。
av_id = '67946325'
resp = requests.get('https://www.bilibili.com/video/av'+av_id,headers=headers)
match_rule = r'cid=(.*?)&aid'
oid = re.search(match_rule,resp.text).group().replace('cid=','').replace('&aid','')
print('oid='+oid)
先根据av号拿到视频页面，然后解析视频页面拿到oid，最后用oid去请求xml弹幕文件。
xml_url = 'https://api.bilibili.com/x/v1/dm/list.so?oid='+oid
resp = requests.get(xml_url,headers=headers)
print(resp)
这样我们就完成B站弹幕爬虫了。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。

先来思考一个问题，B站一个视频的弹幕最多会有多少？
比较多的会有2000条吧，这么多数据，B站肯定是不会直接把弹幕和这个视频绑在一起的。
也就是说，有一个视频地址为https://www.bilibili.com/video/av67946325，你如果直接去requests.get这个地址，里面是不会有弹幕的，回想第一篇说到的携程异步加载数据的方式，B站的弹幕也一定是先加载当前视频的界面，然后再异步填充弹幕的。
接下来我们就可以打开火狐浏览器(平常可以火狐谷歌控制台都使用，因为谷歌里面因为插件被拦截下来的包在火狐可以抓到，同理谷歌也是)的控制台来观察网络请求了。
经过仔细排查之后，我找到了一个请求xml的，它后面跟了一个oid，查看它的响应内容之后可以发现它就是弹幕文件。
它的响应时间98毫秒，远超其它几个响应，所以说如果把弹幕直接放在视频页面，用户体验一定会很差。
找到弹幕了，爬取它很容易，但是我们想要是爬取固定av号视频的弹幕，而不是说随意去找一个oid来爬取弹幕，这样我们都不知道爬下来的弹幕是哪个视频的。
接下来我们就可以复制oid的117784982值，去视频页面搜索看看了，通过视频来获得它的oid再来爬xml弹幕就很方便了。
这次用了谷歌浏览器，在里面通过搜索oid果然搜索到相关的数据了。
其中cid是弹幕对应的id，aid对应视频av号。
先把这个页面爬取下来。
# encoding: utf-8
import requests
headers = {
'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
'Accept': 'text/html',
'Cookie': "_uuid=1DBA4F96-2E63-8488-DC25-B8623EFF40E773841infoc; buvid3=FE0D3174-E871-4A3E-877C-A4ED86E20523155831infoc; LIVE_BUVID=AUTO8515670521735348; sid=l765gx48; DedeUserID=33717177; DedeUserID__ckMd5=be4de02fd64f0e56; SESSDATA=cf65a5e0%2C1569644183%2Cc4de7381; bili_jct=1e8cdbb5755b4ecd0346761a121650f5; CURRENT_FNVAL=16; stardustvideo=1; rpdid=|(umY))|ukl~0J'ulY~uJm)kJ; UM_distinctid=16ce0e51cf0abc-02da63c2df0b4b-5373e62-1fa400-16ce0e51cf18d8; stardustpgcv=0606; im_notify_type_33717177=0; finger=b3372c5f; CURRENT_QUALITY=112; bp_t_offset_33717177=300203628285382610"
}
resp = requests.get('https://www.bilibili.com/video/av67946325',headers=headers)
print(resp.text)
拿到了内容我们就要从中解析弹幕id了，对于这种规则紊乱的网页，我们就不能用上一篇中Bs4解析了，而是使用正则表达式。
正则表达式最简单的使用方式其实就是直接match。
re.search(匹配规则,文本).group()
观察这里的内容，我们大致的匹配规则就有了。
cid={目标}&aid=av号
117784982就是我们的目标。
av_id = '67946325'
resp = requests.get('https://www.bilibili.com/video/av'+av_id,headers=headers)
match_rule = r'cid=(.*?)&aid'
oid = re.search(match_rule,resp.text).group().replace('cid=','').replace('&aid','')
print('oid='+oid)
先根据av号拿到视频页面，然后解析视频页面拿到oid，最后用oid去请求xml弹幕文件。
xml_url = 'https://api.bilibili.com/x/v1/dm/list.so?oid='+oid
resp = requests.get(xml_url,headers=headers)
print(resp)
这样我们就完成B站弹幕爬虫了。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。

因为本人技术有限，无法实现一步到位，所以分两步实现。

第一步：

1.首先需要准备需要的库。

import re

import requests

import urllib

import bs4

2.就直接上代码。
import re
import requests
import urllib
import bs4
def main():
    url = "此处输入你要爬取的视频的当前网址"
    datalist = get_html(url)
    cid = saveurl(datalist)
    dmurl='https://comment.bilibili.com/'+cid+'.xml'
    print('请点击此网站：',dmurl)
def get_html(url):
    headers = {
        'User-Agent': '输入自己的User-Agent'
    }         #请输入你个人的User-Agent
    response = requests.get(url, headers=headers)
    return response.text
def saveurl(baseurl):
    findlink=re.compile(r'"cid":(.*?),"bvid":')
    cid = re.findall(findlink,baseurl)
    cid = list(cid)[1]
    return cid
if __name__ =="__main__":
    main()
    print("爬取完毕")

3.如何获取User-Agent。

打开你要爬取的网页，按 F12 打开开发者模式



然后刷新网页。并迅速点击红色圆圈按钮暂停。



将鼠标放在绿色线条的最左侧（还是在绿色线上），然后左键单击它


点击www.bilibili.com的文件，对，就是那个剩下的文件。



然后在你文件的最最最下面，就出现了你的User-Agent，因为名字我都帮大家写好了，所以大家只用将冒号后面的内容复制粘贴进去就可以了。

4.运行代码，会打印出一个网站，里面就是你要的弹幕，但是还需要进行数据处理（我多次尝试用不同的解码方式去读取，都显示的是一堆乱码，希望有大佬，可以指点！）

第二步：

1.将爬取到的网站中的所有信息，复制粘贴进一个txt文件中。

2.上代码。
import re
danmu=re.compile(r'<d p=".*">(.*?)</d>')
file=open("输入你存入网站内容的文件名","r",encoding="utf-8")
text=file.read()
data=re.findall(danmu,text)
File=open("输入你想要创建的文件名，弹幕信息将会被存储在这里","a",encoding="utf-8")
for i in data:
    File.writelines(i)
    File.writelines("\n")
File.close()
file.close()

3.将你的文件名都填入代码中，然后运行。弹幕就被存入文件了。

最近有朋友在群上面说做个b站某视频的弹幕统计列表，筛选出弹幕最多的那条！那么如何解决这个问题呢？首先肯定是要获取弹幕的列表吧，然后再进行分析吧。筛选出弹幕最多的那条，这个好办用collections可以解决，那么关键的问题应该就在怎么获取b站的弹幕列表了吧。
开发环境：
window7+chrome
idea+python插件
requests+json+beautifulsoup+collections
那解决步骤如下：
解析视频播放页面链接
查找弹幕资源所在地
数据分析 （collections.Counter）
数据存储(file)
导出exe
解析视频播放页资源，查找弹幕资源所在
查看下html网页源文件是否包含着弹幕的资源快捷键ctrl+u，选择其中的弹幕内容，发现不存在
按f12+选择network这个tab查看页面加载的时候的js链接处理
我们发现弹幕的内容包括在一个xml文件里面，对，而且还没有分页的处理
那么下一步就是找到这个数字所对应的链接了
https://api.bilibili.com/x/player/pagelist?aid={}&jsonp=jsonp.format("av号")
定代码架构：
def get_movie_url(av):pass #获取cid
def get_barrage_list(url):pass #获取列表
def get_barrage_count(list):pass #获取筛选数值
def write_text(content):pass #写进文本
写py代码
l_list = []
def get_movie_url(av):
response = requests.get(url_get_comment_cid.format(str(av)))
content = response.content.decode(response.encoding)
content = json.loads(content)
for d in content.get('data'):
cid = d.get('cid')
get_content(cid)
print("共有{}条弹幕".format(len(l_list)))
count = collections.Counter(l_list).most_common()
writetest(av, l_list)
writetest(str(av) + "count", count)
def get_barrage_list(cid):
response = requests.get(url_get_comment.format(str(cid)))
content = response.content.decode(response.encoding)
b = bs(content, 'xml')
for i in b.findChildren('d'):
l_list.append(i.text)
def write_text(av, l):
with open(str(av) + '.txt', 'w+', encoding='utf-8') as f:
for i in l:
f.write(str(i)+"\n")
使用pyInstanller导出exe
安装pyInstaller ，pip install pyinstaller 最新版本是3.3.1
pyinstaller -F py文件路径
生成exe文件，打开运行，至于下一步想导入excel
好的，就这样写完了。。。