python爬取B站视频中的弹幕并图形化展示

新手上路，参考：https://blog.csdn.net/csdnnews/article/details/106754771案例
需要了解爬取的地址：
1：视频地址：https://www.bilibili.com/video/BV1PK4y1b7dt?t=1
2.对于参考文档中提到的B站API接口，是如何找到的，不是很清楚，故只能照搬过来：https://api.bilibili.com/x/v1/dm/list.so?oid=XXX，其中XXX需要在网页中获取
3.oid=XXX中的XXX获取：
获取cid：https://api.bilibili.com/x/player/pagelist?bvid=BV1PK4y1b7dt&jsonp=json
此处的cid，即所需XXX，如果视频是分段的，则会有多个cid值，这里只有一个
故完整的接口为：https://api.bilibili.com/x/v1/dm/list.so?oid=201056987
代码：我这是分两部分，爬取弹幕保存本地，本地读取构成词云图
本地爬取：

import requests
import json
import re
import chardet   #提供自动检测字符编码的功能
from pprint import pprint    #打印出任何python数据结构类的和方法,没用到
from wordcloud import wordcloud   #是一种将词语用图片表达出来的一种形式

'''根据bvid请求得到cid'''
def get_cid():
    #视频地址：https://www.bilibili.com/video/BV1PK4y1b7dt?t=1
    url='https://api.bilibili.com/x/player/pagelist?bvid=BV1PK4y1b7dt&jsonp=jsonp'
    res=requests.get(url).text
    #将获取的网页json编码字符串转换为python对象
    json_dict=json.loads(res)
    return json_dict["data"][0]["cid"]

'''根据cid请求弹幕，并解析所得数据'''
def get_data(cid):
    #https://api.bilibili.com/x/v1/dm/list.so?oid=XXX
    #最终爬取API：https://api.bilibili.com/x/v1/dm/list.so?oid=201056987
    try:
        final_url="https://api.bilibili.com/x/v1/dm/list.so?oid="+str(cid)
        final_res=requests.get(final_url)
        final_res.encoding='utf-8'
        final_res_encoding=chardet.detect(final_res.content)
        final_res=final_res.text
        pattern=re.compile('<d.*?>(.*?)</d>')
        data=pattern.findall(final_res)
        print(u"获取的data=",data)
        return data
    except Exception as e:
        print("执行get_data失败：",e)

'''保存弹幕列表'''
def save_to_file(data):
    try:
        with open('zjl_mv.txt',mode="w",encoding='utf-8') as f:
            for i in data:
                f.write(i)
                f.write("\n")
        f.close()
    except Exception as e:
        print ("执行保存文件报错：",e)

构成词云图：

import pandas as pd   #用于数据导入及整理模块，对数据挖掘前期数据的处理
import jieba    #用于中文分词的模块，名为结巴分词库
from wordcloud import wordcloud   #是一种将词语用图片表达出来的一种形式
import matplotlib.pyplot as plt   #python的绘图库
from imageio import imread  #提供一个接口来读取和写入大量的图像数据

import warnings
'''忽略匹配的警告'''
warnings.filterwarnings("ignore")

'''将文本进行分词'''
def cut():
    try:
        with open('zjl_mv.txt',encoding='utf-8') as f:
            text=f.read()
        #text=text.replace('#后台播放','').replace('！','').replace('＃','').split()  #以空格、\n为分隔符对text进行切片,是一个列表
        text=text.replace('#后台播放',' ').replace('后台播放',' ').split()  #以空格、\n为分隔符对text进行切片,是一个列表
        print("text=",text)
        jieba.suggest_freq('小公举',True)  #使得小公举这个词不被拆分
        data_cut=[jieba.lcut(x) for x in text if '\n' not in x]  #返回的是对X进行分词的列表，X
        print("data_cut=",data_cut)
        '''词频统计'''
        all_words=[]
        for i in data_cut:
            all_words.extend(i)  #将分词列表合成一个新的列表展示
        word_count=pd.Series(all_words).value_counts()  #返回一个包含所有值及其出现次数的Series，且为降序输出
        #print("排序分词：",word_count)
        f.close()
        return word_count
    except Exception as e:
        print("分词出错",e)
        return 1

'''词云图的制作'''
def citu(data_cut):
    try:
        bj_picture=imread(r"D:\code\pytest3\img\bj.jpg")   #读取背景图
        '''设置词云参数'''
        wc=wordcloud.WordCloud(font_path="G:\\6Tipdm\\wordcloud\\simhei.ttf",
               background_color="white",
               max_words=2000,
               mask=bj_picture,
               max_font_size=100,
               random_state=42)
        wc2=wc.fit_words(data_cut)
        '''绘制图云图片'''
        plt.figure(figsize=(10,6))
        plt.imshow(wc2)
        plt.axis("off")
        plt.show()
        wc.to_file("ciyun.png")
    except Exception as e:
        print("词云图制作报错：",e)

最终效果：

总结：
1.json数据格式的使用，request获取的text，一般都是就json数据格式，需要使用json.loads(text)函数将就json编码格式转换程序python对象，反之可以使用json.dumps(text);
2.精准数据获取：针对json编码转python对象，json的object、array、string、number(ini)、number(real)、true、false、null分别对应python的dict、list、Unicode、int/long、float、True、False、None，可以根据python的各类操作进行数据获取
3.乱码问题：发送request.get请求得到的text文本，打印出现乱码问题，可以通过在发送request.get请求返回的response对象指明编码方式，再去获取text属性，如下图：

用到的知识：
1.jieba库：用于中文分词的模块；
涉及的函数：jieba.lcut(s)–精确模式，返回一个列表类型，其中s是一个字符串；ps:具体用法参考：https://blog.csdn.net/qq_34337272/article/details/79554772
2.学到一个语句：其中text是一个字符串列表，得到的data_cut还是一个列表

3.pandas库：数据分析工具；
用到了series（），能够保存任何类型的数据，以一维标记数据（相当于字典），区别在于，默认通过（0，n-1)作为key访问数据，也可以自己定义key，例如：obj=pd.Series([1,3,8,24,23],index=[‘a’,‘b’,‘c’,‘d’,‘e’])，通过a/b/c/d/e作为索引
4.词云这块没做细究，纯属搬运工

用Python爬取B站弹幕并做成词云

一、获取视频的cid号
1.进入想爬的视频，打开浏览器设置里的“开发者工具”：

进入NetWork后等待requests刷出，数据够了后可随意点击一个数据查看其preview和其URL，
然后进入Search后输入cid获得视频的cid号。

2.爬视频的弹幕

#爬数据正文
def get_data(cid):
    # 分析网页，并获取网页文件
    url = 'https://comment.bilibili.com/{}.xml'.format(cid)   #B站弹幕数据存放在https://comment.bilibili.com/cid.xml中，其中cid是视频的cid号
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0;Win64;x64) AppleWebKit/537.36(KHTML, likeGecko) Chrome/80.0.3987.163Safari/537.36"
    }
    response = requests.get(url,headers = headers).content.decode('utf-8')   
    return response
def parse_html(response):
    # 解读网页文件，获取关键信息
    # soup = bs4.BeautifulSoup(response)
    # lst = [soup.find_all(name='d')]
    # danmuku = [i.text for i in lst]
 
    pattern = re.compile(r'<d p=".*?">(.*?)</d>')
    danmuku = re.findall(pattern,response)
    #print(danmuku)  #打印弹幕数据
    return danmuku
def save_data(danmuku,cid):
    # 保存数据
    Dict = {
        'danmuku' : danmuku
    }
    pd_data = pd.DataFrame(Dict)
    cid = str(cid)
    name = cid + '弹幕文件.txt'
    path = 'C:/Users/priesty/Desktop/弹幕数据/{}'.format(name)
    pd_data.to_csv(path,index = False,header=False,mode='w',encoding='utf-8-sig')
 
def data_preprocess(danmuku,cid):
    cid = str(cid)
    name = cid + '弹幕文件.txt'
    path = 'C:/Users/priesty/Desktop/弹幕数据/{}'.format(name)
    with open(path ,mode='r',encoding='utf-8') as f:
        # 加载用户自定义字典
        jieba.load_userdict (r'C:/Users/priesty/Desktop/弹幕数据/自定义词表.txt')
        reader = f.read().replace('\n','')
        # 加载停用词词表
        stopwords = [line.strip() for line in open(r'C:/Users/priesty/Desktop/弹幕数据/停用词表.txt',encoding ='utf8').readlines()]  #原代码为gbk，改为了utf8
        # 去标点，去数字，去空白
        pun_num = string.punctuation + string.digits
        table = str.maketrans('','',pun_num)
        reader = reader.translate(table)
        seg_list = jieba.cut(reader,cut_all=False)
        sentence = ''
        for word in seg_list:
            if word not in stopwords and word.isspace() == False:
                sentence += word
                sentence += ','
        sentence = sentence[:-1]
        return sentence
 
def count_words(txt,cid):
    cid = str(cid)
    name = cid + '弹幕词汇数统计.txt'
    path = 'C:/Users/priesty/Desktop/弹幕数据/{}'.format(name)
    aDict = {}
    words = txt.split(',')
    for word in words:
        aDict[word] = aDict.get(word,0) + 1
    pd_count = pd.DataFrame(aDict,index=['times']).T.sort_values('times',ascending=False)
    pd_count.to_csv(path)
 
if __name__ == "__main__":
 
    cid = int(input('请输入你想查询的视频CID号：'))
    response = get_data(cid)              #这两句可改为一句response = get_data(348133155)
    danmuku = parse_html(response)
    save_data(danmuku,cid)
    sentence = data_preprocess(danmuku,cid)
    count_words(sentence,cid)

原代码来自：https://blog.csdn.net/paxiaochong001/article/details/116937710

ps：1.“自定义词表”和“停用词表”内容可以随便添加
2.B站弹幕数据存放在https://comment.bilibili.com/cid.xml中，其中cid是视频的cid号
3.路径的斜杠别用反了

3.制作词云
安装jieba、wordcloud、request库（后两个基本上新版自带）

#词云正文
#背景图
bg=np.array(Image.open("C:/Users/priesty/Desktop/弹幕数据/1.png"))

#获取当前的项目文件加的路径
d=path.dirname('__file__')    #file要加引号
#d=os.path.abspath('')

#读取停用词表
stopwords_path='C:/Users/priesty/Desktop/弹幕数据/停用词表.txt'
#添加需要自定以的分词
jieba.add_word("晚唐")
jieba.add_word("武周")

#读取要分析的文本
text_path="C:/Users/priesty/Desktop/弹幕数据/348133155弹幕文件.txt"  #文本太大读取不出来
#读取要分析的文本，读取格式
text=open(path.join(d,text_path),encoding="utf8").read()
#定义个函数式用于分词
def jiebaclearText(text):
    #定义一个空的列表，将去除的停用词的分词保存
    mywordList=[]
    #进行分词
    seg_list=jieba.cut(text,cut_all=False)
    #将一个generator的内容用/连接
    listStr='/'.join(seg_list)
    #打开停用词表
    f_stop=open(stopwords_path,encoding="utf8")
    #读取
    try:
        f_stop_text=f_stop.read()
    finally:
        f_stop.close()#关闭资源
    #将停用词格式化，用\n分开，返回一个列表
    f_stop_seg_list=f_stop_text.split("\n")
    #对默认模式分词的进行遍历，去除停用词
    for myword in listStr.split('/'):
        #去除停用词
        if not(myword.split()) in f_stop_seg_list and len(myword.strip())>1:
            mywordList.append(myword)
    return ' '.join(mywordList)
text1=jiebaclearText(text)
#生成
wc=WordCloud(
    background_color="white", 
    max_words=200,
    mask=bg,            #设置图片的背景
    max_font_size=60,
    random_state=42,
    font_path='C:/Windows/Fonts/simkai.ttf'   #中文处理，用系统自带的字体
    ).generate(text1)
#为图片设置字体
my_font=fm.FontProperties(fname='C:/Windows/Fonts/simkai.ttf')
#产生背景图片，基于彩色图像的颜色生成器
image_colors=ImageColorGenerator(bg)
#开始画图
plt.imshow(wc.recolor(color_func=image_colors))
#为云图去掉坐标轴
plt.axis("off")
#画云图，显示
plt.figure()
#为背景图去掉坐标轴
plt.axis("off")
plt.imshow(bg,cmap=plt.cm.gray)

#保存云图
wc.to_file("C:/Users/priesty/Desktop/弹幕数据/2.png")

原代码来自：https://piqiandong.blog.csdn.net/article/details/79558589
则词云图片为：

4.整个原代码

#爬数据前缀
import requests
import re
import pandas as pd
import string
import jieba

#词云前缀
from os import path  #用来获取文档的路径
from PIL import Image
import numpy as  np
import matplotlib.pyplot as plt
#词云生成工具
from wordcloud import WordCloud,ImageColorGenerator
#需要对中文进行处理
import matplotlib.font_manager as fm

#爬数据正文
def get_data(cid):
    # 分析网页，并获取网页文件
    url = 'https://comment.bilibili.com/{}.xml'.format(cid)   #B站弹幕数据存放在https://comment.bilibili.com/cid.xml中，其中cid是视频的cid号
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0;Win64;x64) AppleWebKit/537.36(KHTML, likeGecko) Chrome/80.0.3987.163Safari/537.36"
    }
    response = requests.get(url,headers = headers).content.decode('utf-8')   
    return response
def parse_html(response):
    # 解读网页文件，获取关键信息
    # soup = bs4.BeautifulSoup(response)
    # lst = [soup.find_all(name='d')]
    # danmuku = [i.text for i in lst]
 
    pattern = re.compile(r'<d p=".*?">(.*?)</d>')
    danmuku = re.findall(pattern,response)
    #print(danmuku)  #打印弹幕数据
    return danmuku
def save_data(danmuku,cid):
    # 保存数据
    Dict = {
        'danmuku' : danmuku
    }
    pd_data = pd.DataFrame(Dict)
    cid = str(cid)
    name = cid + '弹幕文件.txt'
    path = 'C:/Users/priesty/Desktop/弹幕数据/{}'.format(name)
    pd_data.to_csv(path,index = False,header=False,mode='w',encoding='utf-8-sig')
 
def data_preprocess(danmuku,cid):
    cid = str(cid)
    name = cid + '弹幕文件.txt'
    path = 'C:/Users/priesty/Desktop/弹幕数据/{}'.format(name)
    with open(path ,mode='r',encoding='utf-8') as f:
        # 加载用户自定义字典
        jieba.load_userdict (r'C:/Users/priesty/Desktop/弹幕数据/自定义词表.txt')
        reader = f.read().replace('\n','')
        # 加载停用词词表
        stopwords = [line.strip() for line in open(r'C:/Users/priesty/Desktop/弹幕数据/停用词表.txt',encoding ='utf8').readlines()]#原代码为gbk，改为了utf8
        # 去标点，去数字，去空白
        pun_num = string.punctuation + string.digits
        table = str.maketrans('','',pun_num)
        reader = reader.translate(table)
        seg_list = jieba.cut(reader,cut_all=False)
        sentence = ''
        for word in seg_list:
            if word not in stopwords and word.isspace() == False:
                sentence += word
                sentence += ','
        sentence = sentence[:-1]
        return sentence
 
def count_words(txt,cid):
    cid = str(cid)
    name = cid + '弹幕词汇数统计.txt'
    path = 'C:/Users/priesty/Desktop/弹幕数据/{}'.format(name)
    aDict = {}
    words = txt.split(',')
    for word in words:
        aDict[word] = aDict.get(word,0) + 1
    pd_count = pd.DataFrame(aDict,index=['times']).T.sort_values('times',ascending=False)
    pd_count.to_csv(path)
 
if __name__ == "__main__":
 
    cid = int(input('请输入你想查询的视频CID号：'))
    response = get_data(cid)              #这两句可改为一句response = get_data(348133155)
    danmuku = parse_html(response)
    save_data(danmuku,cid)
    sentence = data_preprocess(danmuku,cid)
    count_words(sentence,cid)

    

#词云正文
#背景图
bg=np.array(Image.open("C:/Users/priesty/Desktop/弹幕数据/1.png"))

#获取当前的项目文件加的路径
d=path.dirname('__file__')    #file要加引号
#d=os.path.abspath('')

#读取停用词表
stopwords_path='C:/Users/priesty/Desktop/弹幕数据/停用词表.txt'
#添加需要自定以的分词
jieba.add_word("晚唐")
jieba.add_word("武周")

#读取要分析的文本
text_path="C:/Users/priesty/Desktop/弹幕数据/348133155弹幕文件.txt"  #文本太大读取不出来
#读取要分析的文本，读取格式
text=open(path.join(d,text_path),encoding="utf8").read()
#定义个函数式用于分词
def jiebaclearText(text):
    #定义一个空的列表，将去除的停用词的分词保存
    mywordList=[]
    #进行分词
    seg_list=jieba.cut(text,cut_all=False)
    #将一个generator的内容用/连接
    listStr='/'.join(seg_list)
    #打开停用词表
    f_stop=open(stopwords_path,encoding="utf8")
    #读取
    try:
        f_stop_text=f_stop.read()
    finally:
        f_stop.close()#关闭资源
    #将停用词格式化，用\n分开，返回一个列表
    f_stop_seg_list=f_stop_text.split("\n")
    #对默认模式分词的进行遍历，去除停用词
    for myword in listStr.split('/'):
        #去除停用词
        if not(myword.split()) in f_stop_seg_list and len(myword.strip())>1:
            mywordList.append(myword)
    return ' '.join(mywordList)
text1=jiebaclearText(text)
#生成
wc=WordCloud(
    background_color="white", 
    max_words=200,
    mask=bg,            #设置图片的背景
    max_font_size=60,
    random_state=42,
    font_path='C:/Windows/Fonts/simkai.ttf'   #中文处理，用系统自带的字体
    ).generate(text1)
#为图片设置字体
my_font=fm.FontProperties(fname='C:/Windows/Fonts/simkai.ttf')
#产生背景图片，基于彩色图像的颜色生成器
image_colors=ImageColorGenerator(bg)
#开始画图
plt.imshow(wc.recolor(color_func=image_colors))
#为云图去掉坐标轴
plt.axis("off")
#画云图，显示
plt.figure()
#为背景图去掉坐标轴
plt.axis("off")
plt.imshow(bg,cmap=plt.cm.gray)

#保存云图
wc.to_file("C:/Users/priesty/Desktop/弹幕数据/2.png")

结果图：

参考文章：https://blog.csdn.net/paxiaochong001/article/details/116937710
https://piqiandong.blog.csdn.net/article/details/79558589