如何将爬虫获取的数据写入Excel，这一点我在爬虫文章几乎都是采用这种方式来进行操作的

写入Excel的目的是为了后续更加方便的使用pandas对数据进行清洗、筛选、过滤等操作。

为进一步数据研究、可视化打基础。

1. 自定义写入Excel

python写入Excel的方式有很多，常用的支持python操作的库有 

xlsxwriter、pandas、openpyxl

今天咱们只介绍我常用到的openpyxl

1. 创建workbook

2.创建worsheet

3.数据写入sheet

4.数据写入sheet

5.保存到excel

既然说到爬虫数据写入Excel。那我们直接上爬虫案例

网页的分析和数据的爬取我们可以参考：

Python实战|腾讯招聘你干什么？python可视化告诉你

如图我们现在已经成功的将数据打印出来了，接下来我们考虑的就是如何将这些数据保存到Excel中。

前面说到我们这里使用的Python库是openpyxl来实现这一操作。

所以第一步

openpyxl的下载

或者自行下载whl文件安装

https://www.lfd.uci.edu/~gohlke/pythonlibs/

导入库

使用import导入openpyxl库，为后续方便调用，

可以使用as关键字来简写库名

import openpyxl as op

1. 创建workbook

ws = op.Workbook()

2.创建worsheet

wb = ws.create_sheet(index=0)

3. 头文件

    wb.cell(row=1, column=1, value='职位名称')
    wb.cell(row=1, column=2, value='国家')
    wb.cell(row=1, column=3, value='城市')
    wb.cell(row=1, column=4, value='职位分类')
    wb.cell(row=1, column=5, value='职位更新时间')
    wb.cell(row=1, column=6, value='职位要求')

3.数据写入sheet

      # 加入count是为了换行写入数据
      count = 2 
      
      # 要写入excel的数据
      post_name = job['RecruitPostName']  # 职位名称
      country_name = job['CountryName']  # 国家
      loc_name = job['LocationName']  # 城市
      category_name = job['CategoryName']  # 职位分类
      last_up_time = job['LastUpdateTime']  # 职位更新时间
      responsibility = job['Responsibility']  # 职位要求
      
      # 打印获取到的数据
      print(post_name, country_name, loc_name, category_name, last_up_time, responsibility)
      
      # 将数据写入到下一行
      wb.cell(row=count, column=1, value=post_name)
      wb.cell(row=count, column=2, value=country_name)
      wb.cell(row=count, column=3, value=loc_name)
      wb.cell(row=count, column=4, value=category_name)
      wb.cell(row=count, column=5, value=last_up_time)
      wb.cell(row=count, column=6, value=responsibility)
      
      # count加1，进入到下一行写入数据
      count += 1

4.保存excel

  # 保存数据
  ws.save('腾讯职位.xlsx')

四步走轻松将你的数据写入到Excel

还有更多的表头、边框、颜色设置等在此不再赘述哈

有需要的可自行百度哈。

2. 函数式写入Excel

import openpyxl as op

id = [1, 2, 3]
name = ['张三', '李四', '王五']
age = [21, 20, 122]
address = ['北京', '上海', '广州']
infos = [id, name, age, address]


def op_toexcel(data): # openpyxl库储存数据到excel
    wb = op.Workbook() # 创建工作簿对象
    ws = wb['Sheet'] # 创建子表
    ws.append(['序号', '姓名', '年龄', '住址']) # 添加表头
    for i in range(len(data[0])):
        d = data[0][i], data[1][i], data[2][i], data[3][i]
        ws.append(d) # 每次写入一行
    wb.save('测试.xlsx')

3. pandas写入Excel

id = [1, 2, 3]
name = ['张三', '李四', '王五']
age = [21, 20, 122]
address = ['北京', '上海', '广州']
infos = [id, name, age, address]

# pandas库储存数据到excel
def pd_toexcel(data):
    # 用字典设置DataFrame所需数据
    dfData = {
        '序号': data[0],
        '姓名': data[1],
        '年龄': data[2],
        '住址': data[3]

    }
    # 创建DataFrame
    df = pd.DataFrame(dfData)
    # 存表，去除原始索引列（0,1,2...）
    df.to_excel('测试.xlsx', index=False)

如有不足之处，烦请大佬们不吝赐教。及时指正。一起进步！

1、导入第三方库

requests库、re、html、xlwt

from bs4 import BeautifulSoup #解析网页
import re #正则表达式，进行文字匹配
import urllib.request,urllib.error  #制定url，获取网页数据
import xlwt  #进行excel操作
import sqlite3  #进行SQLite数据库操作

2、申请访问网页

def askURL(url):
    head = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.116 Safari/537.36"
    } #伪装成网页的形式，请求网页信息
    request = urllib.request.Request(url,headers=head)
    html = ""
    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
        #print(html)
    except urllib.error.URLError as e:
        if hasattr(e,"code"):
            print(e.code)
        if hasattr(e,"reason"):
            print(e.reason)
    return html

url：想要爬取的网址

User-Agent获取方法：

3、获取数据（正则表达式）

#电影链接
findLink = re.compile(r'<a href="(.*?)">')
#封面图片
findImgSrc = re.compile(r'<img.*src="(.*?)".*>',re.S)
#电影名称
findTitle = re.compile(r'<span class="title">(.*)</span>')
#评分
findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
#评价人数
findJudge = re.compile(r'<span>(\d*)人评价</span>')
#概况
findInq = re.compile(r'<span class="inq">(.*)</span>')
#电影详细内容
findBd = re.compile(r'<p class="">(.*?)</p>',re.S)

通过查看网页源代码，找出要获取数据的“格式”，用正则表达式来获取数据
（.*?）是要获取的数据，不加括号则无法获取

4、创建excel表

book = xlwt.Workbook(encoding="utf-8",style_compression=0)
sheet = book.add_sheet('豆瓣电影Top250',cell_overwrite_ok=True)
book.save('豆瓣电影Top250.xls')

创建完成后，将数据导入到excel表中

---

【完整代码】

from bs4 import BeautifulSoup #解析网页
import re #正则表达式，进行文字匹配
import urllib.request,urllib.error  #制定url，获取网页数据
import xlwt  #进行excel操作
import sqlite3  #进行SQLite数据库操作

def main():
    baseurl = "https://movie.douban.com/top250?start="
    #爬取网页
    datalist = getData(baseurl)
    #保存数据
    savepath = "豆瓣电影Top250.xls"
    saveData(datalist,savepath)
#电影链接
findLink = re.compile(r'<a href="(.*?)">')
#封面图片
findImgSrc = re.compile(r'<img.*src="(.*?)".*>',re.S)
#电影名称
findTitle = re.compile(r'<span class="title">(.*)</span>')
#评分
findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
#评价人数
findJudge = re.compile(r'<span>(\d*)人评价</span>')
#概况
findInq = re.compile(r'<span class="inq">(.*)</span>')
#电影详细内容
findBd = re.compile(r'<p class="">(.*?)</p>',re.S)

#爬取网页
def getData(baseurl):
    datalist = []
    for i in range(0,10):
        url = baseurl + str(i*25)
        html = askURL(url)


        #逐一解析数据
        soup = BeautifulSoup(html,"html.parser")
        for item in soup.find_all('div',class_="item"):
            #print(item)
            data = []
            item = str(item)

            Link = re.findall(findLink,item)[0]
            data.append(Link)

            ImgSrc = re.findall(findImgSrc,item)[0]
            data.append(ImgSrc)

            Title = re.findall(findTitle,item)
            if len(Title)==2:
                ctitle = Title[0]
                data.append(ctitle)
                otitle = Title[1].replace("/","")
                data.append(otitle)
            else:
                data.append(Title[0])
                data.append(' ')

            Rating = re.findall(findRating,item)[0]
            data.append(Rating)

            Judge = re.findall(findJudge,item)[0]
            data.append(Judge)

            Inq = re.findall(findInq,item)
            if len(Inq) !=0:
                Inq = Inq[0].replace("。","")
                data.append(Inq)
            else:
                data.append(" ")

            Bd = re.findall(findBd,item)[0]
            Bd = re.sub('<br(\s+)?/>(\s+)?'," ",Bd)
            data.append(Bd.strip())

            datalist.append(data)    #把处理好的一个电影信息存储到datalist中
    #解析网页
    return datalist

#获取指定一个网页内容
def askURL(url):
    head = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.116 Safari/537.36"
    } #伪装成网页的形式，请求网页信息
    request = urllib.request.Request(url,headers=head)
    html = ""
    try:
        response = urllib.request.urlopen(request)
        html = response.read().decode("utf-8")
        #print(html)
    except urllib.error.URLError as e:
        if hasattr(e,"code"):
            print(e.code)
        if hasattr(e,"reason"):
            print(e.reason)
    return html
#保存数据
def saveData(datalist,savepath):
    print("save....")
    book = xlwt.Workbook(encoding="utf-8",style_compression=0)
    sheet = book.add_sheet('豆瓣电影Top250',cell_overwrite_ok=True)
    col = ("电影详情链接","封面链接","影片中文名","影片外国名","评分","评价数","概况","相关信息","")
    for i in range(0,8):
        sheet.write(0,i,col[i])
    for i in range(0,250):
        print("第%d条"%(i+1))
        data = datalist[i]
        for j in range(0,8):
            sheet.write(i+1,j,data[j])
    book.save('豆瓣电影Top250.xls')


main()
print("爬取完毕")

【运行结果】

Excel是Microsoft为使用Windows和Apple Macintosh操作系统的电脑编写的一款电子表格软件。直观的界面、出色的计算功能和图表工具，再加上成功的市场营销，使Excel成为最流行的个人计算机数据处理软件。在1993年，作为Microsoft Office的组件发布了5.0版之后，Excel就开始成为所适用操作平台上的电子制表软件的霸主。

1、介绍

---

excel本身是有很多功能的，比如说格式调试，图表展示，公式计算等内容，但是对于我们在python爬虫中，我们关注的仅仅是纯数据，其他的格式内容，咱们暂时不提。

我们使用python操作excel的时候，我们要使用两个模块，分别是xlrd和xlwt，下面我们就分别使用python下的pip命令来安装下这两个模块。

2、安装

pip install xlrd=1.2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install xlwt -i https://pypi.tuna.tsinghua.edu.cn/simple

3、python读取excel表格

3.1 创建测试文件

首先我们先创建一个名字为ceshi.xlsx的测试文件，以供我们使用，文件如下：

3.2 读取excel中所有sheet的信息

在这里有好几种方式，我们分别来尝试下；

（1）获取所有的sheet

import xlrd

Workbook = xlrd.open_workbook('ceshi.xlsx')
Sheet_Names = Workbook.sheet_names()
print(Sheet_Names)

运行结果如下：

['汇总', '姓名', '年龄', '地区', '出生年月', '爱好']

（2）根据索引获取sheet

import xlrd

Workbook = xlrd.open_workbook('ceshi.xlsx')
Sheet_Names = Workbook.sheet_by_index(0)
print(Sheet_Names.name)

运行结果如下：

汇总

从上面我们可以看到，我们根据索引为“0”，获取到了第一个sheet，那么同理，要获取第二个sheet的话，我们是不是应该配置索引为“1”即可；

（3）根据名字获取sheet

import xlrd

Workbook = xlrd.open_workbook('ceshi.xlsx')
Sheet_Name = Workbook.sheet_by_name('出生年月')
print(Sheet_Name.name)

运行结果如下：

出生年月

（4）获取所有sheet对象

import xlrd

Workbook = xlrd.open_workbook('ceshi.xlsx')
Sheet_Names = Workbook.sheets()
print(Sheet_Names)
for i in Sheet_Names:
    print(i.name)

运行结果如下：

[<xlrd.sheet.Sheet object at 0x000001554E142E20>, <xlrd.sheet.Sheet object at 0x000001554E142F10>, <xlrd.sheet.Sheet object at 0x000001554E142F40>, <xlrd.sheet.Sheet object at 0x000001554E142F70>, <xlrd.sheet.Sheet object at 0x000001554E151A60>, <xlrd.sheet.Sheet object at 0x000001554E131DC0>]
汇总
姓名
年龄
地区
出生年月
爱好

3.3 获取该sheet中的行数和列数

import xlrd

WorkBook = xlrd.open_workbook('ceshi.xlsx')
Sheet_Name = WorkBook.sheet_by_name('汇总')
print("名字为{}的sheet中，一共有{}行".format(Sheet_Name.name, Sheet_Name.nrows))
print("名字为{}的sheet中，一共有{}列".format(Sheet_Name.name, Sheet_Name.ncols))

运行结果如下：

名字为汇总的sheet中，一共有9行
名字为汇总的sheet中，一共有5列

4、使用python获取excel中指定单元格的数据

Cell就表示单元格，单元格也就是excel中的最小单位，一个个小格子就是单元格。

且，在python中，每一行和列都是从0开始，从左上角依次类推+1的。

4.1 获取指定行和列的cell对象

方法：

sheet.cell(row,col)

示例代码：

import xlrd

Workbook = xlrd.open_workbook('ceshi.xlsx')
Sheet_Name = Workbook.sheet_by_index(0)
print(Sheet_Name.cell(0, 1))  # 获取第0行，第1列的数据，也就是B1单元格的数据

运行结果如下：

text:'年龄'

4.2 获取指定行的某几列的cell对象

方法：

sheet.row_slice(row,start_col,end_col)

示例代码：

import xlrd

Workbook = xlrd.open_workbook('ceshi.xlsx')
Sheet_Name = Workbook.sheet_by_index(0)
print(Sheet_Name.row_slice(1, 0, 5))  # 获取第一行的0-5列之间的，不包括第5列

运行结果如下：

[text:'张三', number:18.0, text:'北京', xldate:36526.0, text:'吃饭']

4.3 获取指定列的某几行的cell对象

方法：

sheet.col_slice(col,start_row,end_row)

示例代码如下：

import xlrd

Workbook = xlrd.open_workbook('ceshi.xlsx')
Sheet_Name = Workbook.sheet_by_index(0)
print(Sheet_Name.col_slice(0, 0, 5))  # 获取第0列的，0-5行之间的数据，不包括第5行

运行结果如下：

[text:'姓名', text:'张三', text:'李四', text:'王五', text:'赵六']

4.4 获取指定行和列的值

方法：

sheet.cell_value(row,col)

示例代码如下：

import xlrd

Workbook = xlrd.open_workbook('ceshi.xlsx')
Sheet_Name = Workbook.sheet_by_index(0)
print(Sheet_Name.cell_value(1, 2))  # 获取第1行，第二列的单元格的数据，即C2的数据

运行结果如下：

北京

4.5 获取指定行的某几列的值

方法：

sheet.row_values(row,start_col,end_col)

剩余内容请转至VX公众号 “运维家” ，回复 “181” 查看。

------ “运维家” ，回复 “181” ------

------ “运维家” ，回复 “181” ------

------ “运维家” ，回复 “181” ------

linux系统下，mknodlinux，linux目录写权限，大白菜能安装linux吗，linux系统创建文件的方法，领克linux系统怎么装软件，linux文本定位；
ocr识别linux，linux锚定词尾，linux系统使用记录，u盘有linux镜像文件，应届生不会Linux，linux内核64位，linux自启动管理服务；
linux计算文件夹大小，linux设备名称有哪些，linux能用的虚拟机吗，linux系统进入不了命令行，如何创建kalilinux，linux跟so文件一样吗。