精华内容
下载资源
问答
  • 这也不知道什么情况,一页的数据全存在一行了,总共爬了3页,存了3行数据 ```python import requests from lxml import etree import pandas as pd import pyttsx3 def star_data(page): url = '...
  • python爬取内容存入Excel实例来源:中文源码网 浏览: 次 日期:2019年11月5日【下载文档: python爬取内容存入Excel实例.txt 】(友情提示:右键点上行txt文档名->目标另存为)python爬取内容存入Excel实例最近老师布置...

    python爬取内容存入Excel实例

    来源:中文源码网 浏览: 次 日期:2019年11月5日

    【下载文档: python爬取内容存入Excel实例.txt 】

    (友情提示:右键点上行txt文档名->目标另存为)

    python爬取内容存入Excel实例最近老师布置了个作业,爬取豆瓣top250的电影信息。按照套路,自然是先去看看源代码了,一看,基本的信息竟然都有,心想这可省事多了。简单分析了下源代码,标记出所需信息的所在标签,ok,开始干活!

    鉴于正则表达式的资料已经看了不少,所以本次除了beautifulsoup外,还有些re的使用,当然,比较简单。而爬到信息后,以往一般是存到txt文件,或者数据库中,老是重样的操作,难免有些‘厌倦'。心想,干嘛不存到Excel表呢?对啊,可以存到Excel表。

    环境准备:pip install openpyxl (假设你已配好了python环境)

    好了,废话少说,上代码。

    # coding=UTF-8

    '''

    function:爬取豆瓣top250的电影信息,并写入Excel文件

    '''

    import requests

    import re

    from openpyxl import workbook # 写入Excel表所用

    from openpyxl import load_workbook # 读取Excel表所用

    from bs4 import BeautifulSoup as bs

    import os

    os.chdir('C:\Users\Administrator\Desktop') # 更改工作目录为桌面

    def getHtml(src):

    html = requests.get(src).content

    getData(html, src) # 首页链接和其他页不同,所以单独获取信息

    urls = re.findall('href="(.*filter=?)', html) # re获取获取跳转链接的href

    for u in range(len(urls) - 2): # 匹配到的跳转链接最后两个重复,需去掉

    next_url = 'http://movie.douban.com/top250' + urls[u]

    html = requests.get(next_url).content

    getData(html, next_url)

    def getData(html, num_url): # html:网页源码 ,num_url:页面链接

    global ws # 全局工作表对象

    Name = [] # 存储电影名

    Dr = [] # 存储导演信息

    Ma = [] # 存储主演信息

    Si = [] # 存储简介

    R_score = [] # 存储评分

    R_count = [] # 存储评论人数

    R_year = [] # 存储年份

    R_area = [] # 存储地区

    R_about = [] # 存储剧情类型

    soup = bs(html, 'lxml')

    for n in soup.find_all('div', class_='hd'):

    # ts = n.contents[1].text # 得到电影的所有名称

    ts = n.contents[1].text.strip().split('/')[0] # 得到电影中文名

    Name.append(ts)

    for p in soup.find_all('p', class_=''):

    infor = p.text.strip().encode('utf-8') #此处用utf-8编码,以免下面查找 ‘主演'下标报错

    ya = re.findall('[0-9]+.*\/?', infor)[0] # re得到年份和地区

    R_year.append(ya.split('/')[0]) # 得到年份

    R_area.append(ya.split('/')[1]) # 得到地区

    R_about.append(infor[infor.rindex('/') + 1:]) # rindex函数取最后一个/下标,得到剧情类型

    try:

    sub = infor.index('主演') # 取得主演下标

    Dr.append(infor[0:sub].split(':')[1]) # 得到导演信息

    mh = infor[sub:].split(':')[1] # 得到主演后面的信息

    Ma.append(re.split('[1-2]+', mh)[0]) # 正则切片得到主演信息

    except:

    print '无主演信息'

    Dr.append(infor.split(':')[1].split('/')[0])

    Ma.append('无介绍...')

    for r in soup.find_all('div', class_='star'):

    rs = r.contents # 得到该div的子节点列表

    R_score.append(rs[3].text) # 得到评分

    R_count.append(rs[7].text) # 得到评论人数

    for s in soup.find_all('span', 'inq'):

    Si.append(s.text) # 得到简介

    if len(Si) < 25:

    for k in range(25 - len(Si)):

    Si.append('本页有的电影没简介,建议查看核对,链接:' + num_url)

    for i in range(25): # 每页25条数据,写入工作表中

    ws.append([Name[i], R_year[i], R_area[i], R_about[i],

    Dr[i], Ma[i], R_score[i], R_count[i], Si[i]])

    if __name__ == '__main__':

    # 读取存在的Excel表测试

    # wb = load_workbook('test.xlsx') #加载存在的Excel表

    # a_sheet = wb.get_sheet_by_name('Sheet1') #根据表名获取表对象

    # for row in a_sheet.rows: #遍历输出行数据

    # for cell in row: #每行的每一个单元格

    # print cell.value,

    # 创建Excel表并写入数据

    wb = workbook.Workbook() # 创建Excel对象

    ws = wb.active # 获取当前正在操作的表对象

    # 往表中写入标题行,以列表形式写入!

    ws.append(['电影名', '年份', '地区', '剧情类型', '导演', '主演', '评分', '评论人数', '简介'])

    src = 'http://movie.douban.com/top250'

    getHtml(src)

    wb.save('test2.xlsx') # 存入所有信息后,保存为filename.xlsx代码中已有不少注释,这里说下爬取过程中遇到的小问题。

    1.soup的contents方法,返回的是某标签下的子节点列表,但刚开始总是取不到想要的值,输出其长度后,有些傻眼..TM什么情况?有这么多的子节点吗?较真的我又去数了几遍,最后发现,它竟然连"换行"都算作是子节点!莫名地有点方...不知各位有没有遇到过。如图,我按列表下标标记,0,2,4,6,8是换行,但也被算作子节点...

    2.还是contents方法,代码中的 '#得到电影所有名称' 处的代码 n.contents[1]获取的除了a标签外,还有其下的span标签,这是为何?它们算一个整体?3.对如下图的电影信息处理时,出现了几处错误,原因有以下几点:

    (1)部分电影没有主演信息...

    (2)主演信息为这样'主演: ',就一个主演字样,无内容

    (3)部分电影没有简介

    (4)当主演信息中没有'...'时,获取主演信息受阻

    解决方案:(1)(2)都是主演问题,判断是否存在即可。(我以捕获异常处理)

    (3)是简介问题,我无法给出具体哪部电影没有简介,但给了该电影所在的页面链接,可访问核查。(貌似有点笨)

    (4)获取受阻是因为后面没有精确定位点,最后以re.split('[1-2]+')方法解决,匹配年份第一位作为分片点本次分享就到这儿了,最后,照旧放几张结果图吧。

    以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持中文源码网。

    亲,试试微信扫码分享本页! *^_^*

    展开全文
  • 主要为大家详细介绍了python爬取内容存入Excel实例,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
  • Python 爬取内容存入Excel实例

    万次阅读 多人点赞 2018-04-14 09:57:03
    最近老师布置了个作业,爬取豆瓣top250的电影信息。按照套路,自然是先去看看源代码了,一看,基本的信息竟然都有,心想这可省事多了。简单分析了下源代码,标记出所需信息的所在标签,ok,开始干活! 鉴于正则...

           【根据博友们的反馈,博主用python3重新写了一遍,并做了一些改进,点击查看python爬取豆瓣Top250-改进版

           最近老师布置了个作业,爬取豆瓣top250的电影信息。按照套路,自然是先去看看源代码了,一看,基本的信息竟然都有,心想这可省事多了。简单分析了下源代码,标记出所需信息的所在标签,ok,开始干活!

          鉴于正则表达式的资料已经看了不少,所以本次除了beautifulsoup外,还有些re的使用,当然,比较简单。而爬到信息后,以往一般是存到txt文件,或者数据库中,老是重样的操作,难免有些‘厌倦’。心想,干嘛不存到Excel表呢?对啊,可以存到Excel表嘛。。。

          环境准备:pip install openpyxl  (假设你已配好了python环境)

          好了,废话少说,上代码。

        

    # coding=UTF-8
    '''
      function:爬取豆瓣top250的电影信息,并写入Excel文件
    '''
    import requests
    import re
    from openpyxl import workbook  # 写入Excel表所用
    from openpyxl import load_workbook  # 读取Excel表所用
    from bs4 import BeautifulSoup as bs
    import os
    os.chdir('C:\Users\Administrator\Desktop')  # 更改工作目录为桌面
    
    
    def getHtml(src):
        html = requests.get(src).content
        getData(html, src)  # 首页链接和其他页不同,所以单独获取信息
        urls = re.findall('href="(.*filter=?)', html)  # re获取获取跳转链接的href
        for u in range(len(urls) - 2):  # 匹配到的跳转链接最后两个重复,需去掉
            next_url = 'https://movie.douban.com/top250' + urls[u]
            html = requests.get(next_url).content
            getData(html, next_url)
    
    
    def getData(html, num_url):  # html:网页源码 ,num_url:页面链接
        global ws  # 全局工作表对象
        Name = []  # 存储电影名
        Dr = []  # 存储导演信息
        Ma = []  # 存储主演信息
        Si = []  # 存储简介
        R_score = []  # 存储评分
        R_count = []  # 存储评论人数
        R_year = []  # 存储年份
        R_area = []  # 存储地区
        R_about = []  # 存储剧情类型
        soup = bs(html, 'lxml')
        for n in soup.find_all('div', class_='hd'):
            # ts = n.contents[1].text  # 得到电影的所有名称
            ts = n.contents[1].text.strip().split('/')[0]  # 得到电影中文名
            Name.append(ts)
        for p in soup.find_all('p', class_=''):
            infor = p.text.strip().encode('utf-8') #此处用utf-8编码,以免下面查找 ‘主演’下标报错
            ya = re.findall('[0-9]+.*\/?', infor)[0]  # re得到年份和地区
            R_year.append(ya.split('/')[0])  # 得到年份
            R_area.append(ya.split('/')[1])  # 得到地区
            R_about.append(infor[infor.rindex('/') + 1:])  # rindex函数取最后一个/下标,得到剧情类型
            try:
                sub = infor.index('主演')  # 取得主演下标
                Dr.append(infor[0:sub].split(':')[1])  # 得到导演信息
                mh = infor[sub:].split(':')[1]  # 得到主演后面的信息
                Ma.append(re.split('[1-2]+', mh)[0])  # 正则切片得到主演信息
            except:
                print '无主演信息'
                Dr.append(infor.split(':')[1].split('/')[0])
                Ma.append('无介绍...')
        for r in soup.find_all('div', class_='star'):
            rs = r.contents  # 得到该div的子节点列表
            R_score.append(rs[3].text)  # 得到评分
            R_count.append(rs[7].text)  # 得到评论人数
        for s in soup.find_all('span', 'inq'):
            Si.append(s.text)  # 得到简介
        if len(Si) < 25:
            for k in range(25 - len(Si)):
                Si.append('本页有的电影没简介,建议查看核对,链接:' + num_url)
    
        for i in range(25):  # 每页25条数据,写入工作表中
            ws.append([Name[i], R_year[i], R_area[i], R_about[i],
                       Dr[i], Ma[i], R_score[i], R_count[i], Si[i]])
    
    
    if __name__ == '__main__':
        #   读取存在的Excel表测试
        #     wb = load_workbook('test.xlsx') #加载存在的Excel表
        #     a_sheet = wb.get_sheet_by_name('Sheet1') #根据表名获取表对象
        #     for row in a_sheet.rows: #遍历输出行数据
        #         for cell in row: #每行的每一个单元格
        #             print cell.value,
    
        #  创建Excel表并写入数据
        wb = workbook.Workbook()  # 创建Excel对象
        ws = wb.active  # 获取当前正在操作的表对象
        # 往表中写入标题行,以列表形式写入!
        ws.append(['电影名', '年份', '地区', '剧情类型', '导演', '主演', '评分', '评论人数', '简介'])
        src = 'https://movie.douban.com/top250'
        getHtml(src)
        wb.save('test2.xlsx')  # 存入所有信息后,保存为filename.xlsx
    

     

          代码中已有不少注释,这里说下爬取过程中遇到的小问题。

     

           1.soup的contents方法,返回的是某标签下的子节点列表,但刚开始总是取不到想要的值,输出其长度后,有些傻眼..TM什么情况?有这么多的子节点吗?较真的我又去数了几遍,最后发现,它竟然连"换行"都算作是子节点!莫名地有点方...不知各位有没有遇到过。

            

              如图,我按列表下标标记,0,2,4,6,8是换行,但也被算作子节点...

           2.还是contents方法,代码中的 '#得到电影所有名称' 处的代码 n.contents[1]获取的除了a标签外,还有其下的span标签,这是为何?它们算一个整体?

             

           3.对如下图的电影信息处理时,出现了几处错误,原因有以下几点:

              (1)部分电影没有主演信息...

              (2)主演信息为这样'主演: ',就一个主演字样,无内容

              (3)部分电影没有简介

              (4)当主演信息中没有'...'时,获取主演信息受阻

             解决方案:(1)(2)都是主演问题,判断是否存在即可。(我以捕获异常处理)

                           (3)是简介问题,我无法给出具体哪部电影没有简介,但给了该电影所在的页面链接,可访问核查。(貌似有点笨)

                           (4)获取受阻是因为后面没有精确定位点,最后以re.split('[1-2]+')方法解决,匹配年份第一位作为分片点

             

     

              本次分享就到这儿了,最后,照旧放几张结果图吧。(欢迎留言评论,更多openpyxl操作可以点这里查看

             

     

     

     

    博主其他系列文章推荐:

    [1] 【python实用特性】-切片

    [2] 【python实用特性】- 迭代、可迭代对象、迭代器

    [3] 【python实用特性】- 列表生成式

    [4] 【python实用特性】- yield生成器

    [5] Python如何爬取动态网页数据

    [6] Python+selenium实现自动爬取实例

    [7] requests设置请求头、代理

    展开全文
  • 最近老师布置了个作业,爬取豆瓣top250的电影信息。按照套路,自然是先去看看源代码了,一看,基本的信息竟然都有,心想这可省事多了。简单分析了下源代码,标记出所需信息的所在标签,ok,开始干活!鉴于正则表达式...

    最近老师布置了个作业,爬取豆瓣top250的电影信息。按照套路,自然是先去看看源代码了,一看,基本的信息竟然都有,心想这可省事多了。简单分析了下源代码,标记出所需信息的所在标签,ok,开始干活!

    鉴于正则表达式的资料已经看了不少,所以本次除了beautifulsoup外,还有些re的使用,当然,比较简单。而爬到信息后,以往一般是存到txt文件,或者数据库中,老是重样的操作,难免有些‘厌倦'。心想,干嘛不存到Excel表呢?对啊,可以存到Excel表。

    环境准备:pip install openpyxl (假设你已配好了python环境)

    好了,废话少说,上代码。

    # coding=UTF-8

    '''

    function:爬取豆瓣top250的电影信息,并写入Excel文件

    '''

    import requests

    import re

    from openpyxl import workbook # 写入Excel表所用

    from openpyxl import load_workbook # 读取Excel表所用

    from bs4 import BeautifulSoup as bs

    import os

    os.chdir('C:\Users\Administrator\Desktop') # 更改工作目录为桌面

    def getHtml(src):

    html = requests.get(src).content

    getData(html, src) # 首页链接和其他页不同,所以单独获取信息

    urls = re.findall('href="(.*filter=?)', html) # re获取获取跳转链接的href

    for u in range(len(urls) - 2): # 匹配到的跳转链接最后两个重复,需去掉

    next_url = 'https://movie.douban.com/top250' + urls[u]

    html = requests.get(next_url).content

    getData(html, next_url)

    def getData(html, num_url): # html:网页源码 ,num_url:页面链接

    global ws # 全局工作表对象

    Name = [] # 存储电影名

    Dr = [] # 存储导演信息

    Ma = [] # 存储主演信息

    Si = [] # 存储简介

    R_score = [] # 存储评分

    R_count = [] # 存储评论人数

    R_year = [] # 存储年份

    R_area = [] # 存储地区

    R_about = [] # 存储剧情类型

    soup = bs(html, 'lxml')

    for n in soup.find_all('div', class_='hd'):

    # ts = n.contents[1].text # 得到电影的所有名称

    ts = n.contents[1].text.strip().split('/')[0] # 得到电影中文名

    Name.append(ts)

    for p in soup.find_all('p', class_=''):

    infor = p.text.strip().encode('utf-8') #此处用utf-8编码,以免下面查找 ‘主演'下标报错

    ya = re.findall('[0-9]+.*\/?', infor)[0] # re得到年份和地区

    R_year.append(ya.split('/')[0]) # 得到年份

    R_area.append(ya.split('/')[1]) # 得到地区

    R_about.append(infor[infor.rindex('/') + 1:]) # rindex函数取最后一个/下标,得到剧情类型

    try:

    sub = infor.index('主演') # 取得主演下标

    Dr.append(infor[0:sub].split(':')[1]) # 得到导演信息

    mh = infor[sub:].split(':')[1] # 得到主演后面的信息

    Ma.append(re.split('[1-2]+', mh)[0]) # 正则切片得到主演信息

    except:

    print '无主演信息'

    Dr.append(infor.split(':')[1].split('/')[0])

    Ma.append('无介绍...')

    for r in soup.find_all('div', class_='star'):

    rs = r.contents # 得到该div的子节点列表

    R_score.append(rs[3].text) # 得到评分

    R_count.append(rs[7].text) # 得到评论人数

    for s in soup.find_all('span', 'inq'):

    Si.append(s.text) # 得到简介

    if len(Si) < 25:

    for k in range(25 - len(Si)):

    Si.append('本页有的电影没简介,建议查看核对,链接:' + num_url)

    for i in range(25): # 每页25条数据,写入工作表中

    ws.append([Name[i], R_year[i], R_area[i], R_about[i],

    Dr[i], Ma[i], R_score[i], R_count[i], Si[i]])

    if __name__ == '__main__':

    # 读取存在的Excel表测试

    # wb = load_workbook('test.xlsx') #加载存在的Excel表

    # a_sheet = wb.get_sheet_by_name('Sheet1') #根据表名获取表对象

    # for row in a_sheet.rows: #遍历输出行数据

    # for cell in row: #每行的每一个单元格

    # print cell.value,

    # 创建Excel表并写入数据

    wb = workbook.Workbook() # 创建Excel对象

    ws = wb.active # 获取当前正在操作的表对象

    # 往表中写入标题行,以列表形式写入!

    ws.append(['电影名', '年份', '地区', '剧情类型', '导演', '主演', '评分', '评论人数', '简介'])

    src = 'https://movie.douban.com/top250'

    getHtml(src)

    wb.save('test2.xlsx') # 存入所有信息后,保存为filename.xlsx

    代码中已有不少注释,这里说下爬取过程中遇到的小问题。

    1.soup的contents方法,返回的是某标签下的子节点列表,但刚开始总是取不到想要的值,输出其长度后,有些傻眼..TM什么情况?有这么多的子节点吗?较真的我又去数了几遍,最后发现,它竟然连"换行"都算作是子节点!莫名地有点方...不知各位有没有遇到过。

    201902200919262.png

    如图,我按列表下标标记,0,2,4,6,8是换行,但也被算作子节点...

    2.还是contents方法,代码中的 '#得到电影所有名称' 处的代码 n.contents[1]获取的除了a标签外,还有其下的span标签,这是为何?它们算一个整体?

    201902200919263.png

    3.对如下图的电影信息处理时,出现了几处错误,原因有以下几点:

    (1)部分电影没有主演信息...

    (2)主演信息为这样'主演: ',就一个主演字样,无内容

    (3)部分电影没有简介

    (4)当主演信息中没有'...'时,获取主演信息受阻

    解决方案:(1)(2)都是主演问题,判断是否存在即可。(我以捕获异常处理)

    (3)是简介问题,我无法给出具体哪部电影没有简介,但给了该电影所在的页面链接,可访问核查。(貌似有点笨)

    (4)获取受阻是因为后面没有精确定位点,最后以re.split('[1-2]+')方法解决,匹配年份第一位作为分片点

    201902200919264.png

    本次分享就到这儿了,最后,照旧放几张结果图吧。

    201922092612490.jpg?201912092639

    201922092649340.jpg?201912092720

    以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。

    展开全文
  • python爬取内容存入Excel

    千次阅读 2019-04-29 16:52:05
    function:爬取豆瓣top250的电影信息,并写入Excel文件 想要学习PythonPython学习交流群:1004391443满足你的需求,资料都已经上传群文件,可以自行下载! ''' import requests import re from openpyxl import ...

    前言

    本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。

    PS:如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

    python免费学习资料以及群交流解答点击即可加入

    代码中已有不少注释,这里说下爬取过程中遇到的小问题。

    1.soup的contents方法,返回的是某标签下的子节点列表,但刚开始总是取不到想要的值,输出其长度后,有些傻眼..TM什么情况?有这么多的子节点吗?较真的我又去数了几遍,最后发现,它竟然连"换行"都算作是子节点!莫名地有点方...不知各位有没有遇到过。

    如图,我按列表下标标记,0,2,4,6,8是换行,但也被算作子节点...

    2.还是contents方法,代码中的 '#得到电影所有名称' 处的代码 n.contents[1]获取的除了a标签外,还有其下的span标签,这是为何?它们算一个整体?

     

    3.对如下图的电影信息处理时,出现了几处错误,原因有以下几点:

    (1)部分电影没有主演信息...

    (2)主演信息为这样'主演: ',就一个主演字样,无内容

    (3)部分电影没有简介

    (4)当主演信息中没有'...'时,获取主演信息受阻

     解决方案:(1)(2)都是主演问题,判断是否存在即可。(我以捕获异常处理)

    (3)是简介问题,我无法给出具体哪部电影没有简介,但给了该电影所在的页面链接,可访问核查。(貌似有点笨)

    (4)获取受阻是因为后面没有精确定位点,最后以re.split('[1-2]+')方法解决,匹配年份第一位作为分片点

    本次分享就到这儿了,最后,照旧放几张结果图吧。

     

     

    展开全文
  • get_links = list(result.absolute_links)[0] url_list.append(get_text) url_list.append(get_links) return url_list except: None # 创建Excel对象 workExcel = xlwt.Workbook() # 添加表名 sheet = workExcel....
  • 于是找了一个爬取豆瓣top250的电影信息,并写入Excel文件的代码。但是总是报错(原文章)。通过改进代码学习了爬虫的基本原理。 直接看代码: # coding=UTF-8 ''' function:爬取豆瓣top250的电影信息,并写入Excel...
  • 分析要爬取的内容的网页结构:demo.py:import requests #requests是HTTP库import refrom openpyxl import workbook # 写入Excel表所用from openpyxl import load_workbook # 读取Excel表所用from bs4 import ...
  • python爬取数据存入excel

    千次阅读 2019-01-17 15:17:51
    由同事整理好所需链接存入excel,我直接打开连接,爬取网站数据。由于仅仅需要进行词频分析,不需要进一步的挖掘,又因为不同网站源码差距很大,故采取了简单的将整个页面获取并用soup.get_text()方法提取文本信息。...
  • 需求:爬安智上苏宁金融所有发布过的APK信息 ... 2、通过接口用get请求获取数据,解析数据 3、创建excel表个存储 4、循环2-3操作 完整代码如下: import requests import re import json import numpy as...
  • import requests,time,random,os,sys from lxml import etree import pandas as pd from pandas import DataFrame ... df.to_excel('CVE漏洞列表_1.xlsx', index=False) if __name__ == '__main__': excels()
  • 利用Python爬取数据存入Excel表格

    千次阅读 2019-10-09 14:54:16
    分析要爬取的内容的网页结构: demo.py: import requests #requests是HTTP库 import re from openpyxl import workbook # 写入Excel表所用 from openpyxl import load_workbook # 读取Excel表所用 from bs4 import...
  • ...import xlwt # 建立会话 session = HTMLSession() ...read = session.get(url) select = 'body > div....workExcel.save('E:\\firstExcel\\output.xls') 转载于:https://my.oschina.net/u/3867704/blog/3024564
  • print("正在爬取第" + str(a) + "页的数据") url = 'https://movie.douban.com/top250?start={}'.format(a*25) header = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML...
  • )', str(title)) for mubiao in title: print mubiao[0],mubiao[2],mubiao[3] yield mubiao[0],mubiao[2],mubiao[3] # 将数据存入Excel中 def save_title(self): print "111" num = 1 title_file = Workbook...
  • 爬取最新消息列表,再循环爬取对应url中的新闻详细数据# -*- coding: utf-8 -*-"""Spyder Editornews.py."""import requestsfrom bs4 import BeautifulSoupfrom datetime import datetimeimport jsonimport xlwt...
  • python爬取数据保存到Excel

    万次阅读 2019-08-02 19:35:59
    Python版本:3.6 相关模块: import requests from lxml import etree import time, random, xlwt 主要思路: 1.两页的内容 2.抓取每页title和URL 3.根据title创建文件,发送URL请求,提取数据 效果展示: 完整...
  • python爬取数据保存为Excel格式

    千次阅读 2018-08-24 17:25:30
     # # 保存数据excel格式  wk=xlrd.open_workbook(file_path,formatting_info=True)  newwk=copy(wk)  newsheet=newwk.get_sheet(0)  line=[dict1['rank'],dict1['title'],dict1['picUrl']]  for i,item...
  • 另一种方法,移步:爬取信息存入excel表 他使用的是lxml,而下面使用是openpyxl,方法没有好坏,掌握多了,才能灵活运用。在此再次感谢该博主。 ```python from requests_html import HTMLSession from openpyxl ...
  • 某疾病下SNP与gene关联关系下载,采用python爬取ajax网页,用json形式获取数据,并存入excel中。亲测可行。主要是获得https的隐藏url, 具体百度都有。
  • python爬取豆瓣电影top250数据存入excel

    千次阅读 2019-10-06 14:30:31
    save_excel(movies_list): keys = "" w = Workbook() ws = w.add_sheet( " movies " ) for i in movies_list: keys = list(i.keys()) for i in range(len(keys)): ws.write(0,i,keys[i]) ...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 1,469
精华内容 587
关键字:

python爬取数据存入excel

python 订阅