精华内容
下载资源
问答
  • 实例使用urllib2请求网页,lxml解析网页结构,urlparse解析请求参数。 爬虫伪装的第一步是提供User-Agent,如果只使用一个user-agent,会存在被封IP的风险,所以这里我们使用列表随机数据。当然也可以引入一些...
    # -*- coding:utf-8 -*-
    from lxml import etree
    import urllib2
    import random
    import urlparse
    
    # 设置网络代理
    proxy_info = {
        'host': '127.0.0.1',
        'port': 8080
    }
    proxy_support = urllib2.ProxyHandler({'http': '%(host)s:%(port)d' %proxy_info})
    openner = urllib2.build_opener(proxy_support)
    urllib2.install_opener(openner)
    #user_Agent列表
    user_agent_list = [
        "Mozilla/5.0(Macintosh;IntelMacOSX10.6;rv:2.0.1)Gecko/20100101Firefox/4.0.1",
        "Mozilla/4.0(compatible;MSIE6.0;WindowsNT5.1)",
        "Opera/9.80(WindowsNT6.1;U;en)Presto/2.8.131Version/11.11",
        "Mozilla/5.0(Macintosh;IntelMacOSX10_7_0)AppleWebKit/535.11(KHTML,likeGecko)Chrome/17.0.963.56Safari/535.11",
        "Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1)",
        "Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;Trident/4.0;SE2.XMetaSr1.0;SE2.XMetaSr1.0;.NETCLR2.0.50727;SE2.XMetaSr1.0)"
    ]
    ua_header = {'User-Agent': random.choice(user_agent_list)}
    url = 'http://www.baidu.com'
    request = urllib2.Request(url, headers=ua_header)
    try:
        response = urllib2.urlopen(request, timeout=10)
        print(response.getcode())
        result = response.read()
        res_htm = etree.HTML(result)
        tab_inner = res_htm.xpath("//div[@class='s_tab_inner']/*/text()")
        tab_href = res_htm.xpath("//div[@class='s_tab_inner']/*/@href")
        index = 0
        for inner in tab_inner:
            if str(inner.encode('utf-8')) == '音乐':
                index = tab_inner.index(inner)
                index = int(index) - 1
    
        url_music = str(tab_href[index])
        request = urllib2.Request(url_music, headers=ua_header)
        response = urllib2.urlopen(request, timeout=60)
        print(response.getcode())
        result = response.read()
        res_htm = etree.HTML(result)
        # print etree.tostring(res_htm, encoding='utf-8')
        responsive = res_htm.xpath("//div[@id='responsive']//div[@class='search-info']//a/@href")
        column = urlparse.urlparse(responsive[0])
        param = urlparse.parse_qs(column.query)
        id = param['id'][0]
        print(id)
    except:
        print("网络超时,请稍后再试")
    

    先上代码(Talk is cheap. Show me the code),见上。

    本实例使用urllib2请求网页,lxml解析网页结构,urlparse解析请求参数。

    1. 爬虫伪装的第一步是提供User-Agent,如果只使用一个user-agent,会存在被封IP的风险,所以这里我们使用列表随机数据。当然也可以引入一些包来实现,比如fake_useragent。
    2. 使用lxml包查找网页元素时,需要先了解一些xpath语法。
    展开全文
  • 1. 用()来打开一个网站:真实的例子:使用一个脚本打开一个网页。所有的Python程序的第一行应该开始# !python,告诉计算机你想让python执行这个计划。(我没有把这条线尝试,没事的,也许这是一个规范)1。读取命令行参数:...

    1. 用()来打开一个网站:真实的例子:使用一个脚本打开一个网页。所有的Python程序的第一行应该开始# !python,告诉计算机你想让python执行这个计划。(我没有把这条线尝试,没事的,也许这是一个规范)1。读取命令行参数:打开一个新文件编辑器窗口中,输入以下代码,并将其保存。2. 读取剪贴板内容:3。叫()函数打开外部浏览:# !sys, python3import webbrowser pyperclipmapAddress = \newmap = 1 ie = utf-8&s = s % 26 wd % 3 d ' + mapAddress注意:如果您不知道使用,请参考;如果你不知道使用.

    好,现在选择说'Tiananmen广场和复制,然后双击桌面上的程序。当然,你也可以找到在命令行程序,输入位置。200进口requestsres = (? = worldindex ')试题:_for_status()除了异常exc:打印(\u201C有一个问题:% s % (exc))(词)16997 4。使用BeautifulSoup模块来解析HTML:使用命令行安装beautifulsoup4 pip安装它。()函数可以解析的HTML网站链接(),或本地保存解析HTML文件,直接打开()当地的HTML页面。从警告警告(模块):文件\u201CC: \\用户\\ \\ AppData王\\本地Python \\ Python36-32 \\ lib \\程序\\ \\网站\\ \\ bs4 \\ __init__。

    BeautifulSoup (YOUR_MARKUP}): BeautifulSoup YOUR_MARKUP,\u201D\u201C我有一条错误消息,所以我添加了第二个参数。2. 使用select()方法来查找元素:你需要传递一个字符串作为一个CSS选择器\u201D获得相应的Web页面的元素,例如:(\u201C#作者\u201D):一个元素的id属性作者;('。通知\u201D):所有元素命名注意使用CSS类属性;[]4 {\u201Crel\u201D:\u201C样式表\u201D,\u201C类型\u201D:\u201C文本\/ css\u201D,\u201Chref\u201D:\u201D?

    通过获取数据元素的属性:然后写上面的代码。\u201D?v = 20170705上面的方法也有一些\u201C网络爬虫\u201D的初步探索。

    展开全文
  • 给大家通过实例讲解了Python爬取网页数据的步骤以及操作过程,有兴趣的朋友跟着学习下吧。
  • 这篇文章给大家通过实例讲解了Python爬取网页数据的步骤以及操作过程,有兴趣的朋友跟着学习下吧。 一、利用webbrowser.open()打开一个网站: >>> import webbrowser >>> webbrowser.open('...
  • Python爬取影视网页实例(Excel版) 结构还是非常清楚的
  • #python 3.5from urllib.request import urlopenfrom urllib.request import urlretrievefrom bs4 import BeautifulSoupimport pymysqlconn = pymysql.connect(host='127.0.0.1',user='root',passwd='root',db='pmdb...

    #python 3.5

    from urllib.request import urlopen

    from urllib.request import urlretrieve

    from bs4 import BeautifulSoup

    import pymysql

    conn = pymysql.connect(host='127.0.0.1',user='root',passwd='root',db='pmdb',charset='utf8')

    cur = conn.cursor()

    url = "http://www.mm131.com/xinggan/"

    html = urlopen(url)

    soup = BeautifulSoup(html,"lxml")

    urllist = soup.find(class_='list-left public-box')

    for i in urllist:

    jlist = soup.find("dd").find("a")["href"]

    jliststr='\''+jlist+'\''

    # print(jlist)

    cur.execute("insert into href(href) VALUES ("+jliststr+")")

    conn.commit()

    cur.close()

    conn.close()

    print("成功!")

    使用 Python 爬取网页数据

    1. 使用 urllib.request 获取网页 urllib 是 Python 內建的 HTTP 库, 使用 urllib 可以只需要很简单的步骤就能高效采集数据; 配合 Beautiful 等 ...

    python爬取网页数据

    一.利用webbrowser.open()打开一个网站: ? 1 2 3 >>> import webbrowser >>> webbrowser.open('ht ...

    python爬取网页数据方法

    """#最基本,请求地址无参数# response=urllib.request.urlopen("https://www.scetc.edu.cn" ...

    使用webdriver+urllib爬取网页数据(模拟登陆,过验证码)

    urilib是python的标准库,当我们使用Python爬取网页数据时,往往用的是urllib模块,通过调用urllib模块的urlopen(url)方法返回网页对象,并使用read()方法获得ur ...

    python之爬取网页数据总结(一)

    今天尝试使用python,爬取网页数据.因为python是新安装好的,所以要正常运行爬取数据的代码需要提前安装插件.分别为requests    Beautifulsoup4   lxml  三个插件 ...

    python爬取网站数据

    开学前接了一个任务,内容是从网上爬取特定属性的数据.正好之前学了python,练练手. 编码问题 因为涉及到中文,所以必然地涉及到了编码的问题,这一次借这个机会算是彻底搞清楚了. 问题要从文字的编码讲 ...

    python爬取网站数据保存使用的方法

    这篇文章主要介绍了使用Python从网上爬取特定属性数据保存的方法,其中解决了编码问题和如何使用正则匹配数据的方法,详情看下文     编码问题因为涉及到中文,所以必然地涉及到了编码的问题,这一次借这 ...

    Python爬取网页信息

    Python爬取网页信息的步骤 以爬取英文名字网站(https://nameberry.com/)中每个名字的评论内容,包括英文名,用户名,评论的时间和评论的内容为例. 1.确认网址 在浏览器中输入初 ...

    python爬取网页的通用代码框架

    python爬取网页的通用代码框架: def getHTMLText(url):#参数code缺省值为‘utf-8’(编码方式) try: r=requests.get(url,timeout=30) ...

    随机推荐

    【PowerOJ1740】 圆桌问题

    https://www.oj.swust.edu.cn/problem/show/1740 (题目链接) 题意 n个单位的人去吃饭,m张餐桌,同一单位的人不能在同一餐桌,问可行方案. Solution ...

    Repeater 获取数据值

    1023: [SHOI2008]cactus仙人掌图 - BZOJ

    Description如果某个无向连通图的任意一条边至多只出现在一条简单回路(simple cycle)里,我们就称这张图为仙人图(cactus).所谓简单回路就是指在图上不重复经过任何一个顶点的回路 ...

    set和replace方法的区别

    对已有值的元素处理上两者是相同的,但是对于一个不存在的元素,set的作用就和add相当,replace则是只能对已经存在的元素进行处理如:表中某个字段值是空(null),如果某个字段为空,则通过查询方 ...

    CLOUDSTACK我也来啦

    最近,专业客户需要私有云和自助管理. 那我就倒一个CLOUDSTACK出来吧. WEB UI已搞定. 难点在于高级网络和主存储.再接再力. ... 因为要反复重装,在服务端有个快速重建步骤: serv ...

    Oracle数据库之FORALL与BULK COLLECT语句

    Oracle数据库之FORALL与BULK COLLECT语句 我们再来看一下PL/SQL块的执行过程:当PL/SQL运行时引擎处理一块代码时,它使用PL/SQL引擎来执行过程化的代码,而将SQL语句 ...

    WPF Multi-Touch 开发:惯性效果(Inertia)

    原文 WPF Multi-Touch 开发:惯性效果(Inertia) 从上一篇实例可以发现在图片移动过程中如果将手指移开屏幕则图片会立刻停止,根据这种情况WPF 提供另外一种惯性效果(Inertia ...

    Python装饰器小代码

    # coding=utf-8import timedef outer(fun): def inner(): start = time.time() fun() runtime = time.time( ...

    展开全文
  • python爬取网页的表格内容, 并存入csv文件, 网页地址:http://app.finance.ifeng.com/data/stock/yjyg.php?symbol=000001
  • Python爬取网页数据

    千次阅读 2017-08-22 11:59:43
    一、利用webbrowser.open()打开一个网站: [python] view plain copy >>> import webbrowser  >>> webbrowser.open('...实例:使用脚本打开一个网页

    一、利用webbrowser.open()打开一个网站:

    [python] view plain copy
    1. >>> import webbrowser  
    2. >>> webbrowser.open('http://i.firefoxchina.cn/?from=worldindex')  
    3. True  

    实例:使用脚本打开一个网页。

    所有Python程序的第一行都应以#!python开头,它告诉计算机想让Python来执行这个程序。(我没带这行试了试,也可以,可能这是一种规范吧)

    1.sys.argv读取命令行参数:打开一个新的文件编辑器窗口,输入下面的代码,将其保存为map.py

    2.读取剪贴板内容:

    3.调用webbrowser.open()函数打开外部浏览:

    [python] view plain copy
    1. #! python3  
    2. import webbrowser, sys, pyperclip  
    3. if len(sys.argv) > 1:  
    4.     mapAddress = ''.join(sys.argv[1:])  
    5. else:  
    6.     mapAddress = pyperclip.paste()  
    7. webbrowser.open('http://map.baidu.com/?newmap=1&ie=utf-8&s=s%26wd%3D' + mapAddress  

    注:不清楚sys.argv用法的,请参考这里;不清楚.join()用法的,请参考这里sys.argv是字符串的列表,所以将它传递给join()方法返回一个字符串

    好了,现在选中'天安门广场'这几个字并复制,然后到桌面双击你的程序。当然你也可以在命令行找到你的程序,然后输入地点。

    二、用requests模块从Web下载文件requests模块不是Python自带的,通过命令行运行pip install request安装。没翻墙是很难安装成功的,手动安装可以参考这里

    [python] view plain copy
    1. >>> import requests  
    2. >>> res = requests.get('http://i.firefoxchina.cn/?from=worldindex')    #向get中传入一个网址  
    3. >>> type(res)    #响应对象  
    4. <class 'requests.models.Response'>  
    5. >>> print(res.status_code)    #响应码  
    6. 200  
    7. >>> res.text    #返回的文本  
    requests中查看网上下载的文件内容的方法还有很多,如果以后的博客用的到,会做说明,在此不再一一介绍。在下载文件的过程中,用raise_for_status()方法可以确保下载确实成功,然后再让程序继续做其他事情。 

    [python] view plain copy
    1. import requests  
    2. res = requests.get('http://i.firefoxchina.cn/?from=worldindex')  
    3. try:  
    4.     res.raise_for_status()  
    5. except Exception as exc:  
    6.     print('There was a problem: %s' % (exc))  
    三、将下载的文件保存到本地

    [python] view plain copy
    1. >>> import requests  
    2. >>> res = requests.get('http://tech.firefox.sina.com/17/0820/10/6DKQALVRW5JHGE1I.html##0-tsina-1-13074-397232819ff9a47a7b7e80a40613cfe1')  
    3. >>> res.raise_for_status()  
    4. >>> file = open('1.txt''wb')    #以写二进制模式打开文件,目的是保存文本中的“Unicode编码”  
    5. >>> for word in res.iter_content(100000):    #<span class="fontstyle0"><span class="fontstyle0">iter_content()</span><span class="fontstyle1">方法在循环的每次迭代中返回一段</span><span class="fontstyle0">bytes</span><span class="fontstyle1">数据</span><span class="fontstyle1">类型的内容,你需要指定其包含的字节数</span></span>  
    6.     file.write(word)  
    7.   
    8.       
    9. 16997  
    10. >>> file.close()  
    四、用BeautifulSoup模块解析HTML在命令行中用pip install beautifulsoup4安装它。

    1.bs4.BeautifulSoup()函数可以解析HTML网站链接requests.get(),也可以解析本地保存的HTML文件,直接open()一个本地HTML页面

    [python] view plain copy
    1. >>> import requests, bs4  
    2. >>> res = requests.get('http://i.firefoxchina.cn/?from=worldindex')  
    3. >>> res.raise_for_status()  
    4. >>> soup = bs4.BeautifulSoup(res.text)  
    5.   
    6. Warning (from warnings module):  
    7.   File "C:\Users\King\AppData\Local\Programs\Python\Python36-32\lib\site-packages\beautifulsoup4-4.6.0-py3.6.egg\bs4\__init__.py", line 181  
    8.     markup_type=markup_type))  
    9. UserWarning: No parser was explicitly specified, so I'm using the best available HTML parser for this system ("html.parser"). This usually isn't a problem, but if you run this code on another system, or in a different virtual environment, it may use a different parser and behave differently.  
    10.   
    11. The code that caused this warning is on line 1 of the file <string>. To get rid of this warning, change code that looks like this:  
    12.   
    13.  BeautifulSoup(YOUR_MARKUP})  
    14.   
    15. to this:  
    16.   
    17.  BeautifulSoup(YOUR_MARKUP, "html.parser")  
    18.   
    19. >>> soup = bs4.BeautifulSoup(res.text, 'html.parser')  
    20. >>> type(soup)  
    21. <class 'bs4.BeautifulSoup'>  
    我这里有错误提示,所以加了第二个参数。

    [python] view plain copy
    1. >>> import bs4  
    2. >>> html = open('C:\\Users\\King\\Desktop\\1.htm')  
    3. >>> exampleSoup = bs4.BeautifulSoup(html)  
    4. >>> exampleSoup = bs4.BeautifulSoup(html, 'html.parser')  
    5. >>> type(exampleSoup)  
    6. <class 'bs4.BeautifulSoup'>  
    2.用select()方法寻找元素:需传入一个字符串作为CSS“选择器”来取得Web页面相应元素,例如:

    soup.select('div'):所有名为<div>的元素;

    soup.select('#author'):带有id属性为author的元素;

    soup.select('.notice'):所有使用CSS class属性名为notice的元素;

    soup.select('div span'):所有在<div>元素之内的<span>元素;

    soup.select('input[name]'):所有名为<input>并有一个name属性,其值无所谓的元素;

    soup.select('input[type="button"]'):所有名为<input>并有一个type属性,其值为button的元素。

    想查看更多的解析器,请参看这里

    [python] view plain copy
    1. >>> import requests, bs4  
    2. >>> res = requests.get('http://i.firefoxchina.cn/?from=worldindex')  
    3. >>> res.raise_for_status()  
    4. >>> soup = bs4.BeautifulSoup(res.text, 'html.parser')  
    5. >>> author = soup.select('#author')  
    6. >>> print(author)  
    7. []  
    8. >>> type(author)  
    9. <class 'list'>  
    10. >>> link = soup.select('link ')  
    11. >>> print(link)  
    12. [<link href="css/mozMainStyle-min.css?v=20170705" rel="stylesheet" type="text/css"/>, <link href="" id="moz-skin" rel="stylesheet" type="text/css"/>, <link href="" id="moz-dir" rel="stylesheet" type="text/css"/>, <link href="" id="moz-ver" rel="stylesheet" type="text/css"/>]  
    13. >>> type(link)  
    14. <class 'list'>  
    15. >>> len(link)  
    16. 4  
    17. >>> type(link[0])  
    18. <class 'bs4.element.Tag'>  
    19. >>> link[0]  
    20. <link href="css/mozMainStyle-min.css?v=20170705" rel="stylesheet" type="text/css"/>  
    21. >>> link[0].attrs  
    22. {'rel': ['stylesheet'], 'type''text/css''href''css/mozMainStyle-min.css?v=20170705'}  
    3.通过元素的属性获取数据:接着上面的代码写。

    [python] view plain copy
    1. >>> link[0].get('href')  
    2. 'css/mozMainStyle-min.css?v=20170705  
    上面这些方法也算是对“网络爬虫”的一些初探。
    展开全文
  • Python爬取动态网页实例讲解

    千次阅读 2019-03-30 23:10:57
    下面用一个实例来记录一下爬取动态网页的步骤。 实例:股票定向爬虫 这个实例目标是从东方财富网获取股票列表,然后根据股票列表逐个到百度股票获取个股信息,最后将结果存储到文件。基本也看的出来代码就是上面三个...
  • python爬取网页数据

    千次阅读 2018-06-14 11:04:10
    前言:注意事项:请于作者下载的版本保持一致环境:python版本:python-2.7.12.amd64python IDE:Pycharm 2018.1.4电脑环境:window 7一、初始准备下载python我的目录为D:\Program Files (x86)\Python27下载完后...
  • 笔者之前在慕课学习Python网络爬虫与信息提取时,老师并未讲解如何爬取网页的动态加载数据,之后通过观看其他教学视频学会了如何爬取网页动态数据,下面用一个实例来记录一下爬取动态网页的步骤。 实例爬取药监...
  • Python爬取网页数据示例

    千次阅读 2019-05-31 18:47:46
    使用re模块清洗响应数据 从便民网站爬取常用电话,并将其写入文件,以便查询 代码如下: """ topic:爬取“便民查询网上的常用号码” author:小灵子 date:2019-5-31 思路:先从开发者工具找到相应请求头、url等等 &...
  • 四、Python爬虫实例 前面介绍了爬虫的定义、作用、原理等信息,相信有不少小伙伴已经开始对爬虫感兴趣了,准备跃跃欲试呢。那现在就来上"干货",直接贴上一段简单Python爬虫的代码: 1.前期准备工作:安装...
  • python gui界面实例_python爬取电影数据(含GUI界面版)
  • 如上图,某网站每天会公布城市的新建商品房可售、未售、签约情况...数据爬取还是老套路了,这个网页极其友好,没有什么动态加载或反爬机制等,所以直接用网页下载器requests+网页解析器BeautifulSoup+select语法即可...
  • 主要给大家介绍了关于利用Python爬取微博数据生成词云图片的相关资料,文中通过示例代码介绍非常详细,对大家学习或者使用python具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧。
  • 里面有两个文件,一个是python代码文件,另一个是测试数据,程序不够健壮,由于Amazon有防机器人,所以本程序采用延时方法,所以耗时比较长。但对于初学者说,真的不失为一个好的实例,程序涉及到csv文件的读写,...
  • 这篇不考虑复杂情况,放一个读取简单网页数据的小例子:目标数据将ittf网站上这个页面上所有这些选手的超链接保存下来。数据请求真的很喜欢符合人类思维的库,比如requests,如果是要直接拿网页文本,一句话搞定:...
  • Python爬取数据实例

    2021-01-20 17:03:06
    当安装完python软件之后,一些网络信息的爬取需要安装各种相应的库。下面介绍requests库的安装: 1)点击键盘上的windows+R键,输入cmd,进入管理员窗口 2)输入pip intall requests命令,开始进行安装 3)安装完成...
  • Python 爬取网站小实例

    千次阅读 2018-03-21 22:47:38
    到了周末,便开始在网上疯狂搜索各种爬虫教程,很快,便写出了自己的第一个爬取网页的程序。其实应该说代码较为恰当些,毕竟就几行而已。不过,当时运行后,打印出页面信息的感觉还是挺爽的。而有了第一步,自然会...
  • 用Jupyter—Notebook爬取网页数据实例1

    千次阅读 多人点赞 2020-10-28 01:56:05
    爬取中国红娘网数据 ...5、引入pandas库,创建列表并将网页数据以列表形式输出:6、引入openpyxl,将爬取网页数据保存至excelb表中(import os—os.getcwd()用于找到数据保存的位置): 2、爬取函数汇
  • 安装: Python环境变量(网上查找) 可以在git中运行,也可以再cmd中运行,或者直接在工具pycharm中运行 2. 引入需要的包和定义临时存储变量 # 引入需要的包和定义变量 from urllib import request import re from ...
  • 前言 本文的文字及图片来源于网络,仅供学习、交流...那么,我们能不能用python中的方法做一个天气数据分析的图形,帮助我们更直接的看出天气变化呢? 使用pygal绘图,使用该模块前需先安装pip install pygal,然后导.
  • Python爬取天气数据及可视化分析

    万次阅读 多人点赞 2020-07-29 10:48:23
    Python爬取天气数据及可视化分析 文章目录Python爬取天气数据及可视化分析说在前面1.数据获取请求网站链接提取有用信息保存csv文件2.可视化分析当天温度变化曲线图当天相对湿度变化曲线图温湿度相关性分析图空气质量...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 13,882
精华内容 5,552
关键字:

python爬取网页数据实例

python 订阅