爬虫Python入门好学吗？学爬虫需要具备一定的基础，有编程基础学Python爬虫更容易学。但要多看多练，有自己的逻辑想法。用Python达到自己的学习目的才算有价值。如果是入门学习了解，开始学习不难，但深入学习有难度，特别大项目。

大部分爬虫按“发送请求——获得页面——解析页面——抽取并储存内容”的流程来进行，模拟了我们使用浏览器获取网页信息的过程。向服务器发送请求后，会得到返回的页面，通过解析页面之后，可以抽取我们想要的那部分信息，并存储在指定的文档或数据库中。

爬虫Python入门学习分三个阶段：

一、零基础阶段：

从零开始学爬虫，系统入门，开始从0上手爬虫，爬虫除了必需的理论知识外更重要的是实际应用，带你抓取4种主流网站数据，掌握主流爬虫抓取方法。

具备主流网站的数据抓取的能力是此阶段的学习目标

学习重点：爬虫所需的计算机网络/前端/正则//xpath/CSS选择器等基础知识；实现静态网页，动态网页两大主流网页类型数据抓取；模拟登陆、应对反爬、识别验证码等难点详细讲解；多线程，多进程等工作常见应用场景难题讲解

二、主流框架

主流框架Scrapy实现海量数据抓取，从原生爬虫到框架的能力提升,学完你能彻底玩转Scrapy框架，开发一套自己的分布式爬虫系统，完全胜任中级Python工程师工作。获取高效抓取海量数据的能力。

学习重点：Scrapy框架知识讲解spider/FormRequest/CrawlSpider等；从单机爬虫到分布式爬虫系统讲解；Scrapy突破反爬虫的限制以及Scrapy原理；Scrapy的更多高级特性包括sscrapy信号、自定义中间件；已有的海量数据结合Elasticsearch打造搜索引擎

三、爬虫

深入App数据抓取，爬虫能力提升，应对App数据抓取和数据可视化展示,能力不再局限于网页爬虫. 从此拓宽你的爬虫业务，增强自身核心竞争力。掌握App数据抓取实现数据可视化

学习重点：学会主流抓包工具Fiddler/Mitmproxy 的应用；4种App数据抓取实战，学练结合深入掌握App爬虫技巧；基于Docker打造多任务抓取系统，提升工作效率；掌握Pyecharts库基础，绘制基本图形，地图等实现数据可视化。

爬虫Python应用在很多领域，如爬取数据，进行市场调研和商业分析；作为机器学习、数据挖掘的原始数据；爬取优质的资源：图片、文本、视频。掌握正确的方法，在短时间内做到能够爬取主流网站的数据非常容易实现。建议爬虫Python入门从开始就树立一个具体的目标，在目标的驱动下，学习才会更加高效。

获取python 学习资料 点击 这个网站： https://mz.tanzhouedu.com/?s=d7632358e94455c7
vx：xiaobei1152
Q裙：784633899

                                      微信公众号：享学python

Python爬虫入门(一) （适合初学者）

关于爬虫是什么，怎样保证爬虫的合法性小编在这就不再过多的阐述，从本章起，小编将和大家一起分享在学习python爬虫中的所学，希望可以和大家一起进步，也希望各位可以关注一下我！
首先我们来初步了解下如何使用开发者工具进行抓包。以 https://fanyi.baidu.com/ 为例。在网页界面右键点击检查，或使用CTRL+SHIFT+I打开。

如图打开了开发者工具后我们点击网络得到如上界面。接着按照提示按CTRL+R进行刷新。刷新后如下图所示：

此时我们即可看到我们获取到了很多很多的数据包，但是想要完成一个爬虫程序的第一步就是在这众多的包中，找到正确的API数据接口。通俗点将就是你想要获得一个小球，而这个小球藏在一个小箱子里，而此时有很多很多个小箱子，想要获得小球则需要找出小球究竟藏在哪个箱子里。一般在实际操作中我们只需要使用到上图小编圈出来的两个地方，一个是全部、另一个是Fetch/XHR。在全部中会显示所有请求获取到的包其中包括：网页源码、css、js、图片、ajax等。而在Fetch/XHR中则只能看到ajax请求所获得的数据包。ajax请求一般是对动态数据进行请求，即前端向后端发起请求，动态请求到后端数据库中的数据，并将这些数据展示在前端网页中。（可能会感觉听起来云里雾里，没关系哦，后面根据一个一个的例子可以更好的了解，或者小编以后更新django框架时会细讲ajax请求）

接下来我们进入爬虫的第一个程序(百度翻译的单词爬虫)

在百度翻译中我们可以输入一个单词，然后网页会动态的在界面上给我们展示这个单词的意思，因此我们可以非常非常非常自信的确定，单词意思的数据是通过动态请求得到的，既然说动态请求得到的，那么又可以确定这八成就是一个ajax请求。因此我们选中Fetch/XHR。

根据观察此时看到Fetch/XHR中只有这三个数据包，但点开查看其响应（即返回值）时确发现好像没有我们需要的数据。这个什么呢，不必慌张，因为我们并还没有在左边输入单词的框中输入过单词，于是我们可以在左边随意的输入一个英文单词进行测试：

当我们输入完一个单词后发现，右边又抓到了很包，对这些抓到的包进行分析可以找到如下这个数据包：



由上述三种图可以看出，这个包中就藏着我们想要的数据。通过查看该包的标头可以确定，请求数据的请求URL是：https://fanyi.baidu.com/sug，且发起的请求方式为POST，且根据Content-Type: application/json可以得出请求的返回值为json格式，在payload中可以分析出该POST请求需要携带一个名为kw的参数，参数的值为我们需要查询的单词。这时我们即可以弄清楚该网站查询单词的运行机制了：我们在查询框中输入英文单词，网页前端拿到我们输入的单词，通过ajax请求向https://fanyi.baidu.com/sug发起请求，并将我们输入的英文单词作为表单数据传输给后端，后端根据我们输入的单词在数据库中查询该单词，拿到该单词的意思然后再次返回给前端并展示出来。接下来就进入令人激动的coding代码部分。

代码部分
1、安装requests包（在cmd命令行中输入以下语句进行自动下载安装）：
前提需要电脑上已经装有python且配置了环境变量

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests

2、导入requests包并确定url：

import requests
url = 'https://fanyi.baidu.com/sug'

3、进行UA伪装

headers = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36 Edg/98.0.1108.56'
    }

UA伪装：可以理解为将我们的爬虫程序伪装起来，增加请求成功的可能性。

只需在数据包的标头中，拉到最下面，即可以找到这个User-Agent，将其复制下来，像小编一样在python用字典进行封装即可。
4、确定参数，并对数据接口发起请求获得返回结果

data = {     #post请求携带的参数
       'kw':'dog'
   }
#对目标url发起post请求
response = requests.post(url=url,headers=headers,data=data).json()
print(response)

结果如下：

至此一个最最最简单的爬虫程序就写完了，是不是很简单！接下来我们对程序进行完善，所有代码如下：

import requests

def spider(url,headers,data):

    response = requests.post(url=url, headers=headers, data=data).json()  # 对目标url发起post请求
    for key in response['data'][0]:
        print(key,response['data'][0][key])

def main():

    url = 'https://fanyi.baidu.com/sug'  #需要请求的url
    headers = {  #进行UA伪装
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/98.0.4758.102 Safari/537.36 Edg/98.0.1108.56'
    }
    while True:  #使程序进入死循环
        kw = input("输入需要查询的单词：")
        data = {     #post请求携带的参数
            'kw':kw
        }
        spider(url=url,headers=headers,data=data)  #调用自定义函数spider

if __name__ == '__main__':

    main()

这样一个简单的基于爬虫的单词查询器就完成啦！其中对json数据进行提取的代码如果有看不懂的小伙伴可以去学习一个python的字典。
希望该文章可以帮助到你！如果觉得有用可以关注一下我哦！后序会写更多的例子。

2019/10/28更新

• 使用Python3，而不再是Python2

转载请注明出处：https://blog.csdn.net/aaronjny/article/details/77945329

爬虫入门系列教程：

• python爬虫入门教程(一)：开始爬虫前的准备工作

• python爬虫入门教程(二)：开始一个简单的爬虫

• python爬虫入门教程(三)：淘女郎爬虫 ( 接口解析 | 图片下载 )

• 等待更新…

上一篇讲了开始爬虫前的准备工作。当我们完成开发环境的安装、IDE的配置之后，就可以开始开发爬虫了。 这一篇，我们开始写一个超级简单的爬虫。

1.爬虫的过程分析

当人类去访问一个网页时，是如何进行的？
　　①打开浏览器，输入要访问的网址，发起请求。
　　②等待服务器返回数据，通过浏览器加载网页。
　　③从网页中找到自己需要的数据（文本、图片、文件等等）。
　　④保存自己需要的数据。

对于爬虫，也是类似的。它模仿人类请求网页的过程，但是又稍有不同。
　　首先，对应于上面的①和②步骤，我们要利用python实现请求一个网页的功能。
　　其次，对应于上面的③步骤，我们要利用python实现解析请求到的网页的功能。
　　最后，对于上面的④步骤，我们要利用python实现保存数据的功能。
　　因为是讲一个简单的爬虫嘛，所以一些其他的复杂操作这里就不说了。下面，针对上面几个功能，逐一进行分析。

2.如何用python请求一个网页

作为一门拥有丰富类库的编程语言，利用python请求网页完全不在话下。这里推荐一个非常好用的第三方类库requests。

2.1 requests

2.1.1 安装方式

打开终端或者cmd，在里面输入以下指令并回车

pip3 install requests

　　一般不会出什么问题，如果下载太慢，是因为pip使用的源服务器在国外，可以设置pip使用国内镜像源，设置方法可以参考PyPI使用国内源。

2.1.2 测试是否安装成功

在命令行中输入python，敲击回车，进入python交互环境。在里面输入以下代码并回车：

import requests

如果不报错，就安装成功了，如下图：
　　

2.2 使用requests请求网页

打开pycharm，创建一个项目，嗯，随便取个名字吧。
　　
　　创建成功后，再创建一个py文件，用来写代码。嗯，再随便取个名字= =教程（二）的2.2，那就spider_2_2_2吧。
　　
　　在里面输入以下代码：

#coding=utf-8
import requests

resp=requests.get('https://www.baidu.com') #请求百度首页
print(resp) #打印请求结果的状态码
print(resp.content) #打印请求到的网页源码

对上面的代码进行以下简单的分析：
　　我是用的是python2.7，第1行到第4行，都是为了将字符编码设置为utf8。
　　第2行：引入requests包。
　　第4行：使用requests类库，以get的方式请求网址https://www.baidu.com，并将服务器返回的结果封装成一个对象，用变量resp来接收它。
　　第5行：一般可以根据状态码来判断是否请求成功，正常的状态码是200，异常状态码就很多了，比如404（找不到网页）、301（重定向）等。
　　第6行：打印网页的源码。注意，只是源码。不像是浏览器，在获取到源码之后，还会进一步地取请求源码中引用的图片等信息，如果有JS，浏览器还会执行JS，对页面显示的内容进行修改。使用requests进行请求，我们能够直接获取到的，只有最初始的网页源码。也正是因为这样，不加载图片、不执行JS等等，爬虫请求的速度会非常快。
　　代码很短吧？一行就完成了请求，可以，这很python。
　　现在，运行一下代码看看吧。
　　
　　箭头指向的是状态码，可以看到，200，请求正常。
　　被圈起来是网页的源码。

3.如何用python解析网页源码

网页源码我们拿到了，接下来就是要解析了。python解析网页源码有很多种方法，比如BeautifulSoup、正则、pyquery、xpath等。这里我简单介绍一下。

3.1 网页源码解析器

3.1.1 BeautifulSoup

这是我比较推荐的一款解析器，简单易用，容易理解。
　　但是使用bs4还需要安装另一个类库lxml，用来代替bs4默认的解析器。之所以这样做，是因为默认的那个实在太慢了，换用了lxml后，可以大幅度提升解析速度。

3.1.1.1 安装

命令行中输入以下指令并回车，安装bs4：

pip3 install beautifulsoup4

　　使用pip直接安装lxml会出错，所以要用些特别的方法。Windows用户的话，去百度搜一下lxml在Windows环境下的安装方法，网上有很多，我就不多说了（主要是嫌麻烦= =）。Ubuntu用户就很方便了，在终端里面输入以下指令并回车就行了：

apt-get install python-lxml

3.1.1.2 测试是否安装成功

进入python交互环境，引用bs4和lxml类库，不报错即安装成功。

import bs4
import lxml

3.1.2 正则

这个不用安装，标准库里带的就有。
　　正则的优点：①速度快 ②能够提取有些解析器提取不到的数据
　　正则的缺点：①不够直观，很难从面向对象的角度来考虑数据的提取 ②你得会写正则表达式
　　教程就不放了，善用百度嘛。正则一般用来满足特殊需求、以及提取其他解析器提取不到的数据，正常情况下我会用bs4，bs4无法满足就用正则。
　　当然了，如果你喜欢，全部用正则解析也是没问题的，你喜欢就好= =。

3.1.3 pyquery

这个解析器的语法和jQuery很相似，所以写过jQuery的同学用起来可能比较容易上手。国内有个dalao写的爬虫框架pyspider用的就是这个解析器。
　　如果没用过jQuery，那就在bs4和pyquery两个里面选一个学吧，一般情况下会一个就够了。

3.1.3.1 安装

pip3 install pyquery

3.1.3.2 测试

import pyquery

3.2 使用BeautifulSoup+lxml解析网页源码

接着上面的代码来，我们使用BeautifulSoup+lxml解析请求到的网页源码。
　　从百度的首页，可以通过点击跳转到很多其他页面，比如说下面圈起来的，点击都会跳转到新的页面：
　　
　　现在，我们想要用python获得从百度能够跳转到的页面的链接，该怎么做？
　　代码很简单，接着上面的写：

#coding=utf-8
import requests
from bs4 import BeautifulSoup

resp=requests.get('https://www.baidu.com') #请求百度首页
print(resp) #打印请求结果的状态码
print(resp.content) #打印请求到的网页源码

bsobj=BeautifulSoup(resp.content,'lxml') #将网页源码构造成BeautifulSoup对象，方便操作
a_list=bsobj.find_all('a') #获取网页中的所有a标签对象
for a in a_list:
    print(a.get('href')) #打印a标签对象的href属性，即这个对象指向的链接地址

首先，第3行，引入我们解析时要使用的类库，beautifulsoup4。
　　第9行，将网页的源码转化成了BeautifulSoup的对象，这样我们可以向操作DOM模型类似地去操作它。
　　第10行，从这个BeautifulSoup对象中，获取所有的a标签对象（大家应该知道a标签对象是什么吧，网页中的链接绝大多数都是a对象实现的），将他们组成一个列表，也就是a_list。
　　第11、12行，遍历这个列表，对于列表中的每一个a标签对象，获取它的属性href的值（href属性记录一个a标签指向的链接地址）。获取一个标签对象的属性，可以使用get（‘xx’）方法，比如a_tag是一个a标签对象，获取它的href的值，就是a_tag.get('href')，获取它的class信息可以用a_tag.get('class')，这将返回一个修饰该标签的class列表。
　　运行一下，可以看到，打印出了很多链接。
　　
　　这是个简单的例子，介绍如何开始一个简单爬虫，不涉及复杂操作（复杂的后面会上小项目，会介绍）。关于beautifulsoup的详细用法，请自行百度。

3.3 简单的保存数据的方法

保存数据的方法大概可以分为几类：保存文本、保存二进制文件（包括图片）、保存到数据库。保存二进制文件和保存到数据库后面会具体说，这里简单讲一下怎么保存到文本。
　　python里面操作文本相当的简单。现在，我将刚才提取出来的链接保存到一个名称为url.txt的文本里面去，将上面的代码稍作修改。

#coding=utf-8
import requests
from bs4 import BeautifulSoup

resp=requests.get('https://www.baidu.com') #请求百度首页
print(resp) #打印请求结果的状态码
print(resp.content) #打印请求到的网页源码

bsobj=BeautifulSoup(resp.content,'lxml') #将网页源码构造成BeautifulSoup对象，方便操作
a_list=bsobj.find_all('a') #获取网页中的所有a标签对象
text='' # 创建一个空字符串
for a in a_list:
    href=a.get('href') #获取a标签对象的href属性，即这个对象指向的链接地址
    text+=href+'\n' #加入到字符串中，并换行
with open('url.txt','w') as f: #在当前路径下，以写的方式打开一个名为'url.txt'，如果不存在则创建
    f.write(text) #将text里的数据写入到文本中

代码中注释写得很清楚了，就不多做解释了。值得一提的是，使用with…as…来打开文件，在操作完成后，会自动关闭文件，不用担心忘记关闭文件了，超级好用啊！
　　运行一下代码，可以发现，当前路径下多了个名为url.txt的文件。
　　
　　打开后，能够看到我们刚才提取出来的url。
　　

4.更多

虽然东西不多，但是写了挺长时间的。因为平时在一边上课，一边实习，时间真的不多，抽着时间一点点写的。后面我尽量加快速度写吧，当然了，尽量嘛，写得慢了的话……你顺着网线过来打我呀~
　　我也只是个菜鸟，文中错误的地方，欢迎拍砖~