Python爬虫实战之爬取网站全部图片(二)

Python爬虫实战之通过ajax获得图片地址实现全站图片下载(三)

 

一.获得图片地址 和 图片名称

1.进入网址之后

按F12  打开开发人员工具点击elemnts



 2.点击下图的小箭头 选择主图中的任意一个图片   那我们这里点击第一个 图片



   3.显示控制台 为了验证xpath是否正确



 

    4.通过xpath获得a的href  和 title.



(请放大看)我们看到 他提示的是有10个 我们回到网站中看一下  在主页上数一下 他确实是10个 也就是说 我们获得的href 和title是没有任何问题的 那么留着为我们后面使用.

    5.我们还需要访问这个链接的请求头的信息 以备后面操作的时候来使用



这里可以看到 没有什么特别的请求头

6.获得每套图里的 所有图片.这也是我们的目的所在 不然前面那么多工序不是浪费吗。



可以看到 我们获得了11个链接地址   不要被源码中的文字所迷惑

 

7.获得相应的请求头  



可以发现 需要注意的只有一个字段Referer 这里的地址就是我们访问这个页面进来的时候的那个地址 只要把那个地址给上就行了

8.对于404的处理 如果出现了404那就只有重新请求了

 

二.编写python代码实现爬取.

    1.需要用到的库有: 

      Requests   lxml   

    2.IDE : pycharm

    3.python 版本: 2.7.15

下载地址: https://download.csdn.net/download/qq_33958297/12195656

 

Python爬虫之App爬虫视频下载


文章目录
Python爬虫之App爬虫视频下载
前言
一、操作流程
二、fidder4抓包
1.fidder配置
2.模拟器配置
3.模拟器证书安装
三、fidder4解析视频网站
pycharm编写app代码
总结



前言

随着手app的发展逐渐强大，我们手机应用每天的生活也是非常的多。那我们怎么知道他的数据是怎么形成的，通过电脑端如何爬取。相信大家也有这样的问题。下面我将讲解这些操作流程。

一、操作流程
首先我们要有

fidder4
夜神模拟器
pycharm
python3.0或以上版本

二、fidder4抓包
1.fidder配置
首先我们先下载fidder，

打开Fiddler，点击Tools => Options 打开配置选项，切换到第二个标签页HTTPS，先在这里打勾



然后就是点下面如图所示的单选框，点击Actions，运行第一个Trust Root Certificate。后面会有一个框，记得点击确定。


打开Fiddler，点击Tools => Options… 打开配置选项，切换到第三个标签页Connections，修改如图所示的地方，端口号可任意修改，这里使用我自定的9999，请记住自己设置的端口号，后面有需要使用的地方。

2.模拟器配置
我们为什么使用模拟器，因为由于Fidder抓包，要在局域网环境下，我们大部分电脑都是以宽带连接，所以我这里就以模拟器讲解抓包，后续我会更新一期fidder手机抓包。
这里们先打模拟器，设置模拟器的代理。我们先查看自己的本机IP，通过cmd命令输入ipconfig即可查看本机的ip，我的本机IP是192.168.1.2


这里打开模拟器的设置，找到我们WLAN用点击，我们看到我们的wifi,用鼠标点击时间长一点，它会出现设置的，下面我用视频给大家看一下



我们本机ip进行代理哦


3.模拟器证书安装
我们用模拟器打开浏览器，输入我们本机ip加端口，就是 192.168.1.2:9999



点击这个下载证书，下载完成后安装证书，命名随便命名。密码自己要记入。

上述如果都做成功了，应该就没什么问题了。
三、fidder4解析视频网站


这是我们模拟器里的app，app名字我会在下面评论发出。


这里的所和上面的正好相对应，这里相信我们大家都找到了，

我们可以把fidder抓包到的数据在这里，这个是我们的数据网址

https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page=1

我们通过模拟器视频往下滑，可以知道它是分页的，那样会有好多小姐姐视频哦，

https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page=2

这里就是第二页的数据，这个时候就可以通过pycharm进行解析了。
pycharm编写app代码
import requests
import json
def Demo(page):
    url='https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page={}'.format(page)

    header={
        'User-Agent':'XY0xDgIxDAS)wgtOthPHTn5AQUVFdXLOCRwSdEhX5PGQFmlHo6n22D)bw973lz13W2)XlZe8pKEpEEdBTgmU4ricT3kQENEI04ATJcbg2VsnEcvoVttmTXpq7r)sVToAdNLqmaxF1B6HFigkhXgO(f)rCw@@'
    }

    response = requests.get(url,headers=header,verify=False).json()
    data=response['content']['list']	#由于网站是json数据我们可以通过json解析，然后在进行数据的爬取
    for i in data:
        title =i['title']  #这里爬取的是视频标题
        playurl=i['playurl']	#这里是爬取是的视频的url
        Video(title,playurl)

def Video(title,playurl):
    header = {
        'User-Agent': 'XY0xDgIxDAS)wgtOthPHTn5AQUVFdXLOCRwSdEhX5PGQFmlHo6n22D)bw973lz13W2)XlZe8pKEpEEdBTgmU4ricT3kQENEI04ATJcbg2VsnEcvoVttmTXpq7r)sVToAdNLqmaxF1B6HFigkhXgO(f)rCw@@'
    }
    response = requests.get(playurl,headers=header,verify=False)
    # 文件写入异常机制
    try:
    	#由于写入可以会有点出错，我们要加一个异常处理机制，这样可以提高我们的程序性能。
        with open('VIdeo/{}.mp4'.format(title),'ab') as f:
            f.write(response.content)
    except Exception as e:
        print(e)

for i in range(1,11):
    Demo(i)

总结
以上就是今天要讲的内容，本文简单的对fidder配置与模拟器的证书安装，通过fidder监视app传输的数据进行解析，我们知道此网址有分页功能 ，最后我们通过pycharm编写程序，这些操作看似繁锁，其实看懂了，就很简单。
人生苦短，我用python。

===========================

若出现链接失效，请留言会及时修复

===========================

 

今天为大家整理了32个Python爬虫项目。

整理的原因是，爬虫入门简单快速，也非常适合新入门的小伙伴培养信心。所有链接指向GitHub，祝大家玩的愉快~O(∩_∩)O

WechatSogou [1]- 微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口，可以扩展成基于搜狗搜索的爬虫，返回结果是列表，每一项均是公众号具体信息字典。

DouBanSpider [2]- 豆瓣读书爬虫。可以爬下豆瓣读书标签下的所有图书，按评分排名依次存储，存储到Excel中，可方便大家筛选搜罗，比如筛选评价人数>1000的高分书籍；可依据不同的主题存储到Excel不同的Sheet ，采用User Agent伪装为浏览器进行爬取，并加入随机延时来更好的模仿浏览器行为，避免爬虫被封。

zhihu_spider [3]- 知乎爬虫。此项目的功能是爬取知乎用户信息以及人际拓扑关系，爬虫框架使用scrapy，数据存储使用mongo

bilibili-user [4]- Bilibili用户爬虫。总数据数：20119918，抓取字段：用户id，昵称，性别，头像，等级，经验值，粉丝数，生日，地址，注册时间，签名，等级与经验值等。抓取之后生成B站用户数据报告。

SinaSpider [5]- 新浪微博爬虫。主要爬取新浪微博用户的个人信息、微博信息、粉丝和关注。代码获取新浪微博Cookie进行登录，可通过多账号登录来防止新浪的反扒。主要使用 scrapy 爬虫框架。

distribute_crawler [6]- 小说下载分布式爬虫。使用scrapy,Redis, MongoDB,graphite实现的一个分布式网络爬虫,底层存储MongoDB集群,分布式使用Redis实现,爬虫状态显示使用graphite实现，主要针对一个小说站点。

CnkiSpider [7]- 中国知网爬虫。设置检索条件后，执行src/CnkiSpider.py抓取数据，抓取数据存储在/data目录下，每个数据文件的第一行为字段名称。

LianJiaSpider [8]- 链家网爬虫。爬取北京地区链家历年二手房成交记录。涵盖链家爬虫一文的全部代码，包括链家模拟登录代码。

scrapy_jingdong [9]- 京东爬虫。基于scrapy的京东网站爬虫，保存格式为csv。

QQ-Groups-Spider [10]- QQ 群爬虫。批量抓取 QQ 群信息，包括群名称、群号、群人数、群主、群简介等内容，最终生成 XLS(X) / CSV 结果文件。

wooyun_public[11]-乌云爬虫。 乌云公开漏洞、知识库爬虫和搜索。全部公开漏洞的列表和每个漏洞的文本内容存在MongoDB中，大概约2G内容；如果整站爬全部文本和图片作为离线查询，大概需要10G空间、2小时（10M电信带宽）；爬取全部知识库，总共约500M空间。漏洞搜索使用了Flask作为web server，bootstrap作为前端。

spider[12]- hao123网站爬虫。以hao123为入口页面，滚动爬取外链，收集网址，并记录网址上的内链和外链数目，记录title等信息，windows7 32位上测试，目前每24个小时，可收集数据为10万左右

findtrip [13]- 机票爬虫（去哪儿和携程网）。Findtrip是一个基于Scrapy的机票爬虫，目前整合了国内两大机票网站（去哪儿 + 携程）。

163spider [14] - 基于requests、MySQLdb、torndb的网易客户端内容爬虫

doubanspiders[15]- 豆瓣电影、书籍、小组、相册、东西等爬虫集 writen by Python

QQSpider [16]- QQ空间爬虫，包括日志、说说、个人信息等，一天可抓取 400 万条数据。

baidu-music-spider [17]- 百度mp3全站爬虫，使用redis支持断点续传。

tbcrawler[18]- 淘宝和天猫的爬虫,可以根据搜索关键词,物品id来抓去页面的信息，数据存储在mongodb。

stockholm [19]- 一个股票数据（沪深）爬虫和选股策略测试框架。根据选定的日期范围抓取所有沪深两市股票的行情数据。支持使用表达式定义选股策略。支持多线程处理。保存数据到JSON文件、CSV文件。

BaiduyunSpider[20]-百度云盘爬虫。

Spider[21]-社交数据爬虫。支持微博,知乎,豆瓣。

proxy pool[22]-Python爬虫代理IP池(proxy pool)。

music-163[23]-爬取网易云音乐所有歌曲的评论。

jandan_spider[24]-爬取煎蛋妹纸图片。

CnblogsSpider[25]-cnblogs列表页爬虫。

spider_smooc[26]-爬取慕课网视频。

CnkiSpider[27]-中国知网爬虫。

knowsecSpider2[28]-知道创宇爬虫题目。

aiss-spider[29]-爱丝APP图片爬虫。

SinaSpider[30]-动态IP解决新浪的反爬虫机制，快速抓取内容。

csdn-spider[31]-爬取CSDN上的博客文章。

ProxySpider[32]-爬取西刺上的代理IP，并验证代理可用性

2018.8.2更新：

webspider[33]-本系统是一个主要使用python3, celery和requests来爬取职位数据的爬虫，实现了定时任务，出错重试，日志记录，自动更改Cookies等的功能，并使用ECharts + Bootstrap 来构建前端页面，来展示爬取到的数据。

转载请注明来自华盟网，本文标题：《32个Python爬虫项目让你一次吃到撑》

 

一、正则表达式
#python网络爬虫
#通用网络爬虫（没有目的，爬去所有的URL）  聚焦网络爬虫（过滤无关的链接）

#python数据分析与挖掘实战的正则表达式
#正则表达式  世界上信息非常多，而我们关注的信息有限。假如我们希望只提取出关注数据，此时可以通过一些表达式进行提取，正则表达式就是其中一种进行数据筛选的表达式。

#原子
#原子是正则表达式中最基本的组成单位，每个正则表达式中至少要包含一个原子。
#常见的原子类型有：普通字符作为原子，非打印字符作为原子，通用字符作为原子，原子表

import re
pat="yue"         #普通字符作为原子
string="http://yum.iqianyue.com"
rst=re.search(pat,string)
print(rst)

pat1="\n"  #\n  \t            #非打印字符作为原子
string1='''dsfjsdjf
sdfsdfsdfsdf'''
rst1=re.search(pat1,string1)
print(rst1)

pat2="\w\dpython\w"
#\w 通用字符，匹配任意字母，数字，下划线
#\d 匹配任意一个十进制数       #\S 除了十进制数的任意
#|s 匹配空白字符       #\S 除了空白字符的任意字符
#\W 匹配任意一个除了字母，数字，下划线的东西
string2="hsdlfsga7pythonkdfshdskjf"
rst2=re.search(pat2,string2)
print(rst2)

pat3="pyth[jsz]n"           #原子表  定义一组平等的字符
string3="fsdjfpythjnjslkdfpythsnjfsjpythjsnfsd"
rst3=re.search(pat3,string3)
print(rst3)

#元字符
#正则表达式中具有一些特殊含义的字符，比如重复N次前面的字符等
#. 匹配任意字符
#^ 匹配字符串中的开始位置
#$ 匹配字符串中结束的位置
#* 匹配0次 1次或者多次的前面的原子
#？匹配0次或者1次前面的原子
#+ 匹配一次或多次前面的原子
#{3} 前面的原子恰好出现了3次  并且连在一起的
#{n} 出现了n次
#{4，7} 至少出现4次  之多出现7次  {4，}
#t|s  出现t或者s
#（） 提取某一个内容
pat4=".python..."
string4="sjslkdjfpythonslfjshf"
rst4=re.search(pat4,string4)
print(rst4)

pat5="python|php"
string5="jfsdjphpjsljfspythonfsd"
rst5=re.search(pat5,string5)
print(rst5)

#模式修正符
#可以在不改变正则表达式的情况下，通过模式修正符改变正则表达式的含义，从而实现一些匹配结果的调整等功能
#I 使正则表达式不区分大小写
#M 多行匹配
#L 本地化识别匹配
#U 根据Unicode解析字符
#S 让点也能匹配包括换行符
pat6="python"
pat7="python"
string6="sjljfaljafPythonsfjlsjfssfs"
rst6=re.search(pat6,string6)
print(rst6)

rst7=re.search(pat7,string6,re.I)    #模式修正符实例，不区分大小写
print(rst7)

#贪婪模式和懒惰模式
#贪婪模式尽可能的多的去匹配   #懒惰模式尽可能少的去匹配
pat8="p.*y"   #贪婪模式 更多的去覆盖
pat9="p.*?y"  #懒惰模式 更精准的定位
string8="jlsjfhspythonslfjshdpy"
rst8=re.search(pat8,string8)
rst9=re.search(pat9,string8)
print(rst8)
print(rst9)

#正则表达式函数
#正则表达式函数有re.match()函数，re.search()函数，全局匹配函数，re.sub()函数
#re.search()  从字符串中搜索出来
#re.match()   从头开始匹配，如果一开始没有，那么就返回None
#全局匹配函数
#re.sub()     主要用于替换

string10="phskfhskjhfkjshfjksgjfyskjhfksdh"
rst10=re.match(pat8,string10)
print(rst10)

rst11=re.compile(pat8).findall(string10)   #全局搜索函数  显示所有满足条件的  后面用的最多
print(rst11)

#常见正则表达式实例
#匹配.com .cn网址
pat="[a-zA-Z]+://[^\s]*[.com|.cn]"
string='<a href="http://www.baidu.com">fjsljflds</a>'
rst=re.compile(pat).findall(string)
print(rst)

#简单的爬虫，如何爬取csdn某个课程页面上的QQ群
pat="<p>(\d*?)</p>"
import urllib.request
data=urllib.request.urlopen("http://edu.csdn.net/huiyiCourse/detail/215").read()
rst=re.compile(pat).findall(str(data))
print(rst)

#作业：如何爬取豆瓣出版社列表并写入文件中
#豆瓣网址：https://read.douban.com/provider/all
import urllib.request
import re

data=urllib.request.urlopen("https://read.douban.com/provider/all").read()
data=data.decode("utf-8")
pat='<div class="name">(.*?)</div>'
mydata=re.compile(pat).findall(data)
print(mydata)
fh=open("/Users/xubin/myapp/pythonfile/出版社file4.txt","w")
for i in range(0,len(mydata)):
    fh.write(mydata[i]+"\n")
fh.close()

二、Urllib库
#python中Urllib库实战
#系统学习urllib模块，从urllib基础开始。学习urlretrieve()，urlcleanup(),info(),getcode(),geturl()
import urllib.request
#urlretrieve() 直接将一个网页爬到本地
urllib.request.urlretrieve("http://www.hellobi.com",filename="/Users/xubin/myapp/pythonfile/urlretrieve.html")

#urlcleanup() 将urlretrieve产生的缓存，清空
urllib.request.urlcleanup()

#info()  将一些基础的环境信息展示粗来
file=urllib.request.urlopen("http://www.hellobi.com")
print(file.info())

#getcode() 获取访问url的状态码，返货200，
print(file.getcode())

#geturl()  获取爬取得网址
print(file.geturl())

#超时设置
#爬取一个网页，需要时间。访问网页，网页长时间未响应，系统判断网页超时了，无法打开网页。
#服务器反应快设置2秒没反应未超时，如果服务器反应慢设置100秒没反应未超时，timeout超时时间为2 100
file=urllib.request.urlopen("http://www.hellobi.com",timeout=1)

for i in range(0,10):
    try:
        file=urllib.request.urlopen("http://yum.iqianyue.com",timeout=0.1)
        data=file.read()
        print(len(data))
    except Exception as e:
        print("出现异常："+str(e))

#自动模拟http请求
#客户端如果要与服务器端进行通信，需要通过http请求进行，http请求有很多种
#主要涉及post，get两种方式，比如登录，搜索某些信息的时候会用到
#一般登录某个网站的时候，需要post请求
#一般搜索某些信息的时候，需要get请求

#在百度上搜索关键词，用python实现，需要用到请求，get  get请求URL中有？
#https://www.baidu.com/s?wd=python
import urllib.request
import re
keywd="徐彬"
keywd=urllib.request.quote(keywd)
url="http://www.baidu.com/s?wd="+keywd    #注意不能用https
req=urllib.request.Request(url)
data=urllib.request.urlopen(req).read()
fh=open("/Users/xubin/myapp/pythonfile/百度python.html","wb")
fh.write(data)
fh.close()

#post请求  比如需要登录用户  需要提交post请求
#http://passport.csdn.net/account/login    用户名：username  密码：password
import urllib.request
import urllib.parse
url="https://passport.csdn.net/account/login"
mydata=urllib.parse.urlencode({"username":"bingoxubin","password":"19900127LLBingo"}).encode("utf-8")
req=urllib.request.Request(url,mydata)
data=urllib.request.urlopen(req).read()
fh=open("/Users/xubin/myapp/pythonfile/csdn登录界面.html","wb")
fh.write(data)
fh.close()


'''
#爬取oa上的所有照片，存到OA照片.docx中  #遇到问题，目前所学，只能爬取单页的内容
import re
import urllib.request

data=urllib.request.urlopen("oa.epoint.com.cn").read()
data=data.decode("utf-8")
pat=""
mydata=re.compile(pat).findall(data)
fh=open("/Users/xubin/myapp/pythonfile/OA照片.docx","w")
for i in range(0,len(mydata)):
    fh.write(mydata[i]+"\n")
fh.close()
'''

三、状态码
#python爬虫的异常处理
#爬虫遇到异常时就会直接崩溃停止运行，下次再运行时，又会从头开始。
#开发一个具有顽强生命力的爬虫，必须要进行异常处理。

#常见状态码以及含义
#301 Moved Permanently：重定向到新的URL，永久性
#302 Found：重定向到临时的URL，非永久性
#304 Not Modified：请求的资源未更新
#400 Bad Request：非法请求
#401 Unauthorized：请求未经授权
#403 Forbidden：禁止访问
#404 Not Found：没有找到对应页面
#500 Internal Server Error：服务器内部出现错误
#501 Not Implemented：服务器不支持实现请求所需要的功能

#异常处理的两个类URLError和HTTPError
#HTTPError是URLError的子类，HTTPError有异常状态码及异常原因，而URLError没有异常状态码
##URLError发生的原因主要有：1.连不上服务器。2.访问的URL不存在。3.没有网络。4.触发了HRRPError子类

import urllib.error
import urllib.request
try:
    urllib.request.urlopen("http://blog.csdn.net")
except urllib.error.URLError as e:
    if hasattr(e,"code"):
        print(e.code)
    if hasattr((e,"reason")):
        print(e.reason)

四、伪装技术
#python爬虫的浏览器伪装技术
#爬取csdn博客，会返回403错误，因为对方服务器会对爬虫进行屏蔽，此时需要伪装成浏览器才能爬取
#浏览器伪装，一般通过报头进行。

import urllib.request
url="http://blog.csdn.net/bingoxubin/article/details/78503370"
headers=("User-Agent","浏览器中User-Agent的值")
opener=urllib.request.build_opener()
opener.add_handlers=[headers]
data=opener.open(url).read()
print(len(data))

五、爬新闻
#python爬虫实例   爬取新闻
#爬取新浪新闻首页中所有的新闻，爬到本地（http://news.sina.com.cn/）
#实现过程，先爬首页，通过正则表达式获取所有新闻链接，然后依次爬各新闻，并存储到本地

import urllib.request
import re

data=urllib.request.urlopen("http://news.sina.com.cn/").read()
data2=data.decode("utf-8","ignore")
pat='href="(http://news.sina.com.cn/.*?)"'
allurl=re.compile(pat).findall(data2)
for i in range(0,10):
    try:
        print("第"+str(i)+"次爬取")
        thisurl=allurl[i]
        file="/Users/xubin/myapp/pythonfile/sina/"+str(i)+".html"
        urllib.request.urlretrieve(thisurl,file)
        print("------成功-------")
    except urllib.error.URLError as e:
        if hasattr(e,"code"):
            print(e.code)
        if hasattr(e,"reason"):
            print(e.reason)