这篇文章主要介绍了三个python爬虫项目实例代码，使用了urllib2库，文中示例代码非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友可以参考下。

python爬虫代码示例分享

一、爬取故事段子：推荐学习：Python视频教程

注：部分代码无法正常运行，但仍有一定的参考价值。#encoding=utf-8

import urllib2

import re

class neihanba():

def spider(self):

'''

爬虫的主调度器

'''

isflow=True#判断是否进行下一页

page=1

while isflow:

url="http://www.neihanpa.com/article/list_5_"+str(page)+".html"

html=self.load(url)

self.deal(html,page)

panduan=raw_input("是否继续(y/n)!")

if panduan=="y":

isflow=True

page+=1

else:

isflow=False

def load(self,url):

'''

针对url地址进行全部爬去

:param url: url地址

:return: 返回爬去的内容

'''

header = {

"User-Agent": " Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.79 Safari/537.36"

}

request = urllib2.Request(url, headers=header)

response = urllib2.urlopen(request)

html = response.read()

return html

def deal(self,html,page):

'''

对之前爬去的内容进行正则匹配，匹配出标题和正文内容

:param html:之前爬去的内容

:param page: 正在爬去的页码

'''

parrten=re.compile('

(.*?)',re.S)

titleList=parrten.findall(html)

for title in titleList:

parrten1=re.compile('(.*)')

ti1=parrten1.findall(title)

parrten2=re.compile('

',re.S)

til2=parrten2.findall(title)

for t in ti1:

tr=t.replace("","").replace("","")

self.writeData(tr,page)

for t in til2:

tr=t.replace("

","").replace("

","").replace("
","").replace("
","").replace("&ldquo","\"").replace("&rdquo","\"")

self.writeData(tr,page)

def writeData(self,context,page):

'''

将最终爬去的内容写入文件中

:param context: 匹配好的内容

:param page: 当前爬去的页码数

'''

fileName = "di" + str(page) + "yehtml.txt"

with open(fileName, "a") as file:

file.writelines(context + "\n")

if __name__ == '__main__':

n=neihanba()

n.spider()

二、爬取智联：#encoding=utf-8

import urllib

import urllib2

import re

class zhiLian():

def spider(self,position,workPlace):

'''

爬虫的主调度器

:param position: 职位

:param workPlace: 工作地点

'''

url="http://sou.zhaopin.com/jobs/searchresult.ashx?"

url+=urllib.urlencode({"jl":workPlace})

url+="&"

url+=urllib.urlencode({"kw":position})

isflow=True#是否进行下一页的爬去

page=1

while isflow:

url+="&"+str(page)

html=self.load(url)

self.deal1(html,page)

panduan = raw_input("是否继续爬虫下一页(y/n)!")

if panduan == "y":

isflow = True

page += 1

else:

isflow = False

def load(self,url):

'''

针对url地址进行全部爬去

:param url: url地址

:return: 返回爬去的内容

'''

header = {

"User-Agent": " Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.79 Safari/537.36"

}

request = urllib2.Request(url, headers=header)

response = urllib2.urlopen(request)

html = response.read()

return html

def deal1(self,html,page):

'''

对之前爬去的内容进行正则匹配，匹配职位所对应的链接

:param html:之前爬去的内容

:param page: 正在爬去的页码

'''

parrten=re.compile('.*?',re.S)

til=parrten.findall(html)#爬去链接

for t in til:

self.deal2(t,page)

def deal2(self,t,page):

'''

进行二次爬虫，然后在新的页面中对公司、薪资、工作经验进行匹配

:param t: url地址

:param page: 当前匹配的页数

'''

html=self.load(t)#返回二次爬虫的内容

parrten1=re.compile('(.*?)\s+.*?',re.S)

parrten2=re.compile('

职位月薪： (.*?) .*?',re.S)

parrent3=re.compile('

工作经验： (.*?)',re.S)

til1=parrten1.findall(html)

til2=parrten2.findall(html)

til3=parrent3.findall(html)

str=""

for t in til1:

t=t.replace('',"")

str+=t

str+="\t"

for t in til2:

str+=t

str += "\t"

for t in til3:

str+=t

self.writeData(str,page)

def writeData(self,context,page):

'''

将最终爬去的内容写入文件中

:param context: 匹配好的内容

:param page: 当前爬去的页码数

'''

fileName = "di" + str(page) + "yehtml.txt"

with open(fileName, "a") as file:

file.writelines(context + "\n")

if __name__ == '__main__':

position=raw_input("请输入职位：")

workPlace=raw_input("请输入工作地点：")

z=zhiLian()

z.spider(position,workPlace)

三、爬取贴吧：#encoding=utf-8

import urllib

import urllib2

import re

class teiba():

def spider(self,name,startPage,endPage):

url="http://tieba.baidu.com/f?ie=utf-8&"

url+=urllib.urlencode({"kw":name})

for page in range(startPage,endPage+1):

pn=50*(page-1)

urlFull=url+"&"+urllib.urlencode({"pn":pn})

html=self.loadPage(url)

self.dealPage(html,page)

def loadPage(self,url):

header={

"User-Agent":" Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.79 Safari/537.36"

}

request=urllib2.Request(url,headers=header)

response=urllib2.urlopen(request)

html=response.read()

return html

def dealPage(self,html,page):

partten=re.compile(r'(.*?)',re.S)

titleList=partten.findall(html)

rstr=r'#(.*?)#'

for title in titleList:

title=re.sub(rstr,"",title)

self.writePage(title,page)

def writePage(self,context,page):

fileName="di"+str(page)+"yehtml.txt"

with open(fileName,"a") as file:

file.writelines(context+"\n")

if __name__ == '__main__':

name=raw_input("请输入贴吧名：")

startPage=raw_input("请输入起始页：")

endPage=raw_input("请输入终止页：")

t=teiba()

t.spider(name,int(startPage),int(endPage))

更多相关教程，请关注Python教程栏目。

以上就是python爬虫代码示例分享的详细内容，更多请关注php中文网其它相关文章！

本文原创发布php中文网，转载请注明出处，感谢您的尊重！

前言

从第一次写爬虫，上了一次热榜，到现在已经陆陆续续写了十一篇爬虫文章了，总体来说收获还是不小的，今天刚好有空，就把这些文章做一下汇总。都是些入门的小案例，有兴趣的兄弟们来看看吧

爬虫案例

舔狗也当的不称职，来让python教教你怎么做舔狗吧 初识selenium

博客地址

爬取大量舔狗语录，说不定对你有帮助

python爬取英雄联盟手游的全英雄皮肤

博客地址

简介
如题目所说，爬取所有的英雄和皮肤的图片，一个很简单的教程，来看看吧

聊天没有表情包被嘲讽，程序员直接用python爬取了十万张表情包

博客地址

简介
对页面进行分析然后获取表情包的图片链接，然后多线程疯狂下载，总共下载十万余张表情包

Python爬取美女图片 爬虫基础

博客地址

简介
特地说一下，我第一次上热榜的文章，对我来说意义非凡，下载高清图片，兄弟们快来看看呀

python爬取网易云评论 超简单教程

博客地址

简介
根据一个大佬找出的接口，然后对网易云评论进行爬取然后制作精美云图，非常简单

python爬鱿鱼游戏的评价 看看鱿鱼游戏到底值不值得看 初识selenium

博客地址

简介
使用selenium对评论进行爬取，自动化工具非常的香，看完了鱿鱼游戏，再来看看评论吧

一分钟学会you-get

博客地址

简介
一个非常好用的工具，至于干什么的，快来看看吧

python爬取4k小姐姐图片 人生苦短 我用python

博客地址

简介
真真真4k图片，进来绝对不亏，真4k小姐姐，快来爬取吧

ts视频下载 准备下载视频的你确定不进来看看吗

博客地址

简介
如果兄弟们有观察过一些大网站的视频形式，就知道这个ts是什么了，这篇文章教大家怎么下载ts视频

微博热搜

博客地址

简介
这个一看标题相信大家就明白了，就是爬取微博热搜并进行通知

python爬取电影信息

博客地址

简介
经典的豆瓣电影信息，相信大部分兄弟入门都是这个吧，来回顾一下吧

待续

这篇博客会一直更新，有兴趣的兄弟们可以点赞收藏一手，后续会继续进行更新，后期会对所有的源码进行整理，到时候也会在这篇文章更新，还有爬虫专栏，兄弟们有兴趣的关注一下呀，另外大家想看博主出爬那个网站的教程，可以在下方评论
一起加油呀，兄弟们

大家好，我是小帅

今天给大家来点最简单的爬虫案例，后续我会再给大家更新一些爬虫相关技能点，请持续关注，另外你的三连是对小帅最大的支持 不过声明一下小帅 发的所有案例都是供大家学习的，不要随便乱用，或者作为商用！

前言

我们第一个爬虫程序，是来爬取某视频网的所有教程信息的名字。下面的代码锁使用到的技术有的我们并没有涉及到，后面的学习中我们会一一讲解。 这里只是让大家对爬虫程序有个大概的了解，熟悉最基本的爬虫流程，以及对爬虫处理有一个粗略的印象，同时，也是激发大家学习的热情，让大家对爬虫不仅停留在理论上，也可以实际操作去加深印象。
还有一些小案例，25个游戏源码 点击前面蓝色字体自取

1.1 建立 imoocSpider.py 文件

爬虫文件的命名一定要准确，爬虫爬取的是哪一个网站就用哪一个网站来进行命名，这样以后我们写的爬虫越来越多会方便管理。

文件创建好之后首先导入 requests 第三方库和页面解析工具 BeautifulSoup：

import requests   # requests库，用来发送网络请求
​
from bs4 import BeautifulSoup   # 一个解析库，用来解析网页结构
​

Tips：BeautifulSoup 我们在后面会讲到，这里只是先用一下。

1.2 定义网址变量

定义网址变量 url，url 中存储的是我们要爬取的网站

url = "https://www.imooc.com" #某课网首页地址

1.3 创建请求头部

创建请求头部，因为服务器会分辨请求的是浏览器或者是爬虫，如果是爬虫的话会直接断开请求，导致请求失败。为了不让我们的爬虫暴露，所以要给它加上一层伪装，这样服务器就会认为是浏览器在请求了：

headers = {'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.79 Safari/537.36'} # 请求头部
​

1.4 发起请求

使用 requests 库中的 get 方法来进行请求：

r = requests.get(url, headers= headers) # 发送请求

1.5 解析请求结果

因为请求的结果是 HTML 格式的，所以我们使用 BeautifulSoup 来解析我们的请求结果：

bs = BeautifulSoup(r.text, "html.parser")   # 解析网页
​

在返回的请求结果中，我们想要的数据都是在 h3 标签中包裹着，所以我们使用 BeautifulSoup 查找返回结果中所有的 h3 标签并剥离，存储在变量 mooc_classes 中。

mooc_classes = bs.find_all("h3", class_="course-card-name") # 定位教程信息

1.6 解析数据

将每一个 h3 标签中的课程名称剥离，并存储在 class_list 这个列表中去，最后将课程信息存入到文本文件中：

class_list = []
​
for i in range(len(mooc_classes)):
    title = mooc_classes[i].text.strip()
    class_list.append("课程名称 : {} \n".format(title)) #格式化教程信息
​
with open('mooc_classes.txt', "a+") as f: # 将教程信息写入文本文件中
    for text in class_list:
        f.write(text)

1.7 最终代码

下面就是我们这个小爬虫的最终代码：

实例演示

import requests   # requests库，用来发送网络请求
​
from bs4 import BeautifulSoup   # 这是一个解析库，用来解析网页
​
url = "https://www.......com" #教程网首页地址
​
headers = {'User-Agent' : 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.79 Safari/537.36'} # 请求头部
​
r = requests.get(url, headers= headers) # 发送请求
​
bs = BeautifulSoup(r.text, "html.parser")   # 解析网页
​
mooc_classes = bs.find_all("h3", class_="course-card-name") # 定位教程信息
​
class_list = []
​
for i in range(len(mooc_classes)):
    title = mooc_classes[i].text.strip()
    class_list.append("课程名称 : {} \n".format(title)) #格式化教程信息
​
with open('mooc_classes.txt', "a+") as f: # 将教程信息写入文本文件中
    for text in class_list:
        f.write(text)
​

**上面的程序，就是一个最简单的一个爬虫程序。**最后，我们格式化输出的样式，使得输出格式为 教程名称+教程网名称的样式，最后把结果保存到一个 TXT 文件里面。最后我们打开 TXT 文件看一下效果：

小结

本小节，通过运用 BeautifulSoup 以及 Requests 实现了一个最简单的爬虫程序，关于它们的学习，我们会在后面的章节进行详细论述。这个小程序，只是向大家演示一个最基本的爬虫的工作流程。细心的同学肯定会发现，我们的代码量并不是很多，就轻松实现了一个简单的爬取工作。其实，正式因为使用Python 编写爬虫程序的简单方便，才使得 Python 语言成为了写爬虫程序的首选。

↓ ↓ ↓ ↓ 底下名片拿源码还有学习路线等等...↓ ↓ ↓ ↓????