python超简单爬虫教程
 
python超简单爬虫教程
七大步骤：
1发送数据请求
2请求网站源码
3数据筛选
4存储数据
5数据可视化
6数据分析
7公司决策
    
   
  
 

 
python超简单爬虫教程
 
大家好！在这里给大家交流一下小编总结得python超简单爬虫教程，废话不多说，直接上代码
 
七大步骤：
 
1发送数据请求
 
2请求网站源码
 
3数据筛选
 
4存储数据
 
5数据可视化
 
6数据分析
 
7公司决策
 
完整代码如下：
 
import request
import re
import xlwt
#获取源码
def get_content(page):
	url = 'https://www.zhipin.com/c101010100-p100109/?page='+str(page)+'&ka=page-'+str(page)+''
	headers = {
		"user-agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.6788.400 QQBrowser/10.3.2727.400"
 	}
	req = request.get(url,headers=headers)
	req.encoding = 'utf-8'
	html = req.text
	return html 	
#筛选数据 获取满足正则表达式所爬去的目标
def get(html):
	reg = re.compile(r'class="job-tab".*?<div class="job-title">(.*?)</div>.*?<span class="red">(.*?)</span>.*?target="_blank">(.*?)</a>',re.S)
	item = re.findall(reg,html)
	return items
datalist = []
def saveDataToDatalist():
	for j in range(1,6)
		print('正在爬取第'+str(j)+'页数据内容。。。')
		html get_content(j)
		for i in get(html)
			data = []
			for j in range(0,5):
				data.append(i[j])
			datalist.append(data)
	return
#创建方法将datalist内容写入excel文件
def saveDataToExcel(savePath):
	book = xlwt.Workbook(encoding='utf-8',style_compression=0)
	sheet = book.add_sheet('boss',cell_overwrite_ok=Ture)
	col = ('职位','薪资','公司名称')
	for i in range(0,5)
		sheet.wirte(0,i,col[i])
	for i in range(0,len(0,len(datalist)):
		data = datalist[i]
		for j in range(0,5):
		sheet.wirte(i+1,j,data[j])
	book.save(savePath)
saveDataToDatalist()
saveDataToExcel('boss.xls')

 
就这样了，都看到这里了，点赞关注走一走吧，谢谢大家！
 

 
 
Because the people who are crazy enough to think that they can change the world, are the ones who do.
 
 
爬虫基础知识教程
 

 
Python 爬虫从入门到入坑全系列教程（详细教程 + 各种实战）
 
Python爬虫之 urllib、UA、代理、Cookie、Session详解
 
Python爬虫 （SSL知多少）带你走进Requests（献给人类）
 
Python爬虫页面分析，带你使用 re&xpath&etree
 
Python爬虫之 BeautifulSoup4（熬一锅美味的汤）
 
Python爬虫之 动态HTML
 

我的CSDN入门爬虫教程汇总：
 
python爬虫教程（1）-爬虫的好处
 
python爬虫教程（2）-编写你的第一个爬虫
 
python爬虫教程（3）-requests爬取静态网页
 
python爬虫教程（4）-正则表达式解析网页
 
python爬虫教程（5）-BeautifulSoup解析网页
 
python爬虫教程（6）-lxml解析网页
 
python爬虫教程（7）-数据存储之txt和csv
 
python爬虫教程（8）-数据存储之MySQL
 
python爬虫教程（9）-python操作MySQL数据库
 
python爬虫教程（10）-存储到MongoDB数据库

 
 
最近几天在公司一直在抓别的网站的数据, 今天闲来无事, 想写一个简单的node爬虫教程, 简单易学, 简单几步就可以实现, 可以控制并发, 请求频率等, 我是使用的node-cralwer这个框架写的, 当然使用原生的request模块也是可以的, 使用框架简单高效, 比自己写要效率好.
 
 
爬虫无非就是分析网页, 分析接口, 取得你想要的数据, 取得数据有两种方式
 
对于直接请求得到的是静态页面, 直接分析html, 取得自己需要的数据 
还有就是通过api接口获取到的数据, 这样分析下参数, 就行
 
分析页面数据结构
 
今天我们以易车网为例子, 因为该网站两种方式都有易车网所有车型 
 
 
如图我们要获取所有品牌的型号信息, 点击左侧的导航, 会进入, 品牌车型列表页, 我们按F12会看到, 这部分的信息是后来js通过ajax请求到的, 所以这个就要请求接口获取数据了, 这里判断页面数据是ajax动态请求还是静态的数据, 可以右键查看网页源代码, 如果代码中有就是静态的, 如果没有就是ajax动态请求的数据
 
 
找到接口后我们就可以请求接口拿数据了, 可以看到每一项有一个url字段, 我们进入到品牌车型列表页之后会发现这个url加上根域名就是这个品牌的型号列表; 
 
接下来我们在去进入品牌车型列表页, 这里我们可以看到, 这里的数据都是静态的(seo的原因),所以我们只需分析html就可以了 
 
 
编写爬虫
 
页面数据结构我们已经分析完了 
 抓取步骤就是
 
先ajax请求首页的所有品牌的车型, 
然后进入品牌车型列表页, 
分析html取得自己想要的数据
 
我采用的是node-crawler这个框架, 使用方法我就不一一赘述了, 有中文文档
 
因为每个爬虫都需要初始化一个crawler对象, 所以这里我把crawler又封装了一下, 我的代码已经传到github上, 感兴趣的可以去clone下来看一下
 
const Crawler = require("crawler"),
    path = require('path'), root_path = process.cwd(),
    config = require(path.join(root_path, '/config'));
module.exports = {
    c: '',
    num: '',
    initCrawler(headers={}, cb) {
        this.c = new Crawler({
            // 超时时间
            timeout: config.crawler.timeout,
            // 失败重试次数
            retries: config.crawler.retries,
            // 失败重试等待时间
            retryTimeout: config.crawler.retryTimeout,
            // 最大并发数默认为10
            // maxConnections: config.crawler.maxConnections,
            // rateLimit: config.crawler.rateLimit,
            // 在每个请求处理完毕后将调用此回调函数
            headers: headers,
            callback: function (error, res, done) {
                if (error) {
                    console.log(error);
                } else {
                    cb(res)
                }
                done();
            }
        });
    }
}
 
第一步是获得所有的品牌信息, 然后循环请求网页
 
// 初始化clawler对象
crawler.initCrawler(headers, res => {
    // 格式化请求到的数据
    res.body = res.body.replace('JsonpCallBack(','')
    res.body = res.body.substr(0,res.body.lastIndexOf(')'))
    res.body = res.body.replace(/(?:\s*['"]*)?([a-zA-Z0-9]+)(?:['"]*\s*)?:/g, '"$1":')
    res.body = JSON.parse(res.body);

    for (const key in res.body.brand) {
        if (res.body.brand.hasOwnProperty(key)) {
            const element = res.body.brand[key];
            element.forEach(e => {
               getPage(host+e.url, e.name)
            });
        }
    }
})
 
然后就是请求每个页面, 获取页面内的信息
 
// 请求每个品牌的页面
function getPage(url, name) {
    crawler.c.queue({
        uri: url,
        callback: function(err,res,done) {
            if (err) {
                return err
            }
            let $ = res.$;
            $('#divCsLevel_0 .col-xs-3 ').each((i, e) => {
                downImg($(e).find('.img img').attr('src'), $(e).find('.p-list li.name a').text())
                crawler.num++; // 请求成功
                console.log(crawler.num+':'+name+'--'+$(e).find('li.name a').text()+'; 价格--'+$(e).find('li.price a').text());
                var info = {
                    "品牌": name,
                    "车型": $(e).find('.p-list li.name a').text(),
                    "网址": host+ $(e).find('.p-list li.name a').attr('href'),
                    "价格": $(e).find('.p-list li.price a').text()
                }
                // 写入json文件, 存入数据库亦可
                fs.appendFile('车型.json',JSON.stringify(info)+',', function(err) {
                    if (err) {
                        console.error(err);
                        return;
                    }
                    // 写入成功
                    cNum++;
                    end();
                });
            })
            done()
        }
    })
}
 
最后是下载车型图片
 
function downImg(link, name) {
    crawler.c.queue({
        uri: link,
        encoding: null,
        jQuery: false, 
        callback: function (err, res, done) {
            if (err) {
                console.error(err.stack);
            } else {
                imgNum++;
                fs.createWriteStream(root_path + '/images/' + name+'.png').write(res.body);
                end();
            }
            done();
        }
    });
}
 
最后就是判断退出条件, 我这里是判断, 车型数量/写入次数/下载图片次数想等后退出程序
 

function end() {
    if (crawler.num == cNum && cNum == imgNum) {
        fs.appendFileSync('车型.json',']');
        // 如果请求并且写入完成, 退出程序
        process.exit(1)
    }
}
 
项目中我没有控制并发, 为了快速抓取完, 正常在服务器跑的爬虫是要控制并发以及请求频次的, 避免网站封了IP; 如果要控制并发/public/crawler.js 注释掉的部分释放掉