文章目录
 
内容介绍
存储Mysql应用实例
存储Mongodb实例

 
内容介绍
 
开发环境为 Python3.6 ，爬虫项目全部内容索引目录
 
看懂Python爬虫框架，所见即所得一切皆有可能
 
本文介绍基于最简单的操作流程保存Python网络爬虫抓取的数据，通过2个完整的代码示例来介绍爬虫抓取的数据是如何保存到数据仓库中。
 
虽说不会敲代码的 Python数据分析师 不是好的数据分析师，但你不是正儿八经的开发人员，代码敲的那么溜有什么用？学点数据爬虫基础能让繁琐的数据CV工作（Ctrl+C，Ctrl+V）成为自动化就足够了。
 
存储Mysql应用实例
 
#coding=utf-8

import urllib
import urllib.request
import pymysql
import time
import requests
import datetime
import pandas as pd
from bs4 import BeautifulSoup

mysql_engine = {
    "host":"localhost", 
    "database":"sampledb", 
    "user":"root", 
    "password":"admin",
    "charset":"utf8"}
#创建数据库
def creat_database_sampledb():
    config_root = {
        "host": "localhost",
        "user": "root",
        "password": "admin"}
    sql = "Create Database If Not Exists sampledb CHARSET=utf8"
    conn = pymysql.connect(**config_root)  # 打开数据库连接
    try:
        with conn.cursor() as cursor:  # 使用cursor()方法获取操作游标,并在语句结束自动关闭
            cursor.execute(sql)  # 执行SQL
            conn.commit()  # 提交
    finally:
        conn.close()
#创建新闻列表
def createNewsTable():
    createTbSql = (
        "Create Table If Not Exists News( "
        "id int primary key auto_increment, "
        "title varchar(100), "
        "url varchar(100), "
        "date date)")
    try:
        corsor = pymysql.connect(**mysql_engine)
        with corsor.cursor() as cursor:
            cursor.execute(createTbSql)
            corsor.commit()
    finally:
        corsor.close()
    return None
#创建新闻内容表
def createNewsBody():
    createTbNews = (
        "Create Table If Not Exists NewsBody( "
        "id INT PRIMARY KEY, "
        "text text, "
        "FOREIGN KEY(id) REFERENCES News(id))")
    try:
        corsor = pymysql.connect(**mysql_engine)
        with corsor.cursor() as cursor:
            cursor.execute(createTbNews)
            corsor.commit()
    finally:
        corsor.close()
    return None
#开始爬取数据
def start_crawler():
    page_num = 1
    while page_num<=2:
        url = "http://www.cctd.com.cn/list-107-{}.html".format(page_num)
        print (url)
        page_num += 1
        user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
        headers = { 'User-Agent' : user_agent }
        req = urllib.request.Request(url,headers=headers)
        response = urllib.request.urlopen(req)
        content = response.read().decode('gbk')
        one_page = get_page_news(content)
        time.sleep(1)
        if one_page:
            to_mysql(one_page)
            time.sleep(1)
        else:
            break
    print ('新闻抓取完毕')           
#写入数据库
def to_mysql(one_page):
    print (one_page)
    sql = "insert into News(id,title,url,date) values(Null,%s,%s,%s)"
    conn = pymysql.connect(**mysql_engine)
    try:
        with conn.cursor() as cursor:
            cursor.executemany(sql, one_page)
            conn.commit()
    finally:
        conn.close()  
def get_page_news(content):
    soup = BeautifulSoup(content,'lxml')
    one_page = []
    lptable = soup.find('table',id='new_table')
    for i in lptable.find_all('tr'):
        if i.a['href'] in get_exist(i.find('td',width='20%').string):
            continue
        one_page.append(
            (i.a.string,
             i.a['href'],
             i.find('td',width='20%').string))
    return one_page
def get_exist(date):
    sql = "select url from News where date='{}'".format(date)
    conn = pymysql.connect(**mysql_engine)
    try:
        with conn.cursor() as cursor:
            cursor.execute(sql)
            conn.commit()
            result = cursor.fetchall()
    finally:
        conn.close()
    return set(*zip(*result))
#抓取具体内容
def get_new_body():
    link_list = get_news_linksfrom_database()
    for id,url in link_list:
        news_body = get_news_text(url)
        #写入数据库
        writer_news_body_to_database(id, news_body)
    print("新闻主体完毕!")
def get_news_linksfrom_database():
    pymysql_select_newslink = """
    select News.id,News.url from News left join Newsbody
    on News.id = Newsbody.id where Newsbody.id is null;
    """
    conn = pymysql.connect(**mysql_engine)
    try:
        with conn.cursor() as cursor:
            cursor.execute(pymysql_select_newslink)
            conn.commit()
            result = cursor.fetchall()
    finally:
        conn.close()
    return result if result else []
def get_news_text(url):
    html = requests.get(url)
    html.encoding = html.apparent_encoding
    soup = BeautifulSoup(html.text,'html.parser')
    try:
        return soup.find('div',{'id':'Zoom'}).text
    except:
        return None
def writer_news_body_to_database(id, news_body):
    print("INFO: Writing News ID:{} To Database...".format(id))
    pymysql_writer_to_table = """
    insert into Newsbody(id,text) values(%s,%s)
    """
    conn = pymysql.connect(**mysql_engine)
    try:
        with conn.cursor() as cursor:
            cursor.execute(pymysql_writer_to_table,(id,news_body))
            conn.commit()
    finally:
        conn.close()
if __name__ == '__main__':  
    creat_database_sampledb()#创建数据库
    createNewsTable()#创建新闻表
    createNewsBody()#创建新闻详情表
    '''爬取新闻简要'''
    start_crawler() #开始爬虫
    '''爬取具体新闻'''
    get_new_body()
 
存储Mongodb实例
 
#coding=utf-8

import urllib
import urllib.request
import time
import requests
import pandas as pd
from bs4 import BeautifulSoup
import pymongo 


# 获取mongoClient对象
client = pymongo.MongoClient("localhost", 27017)
# 获取使用的database对象
db = client.news

#开始爬取数据
def start_crawler():
    page_num = 1
    while page_num<=1:
        url = "http://www.cctd.com.cn/list-13-{}.html".format(page_num)
        print (url)
        page_num += 1
        user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
        headers = { 'User-Agent' : user_agent }
        req = urllib.request.Request(url,headers=headers)
        response=requests.get(url,headers=headers)
        content=response.text
        one_page = get_page_news(content)
        time.sleep(1)
        if one_page:
            to_mysql(one_page)
            time.sleep(1)
        else:
            break
    print ('新闻标题抓取完毕')           
#爬取新闻标题、日期、地址到数据库
def to_mysql(one_page):
    print (one_page)
def get_page_news(content):
    soup = BeautifulSoup(content,'lxml')
    one_page_list = []
    lptable = soup.find('table',id='new_table')
    for i in lptable.find_all('tr'):
        title = i.a.string
        url = i.a['href']
        date = i.find('td',width='20%').string      
        one_page={'title':title,'url':url,'date':date,'type':'analysis','label':'www.cctd.com.cn'}
        db.news.insert_one(one_page)
        one_page_list.append((title,url,date))
    return one_page_list  


#抓取具体内容
def get_new_body():
    link_list = get_news_linksfrom_database()
    for url in link_list['url']:
        news_body = get_news_text(url)
        #写入数据库
        db.news.update({'url':url},{"$set":{'newsbody':news_body}})
    print("新闻主体爬取完毕!")
def get_news_linksfrom_database():  
    result=[]
    for item in db.news.find({'label':'www.cctd.com.cn','type':'analysis'},{'url':1,'_id':1}):
        result.append(item) 
    result = pd.DataFrame(result, columns=['url','_id'])
    return result 
def get_news_text(url):
    html = requests.get(url)
    html.encoding = html.apparent_encoding
    soup = BeautifulSoup(html.text,'html.parser')
    try:
        newsBody=str(soup.find('div',{'id':'Zoom'}))
        print ("记录爬取完毕")
        return newsBody
    except:
        print ("error")
        return None
if __name__ == '__main__':  
    '''爬取新闻简要'''
    start_crawler()
    '''爬取具体新闻'''
    get_new_body()

原标题：Python网络爬虫与文本数据分析
在过去的两年间，Python一路高歌猛进，成功窜上“最火编程语言”的宝座。惊奇的是使用Python最多的人群其实不是程序员，而是数据科学家，尤其是社会科学家，涵盖的学科有经济学、管理学、会计学、社会学、传播学、新闻学等等。
大数据时代到来，网络数据正成为潜在宝藏，大量商业信息、社会信息以文本等非结构化、异构型数据格式存储于网页中。非计算机专业背景的人也可借助机器学习、人工智能等方法进行研究。使用网络世界数据进行研究，面临两大难点：
数据的获取
文本（非结构化）数据的处理与分析
数据获取需要借助Python编程语言设计网络爬虫，而获得的数据中有相当比例数据是非结构化数据，这就需要文本数据分析技术。本次课程参照已发表的社科类的文章，希望帮助大家解决文本分析这最难的两大难点。课程设计的初衷是用最少的时间让大家学到最有用的知识点，降低学习难度。希望学习完本课程后能让各位结合研究需要对自己学科内的文本分析有一个全面深刻的了解，方便各位开展后续研究。
多重优惠福利
原价499元，现在限时特价199元。
扫下方二维码生成自己的课代表分享卡还有机会每单赚23.88元
邀请卡1个月有效期，失效后可加微信：372335839， 备注"网课"
课程目标
学会Python语言基本语法
掌握Python爬虫基本原理
会设计和开发Python爬虫
掌握文本分析相关库
理解数据挖掘，特别是文本分析的思路和流程
了解文本分类、文本聚类
主讲老师
大邓，哈尔滨工业大学(HIT)管理学院信息管理系统方向在读博士。曾在多所大学做 网络数据采集和文本分析 分享，运营有【公众号：大邓和他的Python】，主要分享Python、爬虫、文本分析、机器学习等相关内容。
适合人群
本课程面向对象有：
0编程基础
想从网上爬数据
想做文本分析
想了解机器学习
包括但不限于以上几类人群。
内容要点第一部分 环境配置（1小时）
python简介
python安装
pycharm安装
jupyter notebook安装
第三方库安装方法
第二部分 Python快速入门（2小时）
基本语法
数据结构-list、str、dict、tuple、set
for循环、if逻辑
try-except
常用函数
案例1：爬虫代码中各知识点使用情况
案例2：文本分析代码中各知识点使用情况
常见错误
第三部分 Python网络爬虫快速入门（2小时）
网络爬虫原理
requests库
bs4库
元素（数据）定位
数据抓包
数据存储（txt，csv）
案例1：天涯论坛
案例2：大众点评
案例3：BOSS直聘
案例4：百度企业信用
案例5：京东评论
第四部分 快速入门Python文本分析(1.5小时)
文本分析应用场景
txt、pdf、word等类型文件的数据读取
中文分词-jieba库
可视化-pyecharts库
情感词典的构建及使用
数据分析-pandas库
案例1-词频统计
案例2-制作词云图
案例3-海量公司年报文本分析
案例4-使用情感词典进行情感计算
第五部分 文本分析进阶篇（1.5小时）
监督学习与非监督学习
使用机器学习进行文本分析的步骤
表达文本数据信息的方式（独热编码、词袋法、TF-IDF）
理解特征矩阵、语料、文档、特征
机器学习库-sklearn语法学习
了解协同过滤-推荐系统
案例1-在线评论情感分析
案例2-文本分类
案例3-LDA话题模型
案例4-计算消费者异质性信息
文本分析相关文献
学习课程时，可以参考阅读以下文献，了解如何在社科类研究中使用文本分析
[1]沈艳,陈赟,黄卓．文本大数据分析在经济学和金融学中的应用：一个文献综述[EB/OL].http://www.ccer.pku.edu.cn/yjcg/tlg/242968.htm,2018-11-19
[2]Loughran T, McDonald B. Textual analysis in accounting and finance: A survey[J]. Journal of Accounting Research, 2016, 54(4): 1187-1230.
Author links open overlay panelComputational socioeconomics
[3]魏伟,郭崇慧,陈静锋.国务院政府工作报告(1954—2017)文本挖掘及社会变迁研究[J].情报学报,2018,37(04):406-421.
[4]孟庆斌, 杨俊华, 鲁冰. 管理层讨论与分析披露的信息含量与股价崩盘风险——基于文本向量化方法的研究[J]. 中国工业经济, 2017 (12): 132-150.
[5]王伟,陈伟,祝效国,王洪伟. 众筹融资成功率与语言风格的说服性-基于Kickstarter的实证研究.管理世界.2016;5:81-98.
[6]Chan J T K, Zhong W. Reading China: Predicting policy change with machine learning[J]. 2018.
[7]Hansen S, McMahon M. Shocking language: Understanding the macroeconomic effects of central bank communication[J]. Journal of International Economics, 2016, 99: S114-S133.
[8]Wang, Quan, Beibei Li, and Param Vir Singh. "Copycats vs. Original Mobile Apps: A Machine Learning Copycat-Detection Method and Empirical Analysis." Information Systems Research 29.2 (2018): 273-291.返回搜狐，查看更多
责任编辑：

 
文章目录
 
内容介绍
网络通信基础知识
爬虫的原理与流程

 
内容介绍
 
开发环境为 Python3.6 ，爬虫项目全部内容索引目录
 
看懂Python爬虫框架，所见即所得一切皆有可能
 
本文介绍 Python数据分析师 网络爬虫入门基础的内容，了解爬虫的基础知识。
 
虽说不会敲代码的 Python数据分析师 不是好的数据分析师，但你不是正儿八经的开发人员，代码敲的那么溜有什么用？学点数据爬虫基础能让繁琐的数据CV工作（Ctrl+C，Ctrl+V）成为自动化就足够了。
 
网络通信基础知识
 
1.网络通信
 
 OSI参考模型
 
TCP/IP的分层模型 OSI协议参考模型，是基于国际标准化组织（ISO）的建议发展起来的。
它分为7个层次：应用层、表示层、会话层、传输层、网络层、数据链路层及物理层。这个7层的协议模型虽然规定得非常细致和完善，但在实际中却得不到广泛的应用，其重要的原因之一就在于它过于复杂。
此后很多协议模型的基础。与此相区别的TCP/IP协议模型将OSI的7层协议模型简化为4层，从而更有利于实现和使用。
 
TCP/IP参考模型
 
网络接口层：网络接口层是TCP/IP的最底层，负责将二进制流转换成数据帧，并进行数据帧的发送和接收。数据帧是网络传输的基本单元。
网络层：网络层负责在主机之间的通信中选择数据包的传输路径，即路由。当网络收到传输层的请求后，使用路由算法来确定是直接交付数据包，还是把它传递给路由器，最后把数据包交给适当的网络接口进行传输。
传输层：负责实现应用程序之间的通信服务，又称为端到端通信。
 传输层要提供可靠的传输服务，以确保数据到达无差错、无乱序。为了达到这个目的，传输层协议软件要进行协商。传输层协议软件要把传输的数据流分为分组。
应用层：应用层是分层模型的最高层。应用程序使用相应的应用层协议，把封装好的数据交给传输层或是传输层接收数据并处理。
 
2.HTTP请求过程
 
HTTP通信机制是在一次完整的HTTP通信过程中，Web浏览器与Web服务器之间将完成下列7个步骤：
 
建立TCP连接：在HTTP工作开始之前，Web浏览器首先要通过网络与Web服务器建立连接，该连接是通过TCP来完成的，该协议与IP协议共同构建Internet，即著名的TCP/IP协议族，因此Internet又被称作是TCP/IP网络。HTTP是比TCP更高层次的应用层协议，根据规则，只有低层协议建立之后才能，才能进行更层协议的连接，因此，首先要建立TCP连接，一般TCP连接的端口号是80。
Web浏览器向Web服务器发送请求命令：一旦建立了TCP连接，Web浏览器就会向Web服务器发送请求命令。例如：GET/sample/hello.jsp HTTP/1.1。
Web浏览器发送请求头信息：浏览器发送其请求命令之后，还要以头信息的形式向Web服务器发送一些别的信息，之后浏览器发送了一空白行来通知服务器，它已经结束了该头信息的发送。
Web服务器应答：客户机向服务器发出请求后，服务器会客户机回送应答， HTTP/1.1 200 OK ，应答的第一部分是协议的版本号和应答状态码。
Web服务器发送应答头信息：正如客户端会随同请求发送关于自身的信息一样，服务器也会随同应答向用户发送关于它自己的数据及被请求的文档。
Web服务器向浏览器发送数据：Web服务器向浏览器发送头信息后，它会发送一个空白行来表示头信息的发送到此为结束，接着，它就以Content-Type应答头信息所描述的格式发送用户所请求的实际数据。
Web服务器关闭TCP连接：一般情况下，一旦Web服务器向浏览器发送了请求数据，它就要关闭TCP连接，然后如果浏览器或者服务器在其头信息加入了这行代码：Connection:keep-alive，TCP连接在发送后将仍然保持打开状态，于是，浏览器可以继续通过相同的连接发送请求。保持连接节省了为每个请求建立新连接所需的时间，还节约了网络带宽。
 
3.HTTP请求方法
 
HTTP/1.1协议中共定义了八种方法（有时也叫“动作”），来表明Request-URL指定的资源不同的操作方式。
 
OPTIONS：返回服务器针对特定资源所支持的HTTP请求方法，也可以利用向web服务器发送‘*’的请求来测试服务器的功能性。
HEAD：向服务器索与GET请求相一致的响应，只不过响应体将不会被返回。这一方法可以再不必传输整个响应内容的情况下，就可以获取包含在响应小消息头中的元信息。
GET：向特定的资源发出请求。它本质就是发送一个请求来取得服务器上的某一资源。资源通过一组HTTP头和呈现数据（如HTML文本，或者图片或者视频等）返回给客户端。GET请求中，永远不会包含呈现数据。
POST：向指定资源提交数据进行处理请求（例如提交表单或者上传文件）。数据被包含在请求体中。POST请求可能会导致新的资源的建立和/或已有资源的修改。 Loadrunner中对应POST请求函数：web_submit_data,web_submit_form
PUT：向指定资源位置上传其最新内容。
DELETE：请求服务器删除Request-URL所标识的资源。
TRACE：回显服务器收到的请求，主要用于测试或诊断。
CONNECT：HTTP/1.1协议中预留给能够将连接改为管道方式的代理服务器。
 
4.HTTP状态码以及错误原因
 
1XX：信息性状态码（服务器正在处理请求）
2XX：成功状态码（请求正常处理完毕）
3XX：重定向状态码（需要进行额外操作以完成请求）爬虫库一般会对重定向做处理；动态网页具有自动跳转的特点
4XX：客户端错误状态码（服务器无法处理请求）
5XX：服务器错误状态码（服务器处理请求出错）
 
用的较多的是2XX和4XX，还有5XX后面会讲解具体怎么解决对应问题
1. 200 OK：客户端发来的请求在服务器端被正常处理
2. 400 Bad Request: 报文存在语法错误，服务器无法理解（例如：前后端编程逻辑不一致导致）
3. 403 Forbidden：请求资源的访问被服务器拒绝（服务器不用给出理由）需要验证登录，或者被封IP
4. 404 Not Found: 服务器上没有请求的资源找不到，一般会跳过不爬
5. 500 Internal Server Error: 服务器端执行请求时发生故障
6. 503 Service Unavailable：服务器超负荷或者停机维护
 
5.HTTP请求头信息
 
Host：请求主机器名，可为IP也可为域名。
Accept-Encoding：可接受的文本压缩算法，如：gzip, deflate。
Accept-Language：支持语言，客户端浏览器的设置，如：zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3。
User-Agent：浏览器信息，如：Mozilla/5.0 (Macintosh; Intel Mac OSX 10.7; rv:12.0) Gecko/20100101 Firefox/12.0。
Cookie：服务器在上次设置的COOKIE，包括作用域名，过期时间，键与值。
Referer：从一个连接打开一个新页面，新页面的请求一般会加此信息，标名是从哪里跳过来的。
 
6.HTTP响应头信息
 
Allow：服务器支持哪些请求方法，如GET、POST等。
Cache-Control：从服务器到客户端的缓存机制，如：Cache-Control:max-age=3600。
Connection：HTTP连接策略，如：Connection: Keep-Alive。
Content-Encoding：响应资源所使用的编码类型，如：gzip，deflate。
Transfer-Encoding：数据在网络传输当中的编码方式，如：chunked。
Content-Type：响应内容的文档类型(html,json等），如: text/html;charset=utf-8。
Date：服务器端响应消息发出时的GMT时间。
Last-Modified：服务器端响应内容文档的最后改动时间。
Set-Cookie：设置和所访问页面关联的Cookie。
 
7.基本网页机构
 
网页分成三个层次，即：结构层(HTML)、表示层(CSS)、行为层(Javascript)。对于一个网页，HTML定义网页的结构，CSS描述网页的样子，JavaScript设置对浏览器事件的响应（点击按钮，输入文本等）。
 
 
HTML：超文本标记语言（Hyper Text Markup Language），是用来描述网页的一种语言。
 
 
CSS：层叠样式表（Cascading Style Sheets)，定义如何显示 HTML 元素，语法为：selector {property：value} (选择符 {属性：值})
 
 
JavaScript：一种脚本语言，其源代码在发往客户端运行之前不需经过编译，而是将文本格式的字符代码发送给浏览器由浏览器解释运行。
 
 
爬虫的原理与流程
 
 
1.什么是爬虫
 
爬虫：请求网站并提取数据的自动化程序。
 
百科：网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
 
2.爬虫基本流程
 
发起请求：通过HTTP库向目标站点发起请求，即发送一个Request，请求可以包含额外的headers等信息，等待服务器响应。
获取响应内容：如果服务器能正常响应，会得到一个Response，Response的内容便是所要获取的页面内容，类型可能有HTML，Json字符串，二进制数据（如图片视频）等类型。
解析内容：得到的内容可能是HTML，可以用正则表达式、网页解析库进行解析。可能是Json，可以直接转为Json对象解析，可能是二进制数据，可以做保存或者进一步的处理。
保存数据：保存形式多样，可以存为文本，也可以保存至数据库，或者保存特定格式的文件。
 
3.Request和Response
 
Request：浏览器就发送消息给该网址所在的服务器，这个过程叫做HTTP Request。
 
请求方式：主要有GET、POST两种类型，另外还有HEAD、PUT、DELETE、OPTIONS等。
请求URL：URL全称统一资源定位符，如一个网页文档、一张图片、一个视频等都可以用URL唯一来确定。
请求头：包含请求时的头部信息，如User-Agent、Host、Cookies等信息。
请求体：请求时额外携带的数据如表单提交时的表单数据
 
Response：服务器收到浏览器发送的消息后，能够根据浏览器发送消息的内容，做相应处理，然后把消息回传给浏览器。这个过程叫做HTTP Response。浏览器收到服务器的Response信息后，会对信息进行相应处理，然后展示。
 
响应状态：有多种响应状态，如200代表成功、301跳转、404找不到页面、502服务器错误。
响应头：如内容类型、内容长度、服务器信息、设置Cookie等等。
响应体：最主要的部分，包含了请求资源的内容，如网页HTML、图片二进制数据等。
 
4.能抓取哪些数据
 
网页文本:如HTML文档、Json格式文本等。
图片:获取到的是二进制文件，保存为图片格式。
视频:同为二进制文件，保存为视频格式即可。
其他:只要是能请求到的，或者说网页上能看到的都能获取。
 
5.解析方式
 
直接处理（例：静态网页）
Json解析（例：动态渲染或加载）
正则表达式（例：一般抓取图片用）
BeautifulSoup（例：解析网页）
XPath（例：定位元素）
 
6.爬虫代理
 
启用远程平台的人通常有两个目的：对更大计算能力和灵活性的需求，以及对可变 IP 地址的需求。
有一些网站会设置访问阈值，也就是说，如果一个IP访问速度超过这个阈值，那么网站就会认为，这是一个爬虫程序，而不是用户行为。为了避免远程服务器封锁IP，或者想加快爬取速度，一个可行的方法就是使用代理IP，我们需要做的就是创建一个自己的代理IP池。
思路：通过免费IP代理网站爬取IP，构建一个容量为100的代理IP池。从代理IP池中随机选取IP，在使用IP之前，检查IP是否可用。如果可用，使用该IP访问目标页面，如果不可用，舍弃该IP。当代理IP池中IP的数量小于20的时候，更新整个代理IP池，即重新从免费IP代理网站爬取IP，构建一个新的容量为100的代理IP池。
 
7.保存数据
 
文本：纯文本、Json、Xml等。
关系型数据库：如MySQL、Oracle、SQL Server等具有结构化表结构形式存储。
非关系型数据库：如MongoDB、Redis等Key-Value形式存储。
二进制文件：如图片、视频、音频等等直接保存成特定格式即可。