Python的爬虫框架主要可以分为以下五个部分：

爬虫调度器：用于各个模块之间的通信，可以理解为爬虫的入口与核心（main函数），爬虫的执行策略在此模块进行定义；

URL管理器：负责URL的管理，包括带爬取和已爬取的URL、已经提供相应的接口函数（类似增删改查的函数）

网页下载器：负责通过URL将网页进行下载，主要是进行相应的伪装处理模拟浏览器访问、下载网页

网页解析器：负责网页信息的解析，这里是解析方式视具体需求来确定

信息采集器：负责将解析后的信息进行存储、显示等处理

代码示例是爬取CSDN博主下的所有文章为例，文章仅作为笔记使用，理论知识rarely

一、URL管理器简介

       URL管理器主要负责对爬虫的URL进行管理，它会将待爬取的URL和已经爬取的URL分别记录下来。

       URL管理器如要对外提供添加、查询URL的功能。

       核心框架如下：

'''
自定义Python伪代码
'''
# 1. 初始化待管理的URL
# 2. 提供一系列操作URL的接口函数
# 例如：
#      添加一个URL
#      添加多个URl
#      查询是否有未爬取的URL
#      取出未爬取的URL
#      ...

二、URL管理器示例：（爬取CSDN博主下的所有文章）

# author : s260389826
# date : 2019/3/22
# position: chengdu


class UrlManager(object):
    def __init__(self):
        self.urls_article_new = set()  #待爬取文章
        self.urls_article_old = set()  #已爬取文章
        self.urls_page_new = set()     #待爬取页
        self.urls_page_old = set()     #已爬取页

    def add_article_url(self, url):
        '''
        一次添加一个文章的URL
        '''
        if url is None:
            print("url_manager: add article url error")
            return
        if url not in self.urls_article_new and url not in self.urls_article_old:
            self.urls_article_new.add(url)

    def add_article_urls(self, urls):
        '''
        一次添加多个文章的URL
        '''
        if urls is None or len(urls) == 0:
            print("url_manager: add article urls error")
            return
        for url in urls:
            self.add_article_url(url)

    def add_page_url(self, url):
        '''
        一次添加一个页的URL
        '''
        if url is None:
            print("url_manager: add page url error")
            return
        if url not in self.urls_page_new and url not in self.urls_page_old:
            self.urls_page_new.add(url)

    def add_page_urls(self, urls):
        '''
        一次添加多个页的URL
        '''
        if urls is None or len(urls) == 0:
            print("url_manager: add page urls error")
            return
        for url in urls:
            self.add_page_url(url)

    def has_page_url(self):
        '''
        查询是否有带爬取的页
        '''
        return len(self.urls_page_new) != 0

    def get_page_url(self):
        '''
        取出带爬取的页
        '''
        page_url = self.urls_page_new.pop()
        self.urls_page_old.add(page_url)
        return page_url

三、上述代码用到的知识点：

       1. URL管理器使用集合：

    def __init__(self):
        self.urls_article_new = set()
        self.urls_article_old = set()
        self.urls_page_new = set()
        self.urls_page_old = set()

    使用集合主要为了去除重复的URL，它可以自动的去除重复URL。非必须但是比较方便

       2. 集合操作：

        page_url = self.urls_page_new.pop()
        self.urls_page_old.add(page_url)

     pop(): 从集合中去掉一个元素

     add(): 往集合中添加一个元素

成就更好的自己

今天在做单片机的数据采集并给PC处理，根据前期的想法本来是要使用nRF24L01进行的，奈何nRF无线模块转USB接口太不给力，因此使用到了HC08作为发送和接收数据的模块。

目录

简介

内部核心及特点

通信方式

蓝牙模块的设置

指令集的介绍

简介

HC08蓝牙模块是广州汇承公司的产品，HC系列分别有蓝牙，WiFi以及433MHz无线通信模块若干，其中HC系列的蓝牙模块目前用于单片机通信的方面最广，具有低功耗(以HC08为代表)，配备双模蓝牙，操作极为简单(安装支持BLE的APP后无需对码且指令集简单)，主从机一体，通信效果好这些优点。

但是相对的，也有不足之处，HC系列蓝牙芯片都不支持与PC和没有安装特定APP的智能手机直接蓝牙通信。

上面的操作简单与使用连接不便，是因为HC-08采用BLE4.0协议。关于经典蓝牙和BLE蓝牙，想了解的朋友看一下这篇文章： https://www.zhihu.com/question/48722431

内部核心及特点

HC08采用的是TI公司的CC2540作为核心，这款CC2540芯片架构是8051内核的一个微型控制器，最大的特点是它的低功耗。因此，HC08的最大特点也是低功耗，通过特定指令可以对其内部进行发射功率和待机功耗的设置，以达到超长时间供电的特点。不过，他特有的BLE要求只能进行一主一从的双机通信(支持全双工)，不过也支持小范围的蓝牙广播，而且传输数据的速率真的不算很快，这两点就限制了他的很多应用场景。其应用场景的特点就是低功耗的近距离通信少量数据。这也是汇承公司几乎所有HC系列的蓝牙芯片共同的特征。此外，此模块对于供电的要求很低2V~3.6V，HC其他模块也有3.3V~6V的。工作频率2.4GHz，调制方式为FSK。

当然了，HC08也和HC系列的其他模块有两种产品，一种是单纯作为拓展模块使用的厚PCB板类型，另一种是带有邮票孔的用于嵌入的类型，对于带有邮票孔类型的我还是挺感兴趣的，毕竟特点是低功耗，将他小小的身躯嵌入到某些小小的低功耗系统上应该是它最大的应用场景了吧(号称一块CR2302纽扣电池能用1400天)。如果使用邮票孔的话，在邮票孔下边的PCB板上不要覆铜不要走线，否则会影响信号，建议天线尽量靠近板边。

通信方式

HC08的通信方式是串口通信，出厂设置默认波特率9600，后期可以修改，与PC的通信方式是通过USB转串口(TTL电平)，然后通过串口调试助手进行指令集和数据的发送，这也是与电脑唯一的比较正常的通信方式了。手机的话，HC08仅支持安卓4.3和iPhone 4s以上的智能手机，此外还需要一个叫HC-COM的APP才能连接使用，不过设置正确后打开APP后就自动连接了，然后就可以随意的发送数据，使用非常方便。对于HC08之间的话，只要设置好一主机一从机，然后打开允许连接后即自动连接。

蓝牙模块的设置

HC08采用的是指令集的方式设置蓝牙运行的配置，指令言简意赅，使用极为简单，具体如下：

具体指令是干嘛的，在文章末尾会讲；

指令的串口发送方式直接是字符模式即可，不用HEX模式，串口收到的模块的设置回复也直接就是字符模式的。

HC-08模块上有LED灯，在没有连接设备的时候LED灯是闪烁的，闪烁规则如下：

AT指令只有在未连接设备的时候才有效，并且HC-08的AT指令不需要回车换行，无需加\r\n，直接发送就好，在使用串口助手调试的时候要注意将发送新行取消勾选。

指令集的介绍

https://wenku.baidu.com/view/e2e013875f0e7cd185253684.html

有各种指令集的使用情况和蓝牙模块收到指令后的回复。

架构风格

架构风格定义了用于描述系统的术语表和一组指导构建系统的规则。

架构风格反映了领域中众多系统所共有的结构和寓意特性，并指导如何将各个构件有效地组织成一个完整的系统。

数据流风格

批处理序列

大量整体数据、无需用户交互

构件为一系列固定顺序的计算单元，构件之间只通过数据传递交互。每个处理步骤是一个独立的程序，每一步必须在其前一步结束后才能开始，数据必须是完整的，以整体的方式传递。

管道过滤器

流式数据、弱用户交互

每个构件都有一组输入和输出，构件读输入的数据流，经过内部处理，然后产生输出数据流。这个过程通常是通过对输入数据流的变换或计算来完成的，包括通过计算和增加信息以丰富数据、通过浓缩和删除以精简数据、通过改变记录方式以转化数据和递增地转化数据等。这里的构件称为过滤器，连接件就是数据流传输的管道，将一个过滤器的输出传到另一个过滤器的输入。

调用返回风格

主程序子程序

面向过程

单线程控制，把问题划分为若干个处理步骤，构件即为主程序和子程序，子程序通常可合成为模块。过程调用作为交互机制，即充当连接件的角色。调用关系具有层次性，其语义逻辑表现为主程序的正确性取决于它调用的子程序的正确性

面向对象

对象的方法调用

构件是对象，对象是抽象数据类型的实例。在抽象数据类型中，数据的表示和它们的相应操作被封装起来，对象的行为体现在其接受和请求的动作。连接件即是对象间交互的方式，对象是通过函数和过程的调用来交互的

层次结构

层与层之间的方法调用

构件组织成一个层次结构，连接件通过决定层间如何交互的协议来定义。每层为上一层提供服务，使用下一层的服务，只能见到与自己邻接的层。通过层次结构，可以将大的问题分解为若干个渐进的小问题逐步解决，可以隐藏问题的复杂度。修改某一层，最多影响其相邻的两层（通常只能影响上层）

独立构件风格

进程通信

构件是独立的过程，连接件是消息传递。构件通常是命名过程，消息传递的方式可以是点对点、异步或同步方式，以及远程过程（方法）调用等。

事件驱动（隐式调用）

构件不直接调用一个过程，而是触发或广播一个或多个事件。构件中的过程在一个或多个事件中注册，当某个事件被触发时，系统自动调用在这个事件中注册的所有过程。一个事件的触发就导致了另一个模块中的过程调用。这种风格中的构件是匿名的过程，它们之间交互的连接件往往是以过程之间的隐式调用来实现的。主要优点是为软件复用提供了强大的支持，为构件的维护和演化带来了方便；其缺点是构件放弃了对系统计算的控制。

虚拟机风格

解释器

解释器通常包括一个完成解释工作的解释引擎、一个包含将被解释的代码的存储区、一个记录解释引擎当前工作状态的数据结构，以及一个记录源代码被解释执行的进度的数据结构。具有解释器风格的软件中含有一个虚拟机，可以仿真硬件的执行过程和一些关键应用，其缺点是执行效率比较低。

规则系统

基于规则的系统包括规则集、规则解释器、规则/数据选择器和工作内存，一般用在人工智能领域和DSS中。

仓库风格

数据库系统

构件主要有两大类，一类是中央共享数据源，保存当前系统的数据状态；另一类是多个独立处理单元，处理单元对数据元素进行操作。

黑板系统

包括知识源、黑板和控制三部分。知识源包括若干独立计算的不同单元，提供解决问题的知识。知识源响应黑板的变化，也只修改黑板；黑板是一个全局数据库，包含问题域解空间的全部状态，是知识源相互作用的唯一媒介；知识源响应是通过黑板状态的变化来控制的。黑板系统通常应用在对于解决问题没有确定性算法的软件中（信号处理、问题规划和编译器优化等）。

超文本系统

构件以网状链接方式相互连接，用户可以在构件之间进行按照人类的联想思维方式任意跳转到相关构件。超文本是一种非线性的网状信息组织方法，它以结点为基本单位，链作为结点之间的联想式关联。超文本系统通常应用在互联网领域。

“你跟讲了这么多，说好的图呢？”
“不要着急，最好的总是在不经意的时候出现。”