项目简介
python爬虫开源项目，目前有两个，分别是纽约时报以及 emojis。
NewYork
爬取纽约时报下与查询关键字相关的所有文章，多进程爬取多页面。
作者爬取的是涉及一带一路的文章，足足有 1246 篇文章。
项目比较系统，对接口的封装比较完善，适合已经入门的 python 选手练手爬虫项目，
同时项目也涉及到文件操作，不只是简单的 TXT 文件，还包括 excel 表格。
更详细的过程在本人博客中
相关 modules
项目涉及到python的网路请求模块requests,
列表格式与 str 类型相互转换的json模块,正则表达式模块re,
excel文件操作模块openpyxl,html分析模块pyquery,
以及最重要的python多进程模块multiprocessing,主要使用里面的Pool线程池。 ####注意:请务必确定阁下已经配置好 python 以及安装好上述模块
项目流程讲
1.第一步，获得关键词查询的所有文件的URL,写入到文件"./json/allArticlesPreInfo.json"中
2.第二步，从上述json问取得文章URL，爬取全部文章段落以及标题等信息，写入"./json/allArticlesPageInfo.json"中
3.从上述两个json文件中取得所有文章的必须信息，然后按格式写入TXT和excel表格中。
4.细节处理，异常分析，异常处理。
py 文件简要介绍
_file.py 文件
文件操作
包括：
writeToTxt(filename, arr):写入到 TXT 文件中
writeToXlsx(filename, date, title_EN, title_ZH, type, row):写入到 excel 表格中
writeToFile(filename,data):把 data 写入到文件中
getFileData(filename):从文件中获得数据
_format.py 文件
格式化操作
包括：
numberFormat(number,length):把 number 转化为长度 length，不足前面补零
dateFormat(date):把年月日格式转化为数字格式，例如 2019 年 1 月 1 日格式化为 20190101
urlGetType(url):截取 url 一部分获得文章类型
printState.py
封装输出格式化
printError(_str):输出错误信息
printSuccess(_str):输出执行成功的提示信息
printInfo(_str):输出普通信息
printTip(_str):输出提示信息
getAllArticlesPreInfo.py 文件
获得查询的关键值返回的所有文章的 URL 等基本信息
getAllArticlesPreInfo(query = "一带一路",filename = "./json/allArticlesPreInfo.json"):
获得关键字 query 返回的所有页面的 URL 等基本信息,写到文件 filename 中
getSingleArticleInfo.py
获得单个 URL 的文章信息，返回结果
getAllArticlesPageInfo.py 文件
获得全部页面文章信息
默认打开./json/allArticlesPreInfo.json 文件，获得每个页面的 URL 等基本信息，放到列表 articlesPreInfo 中
再提取所有页面的文章信息，放到列表 articlesPageInfo 中
列表 articlesPageInfo 和 articlesPreInfo 相同 index 处对应同一篇文章。
相关函数：
allArticles(articlesPreInfo, start):提取列表 articlesPreInfo 的全部文章信息，返回结果列表
getAllArticlesPageInfo(openfilename,writefilename):以多进程提取 URL 中的文章,把结果写到 writefilename 中
openfilename 默认值是"./json/allArticlesPreInfo.json",writefilename 默认值是"./json/allArticlesPageInfo.json"
_write.py 文件
把 getAllArticlesPageInfo 返回的所有页面的文章信息写道 TXT 和 XLSX 中
main.py
主函数
from getAllArticlesPreInfo import *
from getAllArticlesPageInfo import *
from _write import *
def main():
query = "一带一路"
getAllArticlesPreInfo()
getAllArticlesPageInfo()
beginWrite()
if __name__ == "__main__":
main()
结语
花了两天时间,一步一步写出来。
最大得感悟就是：对于大工程而言，高内聚低耦合是尤其重要，在这个项目中，本人主要通过封装接口降低耦合性，
而且提高代码的可重用性以及可读性。
其他一点小的感悟：对于实际项目而言，前期讲实现后期肝异常，一半以上的时间都在处理细节以及处理异常上了，
这些细节和异常是大部分 bug 的万恶之源，一定要考虑全面完备，处理完善。
emojis
爬取 unicode 项目，得到每个表情的关键字，所属类别，unicode码、browser下的符号、Apple google，windows等平台下的base64图片。

项目需求
有个多路搜索框（从服务器搜索），可支持同时根据关键字搜索科室和医生，页面左侧是科室树，右侧是医生列表表格，当选择关键字搜索结果的某个科室（可获取到科室id），需要触发选中左侧的科室节点，并查询出相应的科室所有医生信息。所以这个不适合直接采用element-ui的节点过滤搜索框来过滤节点，而element-ui也没有直接根据tree节点值触发节点点击的事件，所以需要额外写代码来实现这个交互效果。
效果图



主要实现代码
<template>
	<el-select
		class="searchInput"
		v-model="selectedSearchItem"
		filterable
		remote
		reserve-keyword
		size="mini"
		placeholder="搜索成员或科室"
		:remote-method="queryDeptOrDoctor"
		@change="selectSearchItem"
		:loading="searchLoading">
      <el-option-group
		v-for="group in searchOptionGroups"
		:key="group.name"
		:label="group.name">
        <el-option
			v-for="item in group.options"
			:key="item.id"
			:label="item.name"
			:value="item.id">
  		</el-option>
  	  </el-option-group>
	</el-select>

	<el-tree class="deptTreeCntr"
      ref="deptTree"
      :data="treeData"
      :props="treeProps"
      node-key="id"
      :default-expanded-keys="['0']"
      :expand-on-click-node="false"
      @node-click="handleTreeNodeClick">
	</el-tree>
</template>

<script>
    export default {
        data () {
          return {
            selectedSearchItem: '',
            searchLoading: false,
            searchOptionGroups: [],
            treeData: [],
            treeProps: {
              value: 'id',
              children: 'children',
              label: 'title'
            },
          }
        },
        methods: {
            // 根据关键字搜索科室或医生
            queryDeptOrDoctor(keyword){
                this.searchOptionGroups = [];
                if(keyword == ''){
                    return;
                }
                this.searchLoading = true;
                // 发起服务器查询，并组装this.searchOptionGroups数据
                // ...
                this.searchLoading = false;
            },
            // 多路搜索框选择了搜索的item处理
            selectSearchItem(selectedVal){
                // selectedVal的前缀用于区分是科室还是医生，科室是“dept-”开头，医生是“doct-”开头
                let type = selectedVal.substring(0, 4);
                // 截取实际的科室id或者医生id
                let val = selectedVal.substring(5);
                if(type == 'dept') {// 科室
                    // 设置当前选中key
                    this.$refs.deptTree.setCurrentKey(val);
                    // 根据el-tree的getNode方法获取到val相应的Node
                    let node = this.$refs.deptTree.getNode(val);
                    // 触发点击处理（由于elem参数没用到，所以这里忽略不传）
                    this.handleTreeNodeClick(node.data, node);
                  
                    // 除了选中相应的科室节点及触发查询，还有件事要做：就是有可能这个节点处于树比较深的位置，那应该把这个节点的所有父节点都展开（默认不展开）
                    // 获取自身及所有父节点的id
                    let selfAndParentIdArr = this.findTreeParentDataAttr(node, 'id');
                    if(selfAndParentIdArr.length > 1){
                        // 这里只展开所有父节点，当前节点不处理
                        for(let i = 0; i < selfAndParentIdArr.length - 1; i++){
                          // 这里通过设置节点数据的expanded属性来展开指定节点
                          this.$refs.deptTree.store.nodesMap[selfAndParentIdArr[i]].expanded = true;
                        }
                    }
                }else if(type == 'doct') {// 医生
                    // 触发查询指定医生的处理...
                }
            },
            // 点击树节点事件处理
            handleTreeNodeClick(data, node, elem){
                // data.id即为科室id，根据这个科室id触发医生表格数据的查询...
            },
            // 递归找出选择科室及所有上级科室的data指定属性（如title、id）
            findTreeParentDataAttr(node, attrName, parentNameArr){
                if(!parentNameArr){
                    parentNameArr = [];
                }
                // 因为是一层一层往上找，这里把父节点放最前面
                parentNameArr.unshift(node.data[attrName]);
                if(node.data.id == '0'){// 根节点

                }else{
                    this.findTreeParentDataAttr(node.parent, attrName, parentNameArr);
                }
                // 返回找到的所有节点名称
                return parentNameArr;
            }
        }
    }
</script>

一些属性、方法说明
el-tree：

data =》 tree的展示数据，类型：array，需要在后端封装好
props =》 配置选项，类型：object。这个主要用于匹配tree相应节点属性和后端返回数据的属性

label：指定节点标签（即显示的节点文本）为节点对象的某个属性值
children：指定子树为节点对象的某个属性值


node-key =》 每个树节点用来作为唯一标识的属性，整棵树应该是唯一的
default-expanded-keys =》 默认展开的节点的 key 的数组，由于科室树都有个默认的根节点id为0，所以这里会默认展开根节点下的一级节点
expand-on-click-node =》 是否在点击节点的时候展开或者收缩节点， 默认值为 true，如果为 false，则只有点箭头图标的时候才会展开或者收缩节点。
node-click =》 节点被点击时的回调。共三个参数，依次为：传递给 data 属性的数组中该节点所对应的对象、节点对应的 Node、节点组件本身。
setCurrentKey =》 通过 key 设置某个节点的当前选中状态，使用此方法必须设置 node-key 属性
getNode =》 根据 data 或者 key 拿到 Tree 组件中的 node