什么是网络爬虫？网络爬虫(Web crawler)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。

内容一般分为两部分，非结构化的文本，或结构化的文本。

1. 关于非结构化的数据

1.1 HTML文本(包含JavaScript代码)

HTML文本基本上是传统爬虫过程中最常见的，也就是大多数时候会遇到的情况，例如抓取一个网页，得到的是HTML，然后需要解析一些常见的元素，提取一些关键的信息。HTML其实理应属于结构化的文本组织，但是又因为一般我们需要的关键信息并非直接可以得到，需要进行对HTML的解析查找，甚至一些字符串操作才能得到，所以还是归类于非结构化的数据处理中。

常见解析方式如下：

•CSS选择器

现在的网页样式比较多，所以一般的网页都会有一些CSS的定位，例如class，id等等，或者我们根据常见的节点路径进行定位，例如腾讯首页的财经部分。

•XPATH

XPATH是一种页面元素的路径选择方法，利用Chrome可以快速得到，如：

1.2 一段文本

一篇文章，或者一句话，我们的初衷是提取有效信息，所以如果是滞后处理，可以直接存储，如果是需要实时提取有用信息，常见的处理方式如下：

分词

根据抓取的网站类型，使用不同词库，进行基本的分词，然后变成词频统计，类似于向量的表示，词为方向，词频为长度。

NLP

自然语言处理，进行语义分析，用结果表示，例如正负面等。

2. 关于结构化的数据

结构化的数据是最好处理，一般都是类似JSON格式的字符串，直接解析JSON数据就可以了，提取JSON的关键字段即可。

3、爬虫爬取网页的基本步骤

1) 人工给定一个URL作为入口，从这里开始爬取。

万维网的可视图呈蝴蝶型，网络爬虫一般从蝴蝶型左边结构出发。这里有一些门户网站的主页，而门户网站中包含大量有价值的链接。

2) 用运行队列和完成队列来保存不同状态的链接。

对于大型数据量而言，内存中的队列是不够的，通常采用数据库模拟队列。用这种方法既可以进行海量的数据抓取，还可以拥有断点续抓功能。

3) 线程从运行队列读取队首URL，如果存在，则继续执行，反之则停止爬取。

4) 每处理完一个URL，将其放入完成队列，防止重复访问。

5) 每次抓取网页之后分析其中的URL(URL是字符串形式，功能类似指针)，将经过过滤的合法链接写入运行队列，等待提取。

6) 重复步骤 3)、4)、5)。

 

4、主过程组成

在网络爬虫的系统框架中，主过程由控制器，解析器，资源库三部分组成。控制器的主要工作是负责给多线程中的各个爬虫线程分配工作任务。解析器的主要工作是下载网页，进行页面的处理，主要是将一些JS脚本标签、CSS代码内容、空格字符、HTML标签等内容处理掉，爬虫的基本工作是由解析器完成。资源库是用来存放下载到的网页资源，一般都采用大型的数据库存储，如Oracle数据库，并对其建立索引。

【控制器】

控制器是网络爬虫的中央控制器，它主要是负责根据系统传过来的URL链接，分配一线程，然后启动线程调用爬虫爬取网页的过程。

【解析器】

解析器是负责网络爬虫的主要部分，其负责的工作主要有：下载网页的功能，对网页的文本进行处理，如过滤功能，抽取特殊HTML标签的功能，分析数据功能。

【资源库】

主要是用来存储网页中下载下来的数据记录的容器，并提供生成索引的目标源。中大型的数据库产品有：Oracle、Sql Server等。

5、补充：

开源爬虫小知识

﹡DataparkSearch是一个在GNU GPL许可下发布的爬虫搜索引擎。

﹡GNU Wget是一个在GPL许可下，使用C语言编写的命令行式的爬虫。它主要用于网络服务器和FTP服务器的﹡镜像。

﹡Heritrix是一个互联网档案馆级的爬虫，设计的目标为对大型网络的大部分内容的定期存档快照，是使用java编写的。

﹡HTTrack用网络爬虫创建网络站点镜像，以便离线观看。它使用C语言编写，在GPL许可下发行。

﹡ICDL Crawler是一个用C++编写，跨平台的网络爬虫。它仅仅使用空闲的CPU资源，在ICDL标准上抓取整个站点。

﹡JSpider是一个在GPL许可下发行的，高度可配置的，可定制的网络爬虫引擎。

﹡LLarbin由Sebastien Ailleret开发；

﹡Methabot是一个使用C语言编写的高速优化的，使用命令行方式运行的，在2-clause BSD许可下发布的网页检索器。它的主要的特性是高可配置性，模块化；它检索的目标可以是本地文件系统，HTTP或者FTP。

﹡Nutch是一个使用java编写，在Apache许可下发行的爬虫。它可以用来连接Lucene的全文检索套件；

﹡Pavuk是一个在GPL许可下发行的，使用命令行的WEB站点镜像工具，可以选择使用X11的图形界面。与wget和httprack相比，他有一系列先进的特性，如以正则表达式为基础的文件过滤规则和文件创建规则。

﹡WebSPHINX(Miller and Bharat, 1998)是一个由java类库构成的，基于文本的搜索引擎。它使用多线程进行网页检索，html解析，拥有一个图形用户界面用来设置开始的种子URL和抽取下载的数据；

﹡WIRE-网络信息检索环境(Baeza-Yates 和 Castillo, 2002)是一个使用C++编写，在GPL许可下发行的爬虫，内置了几种页面下载安排的策略，还有一个生成报告和统计资料的模块，所以，它主要用于网络特征的描述；

﹡Ruya是一个在广度优先方面表现优秀，基于等级抓取的开放源代码的网络爬虫。在英语和日语页面的抓取表现良好，它在GPL许可下发行，并且完全使用Python编写。按照robots.txt有一个延时的单网域延时爬虫。

﹡Universal Information Crawler快速发展的网络爬虫，用于检索存储和分析数据；

﹡Agent Kernel，当一个爬虫抓取时，用来进行安排，并发和存储的java框架。

未来，最贵的东西将是数据。所以，掌握爬虫技术非常重要。

//#include #include

#include

#include

#include

#include "winsock2.h"

#include

#include

#include

#pragma comment(lib, "ws2_32.lib")

using namespace std;

#define DEFAULT_PAGE_BUF_SIZE 1048576

queue hrefUrl;

hash_set visitedUrl;

hash_set visitedImg;

int depth=0;

int g_ImgCnt=1;

//解析URL，解析出主机名，资源名bool ParseURL( const string & url, string & host, string & resource){

if ( strlen(url.c_str()) > 2000 ) {

return false;

}

const char * pos = strstr( url.c_str(), "http://" );

if( pos==NULL ) pos = url.c_str();

else pos += strlen("http://");

char pHost[100];

char pResource[2000];

if( strstr( pos, "/")==0 )

{

pResource[0]='/';pResource[1]=0;

strcpy(pHost,pos);

}

else

sscanf( pos, "%[^/]%s", pHost, pResource );//以%s的形式读取, %[^a]表示匹配非a的任意字符，直到遇到a停止读入//这里pHost取“http://”后面到第一个‘/’之间的字符串，从第一个‘/’到结束都传给pResource host = pHost;

resource = pResource;

return true;

}

//使用Get请求，得到响应bool GetHttpResponse( const string & url, char * &response, int &bytesRead ){

string host, resource;

if(!ParseURL( url, host, resource )){

cout << "Can not parse the url"<

return false;

}

//建立socket struct hostent * hp= gethostbyname( host.c_str() );

if( hp==NULL ){

cout<< "Can not find host address"<

return false;

}

SOCKET sock = socket( AF_INET, SOCK_STREAM, IPPROTO_TCP);

if( sock == -1 || sock == -2 ){

cout << "Can not create sock."<

return false;

}

//建立服务器地址 SOCKADDR_IN sa;

sa.sin_family = AF_INET;

sa.sin_port = htons( 80 );

//char addr[5];//memcpy( addr, hp->h_addr, 4 );//sa.sin_addr.s_addr = inet_addr(hp->h_addr); memcpy( &sa.sin_addr, hp->h_addr, 4 );

//建立连接 if( 0!= connect( sock, (SOCKADDR*)&sa, sizeof(sa) ) ){

cout << "Can not connect:"<< url <

closesocket(sock);

return false;

};

//准备发送数据 string request = "GET" + resource + "HTTP/1.1\r\nHost:" + host + "\r\nConnection:Close\r\n\r\n";//字符串拼接//发送数据 if( SOCKET_ERROR ==send( sock, request.c_str(), request.size(), 0 ) ){//request.size()=strlen(request.c_str) cout << "send error" <

closesocket( sock );

return false;

}

//接收数据 int m_nContentLength = DEFAULT_PAGE_BUF_SIZE;

char *pageBuf = (char *)malloc(m_nContentLength);

memset(pageBuf, 0, m_nContentLength);

bytesRead = 0;

int ret = 1;

cout <

while(ret > 0)

{

ret = recv(sock, pageBuf + bytesRead, m_nContentLength - bytesRead, 0);

if(ret > 0)

{

bytesRead += ret;

}

if( m_nContentLength - bytesRead<100)

{

cout << "\nRealloc memorry"<

m_nContentLength *=2;

pageBuf = (char*)realloc( pageBuf, m_nContentLength); //重新分配内存 }

cout << ret <

}

cout <

pageBuf[bytesRead] = '\0';

response = pageBuf;

closesocket( sock );

return true;

//cout<< response <

//提取所有的URL以及图片URLvoid HTMLParse ( string & htmlResponse, vector & imgurls, const string & host ){

//Sleep(10000);//找所有连接，加入queue中 const char *p= htmlResponse.c_str();

char *tag="href=\"";//href的内容 就是指要跳转的路由 或 方法 const char *pos = strstr( p, tag );

ofstream ofile("url.txt", ios::app);//以追加的方式打开文件 while( pos )

{

pos +=strlen(tag);

const char * nextQ = strstr( pos, "\"" );

if( nextQ )

{

char * url = new char[ nextQ-pos+1 ];

//char url[100];//固定大小的会发生缓冲区溢出的危险 sscanf( pos, "%[^\"]", url);

string surl = url; //转换成string类型，可以自动释放内存 if( visitedUrl.find( surl ) == visitedUrl.end() ){//visitedUrl.find( surl )=visitedUrl.end() 表示visitedUrl中没有sur1 visitedUrl.insert( surl );

ofile << surl<

hrefUrl.push( surl );//将sur1插到队列末 }

pos = strstr(pos, tag );

delete [] url; //释放掉申请的内存 }

}

ofile << endl << endl;

ofile.close();

tag ="

const char* att1= "src=\"";//规定图像|音视频等的 URL。 const char* att2="lazy-src=\"";//lazy_src=还是lazy-src= const char *pos0 = strstr( p, tag );

while( pos0 )

{

pos0 += strlen( tag );

const char* pos2 = strstr( pos0, att2 );

if( !pos2 || pos2 > strstr( pos0, ">") )

{

pos = strstr( pos0, att1);//非延迟加载项 if(!pos)

{

pos0 = strstr(att1, tag );

continue;

}

else

{

pos = pos + strlen(att1);

}

}

else //如果是延迟加载项 {

pos = pos2 + strlen(att2);

}

const char * nextQ = strstr( pos, "\"");

if( nextQ )

{

char * url = new char[nextQ-pos+1];

sscanf( pos, "%[^\"]", url);

cout << url<

string imgUrl = url;

if( visitedImg.find( imgUrl ) == visitedImg.end() )

{

visitedImg.insert( imgUrl );

imgurls.push_back( imgUrl );//imgurls作为模板队列，push_back的参数由单个字符变成string类型 }

pos0 = strstr(pos0, tag );

delete [] url;

}

}

cout << "end of Parse this html"<

}

//把URL转化为文件名string ToFileName( const string &url ){

string fileName;

fileName.resize( url.size());

int k=0;

for( int i=0; i

char ch = url[i];

if( ch!='\\'&&ch!='/'&&ch!=':'&&ch!='*'&&ch!='?'&&ch!='"'&&ch!=''&&ch!='|')

fileName[k++]=ch;

}

return fileName.substr(0,k) + ".txt";//从第0位开始，长度为k的字符串 + .txt}

//下载图片到img文件夹void DownLoadImg( vector & imgurls, const string &url ){

//生成保存该url下图片的文件夹 string foldname = ToFileName( url );

foldname = "./img/"+foldname;

if(!CreateDirectory( foldname.c_str(),NULL ))

cout << "Can not create directory:"<< foldname<

char *image;

int byteRead;

for( int i=0; i

{

//判断是否为图片，bmp，jgp，jpeg，gif string str = imgurls[i];

int pos = str.find_last_of(".");//返回值为相对于起点的偏移位 if( pos == string::npos )

continue;

else

{

string ext = str.substr( pos+1, str.size()-pos-1 );

if( ext!="bmp"&& ext!="jpg" && ext!="jpeg"&& ext!="gif"&&ext!="png")

continue;

}

//下载其中的内容 if( GetHttpResponse(imgurls[i], image, byteRead))

{

if ( strlen(image) ==0 )

{

continue;

}

const char *p=image;

const char * pos = strstr(p,"\r\n\r\n")+strlen("\r\n\r\n");

int index = imgurls[i].find_last_of("/");

if( index!=string::npos )

{

string imgname = imgurls[i].substr( index , imgurls[i].size() );

ofstream ofile( foldname+imgname, ios::binary );

if( !ofile.is_open() )

continue;

cout <

ofile.write( pos, byteRead- (pos-p) );

ofile.close();

}

free(image);

}

}

}

//广度遍历void BFS( const string & url ){

char * response;

int bytes;

//获取网页的相应，放入response中。 if( !GetHttpResponse( url, response, bytes ) ){

cout << "The url is wrong! ignore." << endl;

return;

}

string httpResponse=response;

free( response );

string filename = ToFileName( url );

ofstream ofile( "./html/"+filename );

if( ofile.is_open() ){

//保存该网页的文本内容 ofile << httpResponse << endl;

ofile.close();

}

vector imgurls;

//解析该网页的所有图片链接，放入imgurls里面 HTMLParse( httpResponse, imgurls, url );

//下载所有的图片资源 DownLoadImg( imgurls, url );

}

void main()

{

//初始化socket，用于tcp网络连接 WSADATA wsaData;

if( WSAStartup(MAKEWORD(2,2), &wsaData) != 0 ){

return;

}

//创建文件夹，保存图片和网页文本文件 CreateDirectory( "./img",0);

CreateDirectory("./html",0);

//string urlStart = "http://hao.";//遍历的起始地址//string urlStart = "http://www.wmpic.me/tupian";//string urlStart = "http://item.&id=36366887850&ns=1#detail"; string urlStart = "www.";

//使用广度遍历//提取网页中的超链接放入hrefUrl中，提取图片链接，下载图片。 BFS( urlStart );

//访问过的网址保存起来 visitedUrl.insert( urlStart );

while( hrefUrl.size()!=0 ){

string url = hrefUrl.front(); //从队列的最开始取出一个网址 cout << url << endl;

BFS( url ); //遍历提取出来的那个网页，找它里面的超链接网页放入hrefUrl，下载它里面的文本，图片 hrefUrl.pop(); //遍历完之后，删除这个网址 }

WSACleanup();

system("pause");

return;

}