此代码为一十分简单网络爬虫，仅供娱乐之用。

java代码如下：

package tool;

import java.io.BufferedReader;

import java.io.File;

import java.io.FileWriter;

import java.io.InputStreamReader;

import java.io.Writer;

import java.net.URL;

import java.net.URLConnection;

import java.sql.Time;

import java.util.Scanner;

import java.util.regex.Matcher;

import java.util.regex.Pattern;

public class Ma {

public static void main(String[] args) throws Exception {// 本程序内部异常过多为了简便，不一Try，直接抛给虚拟机

long StartTime = System.currentTimeMillis();

System.out.println("-- 欢迎使用小刘简易网页爬虫程序 --");

System.out.println("");

System.out.println("--请输入正确的网址如http：//www.baidu.com--");

Scanner input = new Scanner(System.in);// 实例化键盘输入类

String webaddress = input.next();// 创建输入对象

File file = new File("E:" + File.separator + "爬虫邮箱统计文本.txt");// 实例化文件类对象

// 并指明输出地址和输出文件名

Writer outWriter = new FileWriter(file);// 实例化outWriter类

URL url = new URL(webaddress);// 实例化URL类。

URLConnection conn = url.openConnection();// 取得链接

BufferedReader buff = new BufferedReader(new InputStreamReader(

conn.getInputStream()));// 取得网页数据

String line = null;

int i=0;

String regex = "\\w+@\\w+(\\.\\w+)+";// 声明正则，提取网页前提

Pattern p = Pattern.compile(regex);// 为patttern实例化

outWriter.write("该网页中所包含的的邮箱如下所示:\r\n");

while ((line = buff.readLine()) != null) {

Matcher m = p.matcher(line);// 进行匹配

while (m.find()) {

i++;

outWriter.write(m.group() + ";\r\n");// 将匹配的字符输入到目标文件

}

}

long StopTime = System.currentTimeMillis();

String UseTime=(StopTime-StartTime)+"";

outWriter.write("--------------------------------------------------------\r\n");

outWriter.write("本次爬取页面地址："+webaddress+"\r\n");

outWriter.write("爬取用时："+UseTime+"毫秒\r\n");

outWriter.write("本次共得到邮箱："+i+"条\r\n");

outWriter.write("****谢谢您的使用****\r\n");

outWriter.write("--------------------------------------------------------");

outWriter.close();// 关闭文件输出操作

System.out.println(" —————————————————————\t");

System.out.println("|页面爬取成功，请到E盘根目录下查看test文档|\t");

System.out.println("| |");

System.out.println("|如需重新爬取，请再次执行程序,谢谢您的使用|\t");

System.out.println(" —————————————————————\t");

}

}

txt截图如下：

测试网址：http://tieba.baidu.com/p/2976611415,通过此例读者可以轻松抓取网页上的邮箱,如果读者对正则表达式有所了解,那么

不仅可以抓取邮箱,还可以抓取电话号码,ip地址等待一切想要抓取的信息.是不是 很有趣呢！

转载请注明作者：小刘

在此之前，大家先了解一个Jsoup，一个html页面解析的jar包。

如果你上面的Jsoup看完了。

前期准备工作：需要去查看一下要爬的网页的结构，对自己要爬的数据的标签要熟悉。

操作：在页面上按F12查看标签的内容。

就是js+css+html标签的构造，我们使用比较多的是a、img这两个标签。第一个是链接，第二个是图片所以图片也是可以爬的~~。里面的内容也都是一个链接地址。

其余的标签就可能是文本数据的内容了。比如说我现在想要爬的就是这个标题中的链接。

和标题的内容。找到这里看到这个标签的href值。

使用Jsoup的方法：Elements elements = doc.getElementsByTag("a");//找到所有a标签

对a标签进行过滤就行了

也可以直接获取class标签下的内容，再在这个class下找到a标签获取a标签的href属性值。

好了就是这么简单。接下来看看代码吧。

import java.io.BufferedWriter;

import java.io.File;

import java.io.FileWriter;

import java.io.IOException;

import org.jsoup.Jsoup;

import org.jsoup.nodes.Document;

import org.jsoup.nodes.Element;

import org.jsoup.select.Elements;

public class MySearchTest {

private static String url = "http://blog.csdn.net";

private static String blogName = "guoxiaolongonly";

public static void main(String[] args) {

getArticleListFromUrl(url+"/" + blogName);

}

/**

* 获取文章列表

* @param listurl

*/

public static void getArticleListFromUrl(String listurl) {

Document doc = null;

try {

doc = Jsoup.connect(listurl).userAgent("Mozilla/5.0").timeout(3000).post();

} catch (IOException e) {

e.printStackTrace();

}

// System.out.println(doc);

Elements elements = doc.getElementsByTag("a");//找到所有a标签

for (Element element : elements) {

String relHref = element.attr("href"); // == "/"这个是href的属性值，一般都是链接。这里放的是文章的连接

String linkHref = element.text();

//用if语句过滤掉不是文章链接的内容。因为文章的链接有两个，但评论的链接只有一个，反正指向相同的页面就拿评论的链接来用吧

if (!relHref.startsWith("http://") && relHref.contains("details") && relHref.endsWith("comments"))

{

StringBuffer sb = new StringBuffer();

sb.append(url).append(relHref);

System.out.println(sb.substring(0, sb.length() - 9));//去掉最后的#comment输出

getArticleFromUrl(sb.substring(0, sb.length() - 9));//可以通过这个url获取文章了

}

//System.out.println(linkHref);

if(linkHref.equals("下一页"))//如果有下一页

{

getArticleListFromUrl(url + relHref);//获取下一页的列表

}

}

}

/**

* 获取文章内容

* @param detailurl

*/

public static void getArticleFromUrl(String detailurl) {

try {

Document document = Jsoup.connect(detailurl).userAgent("Mozilla/5.0").timeout(3000).post();

Element elementTitle = document.getElementsByClass("link_title").first();//标题。 这边根据class的内容来过滤

System.out.println(elementTitle.text());

String filename = elementTitle.text().replaceAll("/", "或");

Element elementContent = document.getElementsByClass("article_content").first();//内容。

saveArticle(filename , elementContent.text(), blogName);

// String Content =elementContent.te xt().replaceAll(" ", "\t");

// System.out.println(elementContent.text()+"\n");

} catch (IOException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

}

/**

* 保存文章到本地

* @param titile

* @param content

* @param blogName

*/

public static void saveArticle(String titile, String content, String blogName) {

String lujing = "d:\\MyLoadArticle\\" + blogName + "\\" + titile + ".txt";//保存到本地的路径和文件名

File file = new File(lujing);

if (!file.getParentFile().exists()) {

file.getParentFile().mkdirs();

}

try {

file.createNewFile();

} catch (IOException e) {

e.printStackTrace();

}

try {

FileWriter fw = new FileWriter(file, true);

BufferedWriter bw = new BufferedWriter(fw);

bw.write(content);

bw.flush();

bw.close();

fw.close();

} catch (IOException e) {

e.printStackTrace();

}

}

}

我封装了获取文章列表、获取文章内容保存文章内容的方法。

大家可以设置blogName去爬你想要的文章了，比如说我：guoxiaolongonly

这边用post模拟浏览器请求。因为直接get，页面无法加载。还有就是使用cookie，模拟用户用户页面访问操作。会的小伙伴们也可以交流一下~~

针对文本文档编码乱码问题。还希望大家自己研究一下。