这里只演示最简单的一个爬虫

准备：需要导入一个jar包>> jsoup 下载链接

（jsoup 是用于爬虫的一个框架，除此之外的还有jSpider、HTMLUnit 、Jaunt）

import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

class SimpleSpider{
	Document getDoc(String url) throws IOException {
		Document doc=Jsoup.connect(url).get();
		return doc;
	}
	Elements getElementAs(Document doc) {//cssQuery syntax:https://jsoup.org/apidocs/org/jsoup/select/Selector.html
		Elements a=doc.select("a[href]");//finds links (a tags with href attributes)						
		return a;
	}
}
public class SimpleOne {
	public static void main(String[] args) throws IOException {
		SimpleSpider s=new SimpleSpider();
		Document doc=s.getDoc("https://www.baidu.com/");
		//System.out.println(s.getElementAs(doc));
		Elements aSet=s.getElementAs(doc);
		for(Element i :aSet) {
			System.out.println(i.attr("href"));//get attr href
		}
		System.out.println("end");
	}

}

我现在也只是刚接触，发现利用这些框架的话，其实Java 爬虫看起来也没那么冗余

网页解析起来也不复杂

不过，你如果不借助这些框架的话。。

import java.io.BufferedInputStream;
import java.io.DataInputStream;
import java.io.IOException;
import java.io.InputStream;
import java.net.MalformedURLException;
import java.net.URL;

public class WithNoExtraJar {

	public static void main(String[] args) {
		// TODO Auto-generated method stub
		URL url;
	    InputStream is = null;
	    DataInputStream dis;
	    String line;
	    try {
	        url = new URL("https://www.baidu.com/");
	        is = url.openStream();  // get connection
	        dis = new DataInputStream(new BufferedInputStream(is));

	        while ((line = dis.readLine()) != null) {
	            System.out.println(line);
	        }
	    } catch (MalformedURLException mue) {
	         mue.printStackTrace();
	    } catch (IOException ioe) {
	         ioe.printStackTrace();
	    } finally {
	        try {
	            is.close();
	        } catch (IOException ioe) {
	            // nothing to see here
	        }
	    }
	}

}

上面只是获取网页源代码的程序，都还没开始解析，就已经一大坨了，看了就头大

所以，还是用框架好。。

除了Java，还有挺多语言也可以写爬虫的

比如说：

Ruby、node.js、python、C++、php

各有特点吧，不过现在最火的是python

Java 的话，我个人认为，多线程不赖了

（Google和百度都查了，真的找不到有人对Java爬虫的评价，噗 好像是故意被冷落了）

前言

    由于爬虫性质的特殊性，本文将部分爬取文章的网站例子，用###代替，希望大家能学习java爬取代码技巧！！！

pom文件引入所需要的依赖

        <!--jsoup-->
        <dependency>
            <groupId>org.jsoup</groupId>
            <artifactId>jsoup</artifactId>
            <version>1.13.1</version>
        </dependency>

     jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。

核心实现代码

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.select.Elements;

import java.io.IOException;

/**
 * 文章采集
 * @author tarzan
 * @date 2021/5/31
 */
public class ArticleCollect {


    //网站地址
    private static String webUrl="###";

    /**
     * @param url 访问路径
     * @return
     */
    public static Document getDocument(String url) {
        try {
            //5000是设置连接超时时间，单位ms
            return Jsoup.connect(url).timeout(5000).get();
        } catch (IOException e) {
            e.printStackTrace();
        }
        return null;
    }

    public static void main(String[] args) {
        int pageNum=0;
        while (true){
            pageNum++;
            if(!readPage(webUrl,pageNum)){
                break;
            }
        }

    }

    public static String readArticle(String url) {
        Document doc=  getDocument(url);
        //获取文章标题
        Elements title = doc.select("title");
        System.out.println(title);
        //获取文章内容
        Elements content = doc.select("###");
        return content.html();
    }

    public static boolean readPage(String webUrl,int pageNum) {
        Document doc = getDocument(webUrl+"/article/list/"+pageNum);
        // 获取目标HTML代码
        Elements elements = doc.select("###");
        //文章列表
        Elements articles = elements.select("###");
        if (articles.size() == 0) {
            return false;
        }
        articles.forEach(e -> {
            String url = e.select("a").attr("href");
            readArticle(url);
            try {
                //等待3秒
                Thread.sleep(3000);
            } catch (InterruptedException interruptedException) {
                System.out.println("线程中断故障");
            }
        });
        return true;
    }

}

控制台运行输出

package com.wpb.dao;

import java.io.IOException;

import org.jsoup.Connection;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import com.wpb.bean.Book;

public class test {

    public static void main(String[] args) throws IOException {
        //要爬取的网站
        String url = "https://www.qidian.com/search?kw=完美世界";
        //获得一个和网站的链接，注意是Jsoup的connect
        Connection connect = Jsoup.connect(url);
        //获得该网站的Document对象
        Document document = connect.get();
        int cnt = 1;
        //我们可以通过对Document对象的select方法获得具体的文本内容
        //下面的意思是获得.bool-img-text这个类下的 ul 下的 li
        Elements rootselect = document.select(".book-img-text ul li");
        for(Element ele : rootselect){
            //然后获得a标签里面具体的内容
            Elements novelname = ele.select(".book-mid-info h4 a");
            String name  = novelname.text();
            
            Elements author = ele.select(".book-mid-info p a");
            String authorname = author.first().text();
            
            Elements sumadvice = ele.select(".total p");
            String sum = sumadvice.last().text();
            
            System.out.println("书名:"+name+" 作者:"+authorname+" 推荐量:"+sum);
        }
    }

}