java代码实现网页源码爬取

java代码基于Eclipse简单实现网页源码爬取

哈哈,大家好！我是yanxiaolxy,前天四级英语考试考完了,作业也不多了,感觉整个人都变得轻松了许多。
今天给大家分享我的最新java学习进程--java网页源码爬虫，废话不多说盘代码。

仅需一页代码:

package 网站爬虫2;
/**
 * 爬取目标网页源代码示例
 * @作者 YanXiaolxy
 * @版本 2020.03
 * @时间 2020年12月14日 下午1:14:14
 */
import java.io.BufferedWriter;
import java.io.ByteArrayOutputStream;
import java.io.File;
import java.io.FileWriter;
import java.io.InputStream;
import java.net.HttpURLConnection;
import java.net.URL;
public class webHtmlCrawer {
	public static void main(String[] args) {
		newFile();
	}
	public static String getConnection() {
		String path = "https://www.taobao.com/";
		try {
			HttpURLConnection conn = (HttpURLConnection) new URL(path).openConnection();
			conn.setRequestMethod("GET");
            conn.setConnectTimeout(5000);
            if (conn.getResponseCode() == 200) {
                InputStream xml = conn.getInputStream();
                byte[] data = read(xml);
                //System.out.println(xml);
                return new String(data);
            }else {
                System.out.println("连接失败！");
            }
		} catch (Exception e) {
			e.printStackTrace();
		}
		return null;
	}
	//读取数据流,转换为字符串
    public static byte[] read(InputStream xml) throws Exception {
        ByteArrayOutputStream outputStream = new ByteArrayOutputStream();
        byte[] buffer = new byte[1024];
        int len = 0;
        while ((len = xml.read(buffer)) != -1) {
            outputStream.write(buffer, 0, len);

        }
        xml.close();
        return outputStream.toByteArray();
    }
    public static void newFile() {
        String html = getConnection();
        String dir = "D:/javafile/";//定义创建目录位置
        File contents = new File(dir);
        contents.mkdirs();//创建文件目录
        try {
            byte bytes[] = {1, 2, 3, 4};
            File file = new File("D:/javafile/test.txt");
            //判断文件是否存在，如果不存在就创建
            if (!file.exists()) {
                file.createNewFile();
            }
            FileWriter fw = new FileWriter(file.getAbsoluteFile());
            BufferedWriter bw = new BufferedWriter(fw);
            System.out.println("正在写入.....");
            bw.write(html);
            bw.close();
            System.out.println("录入完毕");
        } catch (Exception e) {
        	e.getStackTrace();
        }    
    }    
}

使用注意:

1.图中红色标记为设置目标网站路径.
图片: 12.设置网页源代码存放目录和文件创建
欢迎各位发表评论和问题。

如何用java爬取网页源代码

分为3个步骤：

1. 分析实现方式
2. 代码展示
3. 结果展示

1、分析

以b站为例 抓取b站的源代码是这样的

那么我可以用URL对象获取HttpURLConnection对象

HttpURLConnection对象：它继承自URLConnection，可用于向指定网站发送GET请求、POST请求。

调用URL中的 openConnection（）再通过强转获得连接对象HttpURLConnection

HttpURLConnection 向网页发送请求然后我们读取网页的源代码

在我们发送请求的时候可能有些网址会报一个错误：Server returned HTTP response code: 403 for URL

这个错误的意思大概就是服务器的安全设置不接受Java程序作为客户端访问

这个时候我们需要进行安全设置：

//这个方法是HttpURLConnection中的方法  参数内容具体什么意思我也不知道，反正就是设置安全性
setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");

既然说到读取 那么就需要InputStream输入流 在HttpURLConnection有个 getInputStream()方法 可以获取我们的输入流对象

获取到了输入流就等于是已经拿到了源码

下面展示代码 我会把捕获到的源码写入到txt文件中

2、代码展示

main方法

public static void main(String[] args) throws Exception{
    getURLData("https://www.bilibili.com/","utf-8");
}

getURLData是我自己定义的方法 我是在方法中实现获取源码

getURLData 方法

static void getURLData(String Url, String coding) throws Exception {
    //创建URL对象  参数设置需要爬取的网址 也就是我们方法传过来的参数
    URL url = new URL(Url);

    //得到一个HttpURLConnection 对象
    HttpURLConnection huc = (HttpURLConnection) url.openConnection();
    //防止出现Server returned HTTP response code: 403 for URL 的错误
    //也就是服务器的安全设置不接受Java程序作为客户端访问  所以我们进行安全设置
    huc.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");
    
    //通过HttpURLConnection获得输入流对象
    InputStream is = huc.getInputStream();
    
    //使用缓冲字符输入流获取源码  设置编码
    BufferedReader r = new BufferedReader(new InputStreamReader(is,coding));
    String line;
    
    //写入文件中
    BufferedWriter bw = new BufferedWriter(new FileWriter("E:\\1、idea项目\\算法和数据结构\\Demo\\src\\test\\_爬网址源码\\1.txt"));
    //readLine()一次读一行 
    while ((line = r.readLine()) != null){
        bw.write(line);
        //读完一行就换行
        bw.newLine();
        //清空缓冲区
        bw.flush();
    }
    //关闭资源
    bw.close();
    r.close();
    is.close();
}

3、结果展示

这样我们就获得了b站的源代码，如果想要只爬取自己想要的数据
那么对数据（字符串）进行一个过滤就行了

学会了的点个赞吧~

1.创建一个空项目

用Android studio创建一个空项目

2. 初始化项目

将项目设置成project视图

点击src，选择new，新建一个文件夹

选择main\assets

将html文件放在该目录下（css、js等也都一起放过来）

3.编写代码

完整代码在后边，看第5部分。这里的只是为了便于划分代码功能

3.1 java调用js

java代码

button.setOnClickListener(view -> {
    webView.loadUrl("javascript:responseJava('java调用js')");
});

JavaScript代码

function responseJava(str) {
	$("#show").html(str)
}

3.2 js调用java

javascript代码

// 从js调用java方法
function requestJava(){
	// 调用Java方法
	window.AndroidToast.show(info)
}

java代码

public class AndroidToast {
    /**
     * 展示弹窗
     * @param str html页面返回的输入的文本数据
     */
    @JavascriptInterface
    public void show(String str) {
        Toast.makeText(MainActivity.this, str, Toast.LENGTH_SHORT).show();
    }
}

4.运行

4.1 java调用js

点击调用js按钮，可以看到网页上的文本发生了变化

4.2 js调用java

点击调用java按钮后可以看到安卓弹出消息条显示文本框内容

5. 整体代码

html代码

<!DOCTYPE html>
<html>
<head>
	<meta charset="utf-8">
	<title></title>
</head>
<script src="jquery-1.8.3.js"></script>
<script>
		// 从js调用java方法
		function requestJava(){
			info = $("#input_info").val()
			$("#input_info").val(info + 1)
			info = $("#input_info").val()

			// 调用java代码
			window.AndroidToast.show(info)
		}
		// 从java调用js方法
		function responseJava(str) {
			$("#show").html(str)
		}
	</script>
<body>
<input id="input_info" />
<button id="html_btn" onclick="requestJava()">调用java</button>
<p id="show">暂无调用</p>
</body>
</html>

效果如下图：

主页面布局文件

<?xml version="1.0" encoding="utf-8"?>
<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    android:orientation="vertical">

	<!-- 网页布局 -->
    <WebView
        android:id="@+id/web_view"
        android:layout_width="match_parent"
        android:layout_height="500dp" />

    <Button
        android:id="@+id/call_js"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        android:text="调用js" />
</LinearLayout>

效果如下图：

主活动java代码

package priv.happy.java_js_eachother;

import androidx.appcompat.app.AppCompatActivity;

import android.os.Bundle;
import android.webkit.JavascriptInterface;
import android.webkit.WebSettings;
import android.webkit.WebView;
import android.widget.Button;
import android.widget.Toast;

public class MainActivity extends AppCompatActivity {
    
    @Override
    protected void onCreate(Bundle savedInstanceState) {
        super.onCreate(savedInstanceState);
        setContentView(R.layout.activity_main);
		
        WebView webView = findViewById(R.id.web_view);
        // 加载网页
        webView.loadUrl("file:///android_asset/index.html");
       // 初始化
        WebSettings webSettings = webView.getSettings();
        // 允许js
        webSettings.setJavaScriptEnabled(true);
        // 设置默认字符编码
        webSettings.setDefaultTextEncodingName("UTF-8");
        // 添加js接口
        webView.addJavascriptInterface(new AndroidToast(), "AndroidToast");

        Button button = findViewById(R.id.call_js);
        button.setOnClickListener(view -> {
            webView.loadUrl("javascript:responseJava('java调用js')");
        });
    }
    // 自定义的消息提示类
    //  @JavascriptInterface：作用是把AndroidToast类映射为Javascript中的AndroidToast对象
    public class AndroidToast {
        /**
         * 展示弹窗
         * @param str html页面返回的输入的文本数据
         */
        @JavascriptInterface
        public void show(String str) {
            Toast.makeText(MainActivity.this, str, Toast.LENGTH_SHORT).show();
        }
    }
}

参考

https://blog.csdn.net/fyj568213959/article/details/52777403