URL获取
 
之前在项目中，遇到这样一个问题。需要读取一个网页的内容，却发现只读取到了网页内容的一部分。
 下面是代码：
 
	public static void read1(String urlStr) {
		URL url = null;
		InputStream is = null;
		InputStreamReader isr = null;
		BufferedReader br = null;
		StringBuffer sb = new StringBuffer();
		try {
			url = new URL(urlStr);
			is = url.openStream();
			isr = new InputStreamReader(is,"utf-8");
			br = new BufferedReader(isr);
			char[] c = new char[1024];
			while(br.read(c) != -1) {
				final String ss = new String(c);
				sb.append(ss);
			}
		} catch (MalformedURLException e) {
			e.printStackTrace();
		} catch (IOException e) {
			e.printStackTrace();
		}finally {
			try {
				br.close();
			} catch (IOException e) {
				e.printStackTrace();
			}
		}
		System.out.println(sb.toString());
	}
 
将获取的内容存储到本地文件中，发现，其占用空间大小为4096字节，这正好为系统一页的大小（不同系统的页的大小是不一样的，一般都是512字节的整数倍）。说明在请求服务端资源时，服务端只读了资源地一部分，那么如何才能源源不断地读取整个资源呢？目前，没有找到解决方案。
 但是想到，用浏览器访问时，是可以访问到全部内容的。于是，我改成了org.apache.commons.httpclient.HttpClient，果然，获取到了全部内容。
 
HttpClient获取
 
	public static String doGet(String url) {
		String respstr = "";
		try {
			GetMethod getMethod = new GetMethod(url);
			HttpClient httpclient = new HttpClient();
			httpclient.executeMethod(getMethod );
			InputStream inputStream = getMethod.getResponseBodyAsStream();  
			BufferedReader br = new BufferedReader(new InputStreamReader(inputStream));  
			StringBuffer stringBuffer = new StringBuffer();  
			String str= "";  
			while((str = br.readLine()) != null){  
				stringBuffer .append(str );  
			}
			respstr=stringBuffer.toString();
		}catch (Exception e) {
			e.printStackTrace();
			throw new RuntimeException(e);
		}
		return respstr;
	}

博主用到是Apache下的HttpClient包，它是用来提供高效的，最新的，功能丰富的支持Http协议的客户端编程工具，并且它支持Http协议最新的版本和建议。相比于其他传统JDK自带的URLConnection,并增加了易用性和灵活性。其主要功能是用来向服务器发送请求，并返回相关资源。在Java网络爬虫实战中,经常使用HttpClient来获取网页内容，用jsoup来解析网页内容。
 
本文用HttpClient来演示简单获取酷狗音乐(https://www.kugou.com)内容：
 
首先导入依赖：
 
 
 
<dependency>
    <?用来模拟浏览器发送http请求的一个工具?>
    <groupId>org.apache.httpcomponents</groupId>
    <artifactId>httpclient</artifactId>
    <version>4.5.3</version>
</dependency>
 
 
具体代码如下：
 
 
 
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;
import org.junit.Test;

/**
 * @Author 海龟
 * @Date 2020/10/7 14:59
 * @Desc  演示使用HttpClient实现网络爬虫
 */
public class HttpClient {
    @Test
    public void testGet() throws Exception {
        //1.创建HttpClient对象
        CloseableHttpClient httpClient = HttpClients.createDefault();

        //2. 创建HttpGet请求，并进行相关设置
        HttpGet httpGet = new HttpGet("https://www.kugou.com/?username==java");
        httpGet.setHeader("User-Agent", "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Mobile Safari/537.36 Edg/85.0.564.68");

        //3.发起请求
        CloseableHttpResponse response = httpClient.execute(httpGet);

        //4.判断响应状态码并获取响应数据
        if (response.getStatusLine().getStatusCode() == 200) { //200表示响应成功
            String html = EntityUtils.toString(response.getEntity(), "UTF-8");
            System.out.println(html);
        }

        //5.关闭资源
        httpClient.close();
        response.close();

    }}
 
 
 
 
 
演示结果为：
 
 
快快去演示一下吧！！！

简单的请求，主要明白请求的原理
socket是网络通信的基石，最近发现tomcat底层也是使用socket来接受请求的，就试了一下自己用java请求一个网址看看是否可以获取到数据，结果成了....
至于什么是socket，什么是文件流这里就不赘述了
上代码
public static void main(String[] args) throws Exception {
		Socket s=new Socket(InetAddress.getByName("www.baidu.com"),80);
		//可以理解成request请求，想服务器发送数据
		OutputStream os=s.getOutputStream();
		OutputStreamWriter osw=new OutputStreamWriter(os);
		BufferedWriter bw=new BufferedWriter(osw);
		//编辑请求头，也就是请求参数，这是最基本的 正常请求会带好多参数
		bw.write("GET / HTTP/1.1\r\n");
		bw.write("Connection: Keep-Alive\r\n");
		bw.write("Host: www.baidu.com\r\n");
		bw.write("Connection: Keep-Alive\r\n\r\n");
		bw.flush();
		s.shutdownOutput();
		
		
		//这里当然是response响应了
		InputStream is=s.getInputStream();
		BufferedReader br=new BufferedReader(new InputStreamReader(is));
		String str=null;
		while((str=br.readLine())!=null){
			System.out.println(str);
		}
		
		s.close();
	}
 

 
 
如果有不成功的，但是控制台有响应的数据了，那就说明你成功一大半了....

在java中，一个url的简单小应用，就是通过url爬取网页的内容。
 
在这里会遇到一个小问题，如果是服务器端禁止抓取，会在控制台报 HTTP 403错误代码。例如CSDN博客网站
 
java.io.IOException: Server returned HTTP response code: 403 for URL:
 
 
 
 
解决方法：
 
可以通过设置User-Agent来欺骗服务器。
 
httpUrlConn.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");
 
全部代码如下：
 
package cn.edu.ldu.socket;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.MalformedURLException;
import java.net.URL;

public class Test {

    public static void main(String[] args) {      
        try {  
            //建立连接  
            URL url = new URL("http://blog.csdn.net/HLK_1135");  
            HttpURLConnection httpUrlConn = (HttpURLConnection) url.openConnection();  
            httpUrlConn.setDoInput(true);  
            httpUrlConn.setRequestMethod("GET");  
            httpUrlConn.setRequestProperty("User-Agent", "Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; DigExt)");
            //获取输入流  
            InputStream input = httpUrlConn.getInputStream();
            //将字节输入流转换为字符输入流
            InputStreamReader read = new InputStreamReader(input, "utf-8");
            //为字符输入流添加缓冲
            BufferedReader br = new BufferedReader(read);  
            // 读取返回结果  
            String data = br.readLine();
            while(data!=null)  {
                System.out.println(data);
                data=br.readLine();
            }  
            // 释放资源  
            br.close();  
            read.close();  
            input.close();  
            httpUrlConn.disconnect();  
        } catch (MalformedURLException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }  
}