所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 
 类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端， 然后读取服务器端的响应资源。
 

 
 
2.x版本的python可以直接使用import urllib来进行操作，但是3.x版本的python使用的是import urllib.request来进行操作，下面是简单的例子：
 
 
# get code of given URL as html text string
 # Python3 uses urllib.request.urlopen()
 # instead of Python2's urllib.urlopen() or urllib2.urlopen()
 
import urllib.request
 
fp = urllib.request.urlopen("http://www.python.org")
 
mybytes = fp.read()
 # note that Python3 does not read the html code as string
 # but as html code bytearray, convert to string with
 mystr = mybytes.decode("utf8")
 
fp.close()
 
print(mystr)
 

 
或者
 

 
 
import urllib.request
 
resp=urllib.request.urlopen("http://www.baidu.com")
 
 
html = resp.read()  
 
 
print(html)
 
 
我们可以打开百度主页，右击，选择查看源代码（火狐OR谷歌浏览器均可），会发现也是完全一样的内容。
 
也就是说，上面这四行代码将我们访问百度时浏览器收到的代码们全部打印了出来。
 
这就是一个最简单的urllib的例子。
 

 
 
除了"http:"，URL同样可以使用"ftp:"，"file:"等等来替代。
 
HTTP是基于请求和应答机制的：
 
客户端提出请求，服务端提供应答。
 

 
 
urllib用一个Request对象来映射你提出的HTTP请求。
 
在它最简单的使用形式中你将用你要请求的地址创建一个Request对象，
 
通过调用urlopen并传入Request对象，将返回一个相关请求response对象，
 
这个应答对象如同一个文件对象，所以你可以在Response中调用.read()。
 
 
 
在HTTP请求时，允许你做额外的两件事。
 
1.发送data表单数据
 
这个内容相信做过Web端的都不会陌生，
 
有时候你希望发送一些数据到URL(通常URL与CGI[通用网关接口]脚本，或其他WEB应用程序挂接)。
 
在HTTP中,这个经常使用熟知的POST请求发送。
 
这个通常在你提交一个HTML表单时由你的浏览器来做。
 
并不是所有的POSTs都来源于表单，你能够使用POST提交任意的数据到你自己的程序。
 
一般的HTML表单，data需要编码成标准形式。然后做为data参数传到Request对象。
 
编码工作使用urllib的函数而非urllib。

 

 

 
 

 
 

版本号：Python2.7.5，Python3改动较大，各位另寻教程。

所谓网页抓取，就是把URL地址中指定的网络资源从网络流中读取出来，保存到本地。 
类似于使用程序模拟IE浏览器的功能，把URL作为HTTP请求的内容发送到服务器端， 然后读取服务器端的响应资源。

在Python中，我们使用urllib2这个组件来抓取网页。
urllib2是Python的一个获取URLs(Uniform Resource Locators)的组件。
它以urlopen函数的形式提供了一个非常简单的接口。

最简单的urllib2的应用代码只需要四行。
我们新建一个文件urllib2_test01.py来感受一下urllib2的作用：

import urllib2
response = urllib2.urlopen('http://www.baidu.com/')
html = response.read()
print html



按下F5可以看到运行的结果：



我们可以打开百度主页，右击，选择查看源代码（火狐OR谷歌浏览器均可），会发现也是完全一样的内容。
也就是说，上面这四行代码将我们访问百度时浏览器收到的代码们全部打印了出来。
这就是一个最简单的urllib2的例子。


除了"http:"，URL同样可以使用"ftp:"，"file:"等等来替代。
HTTP是基于请求和应答机制的：
客户端提出请求，服务端提供应答。


urllib2用一个Request对象来映射你提出的HTTP请求。
在它最简单的使用形式中你将用你要请求的地址创建一个Request对象，
通过调用urlopen并传入Request对象，将返回一个相关请求response对象，
这个应答对象如同一个文件对象，所以你可以在Response中调用.read()。

我们新建一个文件urllib2_test02.py来感受一下：


import urllib2  
req = urllib2.Request('http://www.baidu.com')  
response = urllib2.urlopen(req)  
the_page = response.read()  
print the_page


可以看到输出的内容和test01是一样的。

urllib2使用相同的接口处理所有的URL头。例如你可以像下面那样创建一个ftp请求。

req = urllib2.Request('ftp://example.com/')

在HTTP请求时，允许你做额外的两件事。

1.发送data表单数据
这个内容相信做过Web端的都不会陌生，
有时候你希望发送一些数据到URL(通常URL与CGI[通用网关接口]脚本，或其他WEB应用程序挂接)。
在HTTP中,这个经常使用熟知的POST请求发送。
这个通常在你提交一个HTML表单时由你的浏览器来做。
并不是所有的POSTs都来源于表单，你能够使用POST提交任意的数据到你自己的程序。
一般的HTML表单，data需要编码成标准形式。然后做为data参数传到Request对象。
编码工作使用urllib的函数而非urllib2。

我们新建一个文件urllib2_test03.py来感受一下：

import urllib  
import urllib2  

url = 'http://www.someserver.com/register.cgi'  
  
values = {'name' : 'WHY',  
          'location' : 'SDU',  
          'language' : 'Python' }  

data = urllib.urlencode(values) # 编码工作
req = urllib2.Request(url, data)  # 发送请求同时传data表单
response = urllib2.urlopen(req)  #接受反馈的信息
the_page = response.read()  #读取反馈的内容


如果没有传送data参数，urllib2使用GET方式的请求。
GET和POST请求的不同之处是POST请求通常有"副作用"，
它们会由于某种途径改变系统状态(例如提交成堆垃圾到你的门口)。
Data同样可以通过在Get请求的URL本身上面编码来传送。

import urllib2  
import urllib

data = {}

data['name'] = 'WHY'  
data['location'] = 'SDU'  
data['language'] = 'Python'

url_values = urllib.urlencode(data)  
print url_values

name=Somebody+Here&language=Python&location=Northampton  
url = 'http://www.example.com/example.cgi'  
full_url = url + '?' + url_values

data = urllib2.open(full_url)  



这样就实现了Data数据的Get传送。



2.设置Headers到http请求
有一些站点不喜欢被程序（非人为访问）访问，或者发送不同版本的内容到不同的浏览器。
默认的urllib2把自己作为“Python-urllib/x.y”(x和y是Python主版本和次版本号,例如Python-urllib/2.7)，

这个身份可能会让站点迷惑，或者干脆不工作。
浏览器确认自己身份是通过User-Agent头，当你创建了一个请求对象，你可以给他一个包含头数据的字典。
下面的例子发送跟上面一样的内容，但把自身模拟成Internet Explorer。
（多谢大家的提醒，现在这个Demo已经不可用了，不过原理还是那样的）。


import urllib  
import urllib2  

url = 'http://www.someserver.com/cgi-bin/register.cgi'

user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'  
values = {'name' : 'WHY',  
          'location' : 'SDU',  
          'language' : 'Python' }  

headers = { 'User-Agent' : user_agent }  
data = urllib.urlencode(values)  
req = urllib2.Request(url, data, headers)  
response = urllib2.urlopen(req)  
the_page = response.read() 

 抓取了不同网站的图片，其中一个可以显示，另一个提示格式不对，在浏览器里对比了两个图片的响应头，不同之处是一个经过了压缩
 
 
在Response里对其进行设置
 
response.setHeader("Content-Encoding","gzip");
 
完整代码
 
protected void doGet(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException {
	        String USER_AGENT = "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)";
            //图片的url
	        String strUrl = request.getParameter("url");
	  
	        ServletOutputStream out = null;
	        try {    
	            URL url = new URL(strUrl);
	            HttpURLConnection conn = (HttpURLConnection)url.openConnection();
	            conn.setRequestProperty("User-Agent", USER_AGENT);
	            conn.setRequestMethod("GET");
	            conn.setConnectTimeout(5 * 1000);
	           
	            InputStream inStream = conn.getInputStream();
	            String contentType = conn.getHeaderField("Content-Type");
                    //设置返回的图片格式
	            if(null != contentType){
	                response.setContentType(contentType);
	                System.out.println("Content-Type:  "+contentType);
	            }
                    //设置返回的编码格式
	            String contentEncoding = conn.getHeaderField("Content-Encoding");
	            if(null != contentEncoding){
	                response.setHeader("Content-Encoding",contentEncoding);
	                System.out.println("Content-Encoding:  "+contentEncoding);
	            }
	            out = response.getOutputStream();
	            int len = 0;
	            byte[] byteImg = new byte[2048];
	            while((len = inStream.read(byteImg)) != -1){
	                out.write(byteImg,0, len);
	            }
	            
	            out.flush();
	        } catch (Exception e) {
	        }finally{
	            try {
	                if(null != out)
	                out.close();
	            } catch (IOException e) {
	            }
	        }
		
		
}
 
 
 
 

package com.jxre.bigdata.service.imports;  
 import java.io.BufferedReader;
 import java.io.BufferedWriter;
 import java.io.File;
 import java.io.FileWriter;
 import java.io.IOException;
  
 import org.jsoup.Jsoup;
 import org.jsoup.nodes.Document;
 import org.jsoup.nodes.Element;
 import org.jsoup.select.Elements;
  
 public class Test {
     public static void main(String[] args) throws Exception {
         getURL();
     }
      
     public static void getURL() throws Exception {
          
         File file = new File("D:/a.txt");
          
         BufferedWriter bw = new BufferedWriter(new FileWriter(file));
          
         String flag ="";
         Document doc = null;
         for(int i = 1; i<207; i++){
              
             System.out.println("准备抓取第" + i+ "页");
             String url = "https://www.mzitu.com/page/"+i+"/";
             try {
                  
                 doc = Jsoup.connect(url).get();
                 Elements lis = doc.select("#pins").select("li");
                 for(Element li :lis){
                     flag = li.select("a").get(0).attr("href");
                     bw.write(flag + "\r\n");
                     bw.flush();
                 }
                 bw.flush();
                 System.out.println("图集地址抓取完毕");
             } catch (IOException e) {
                 System.out.println("读取失败或写入失败");
                 e.printStackTrace();
             }
         }
     }
 }