代码：
import requests
url="网页url"
try:
    r=requests.get(url)
    r.raise_for_status()
    r.encoding=r.apparent_encoding
    print(r.text[:1000])
except:
    print("爬虫失败")



ymx网页爬取代码：
import requests
url="https://www.amazon.com/"
try:
    kv={'user-agent':'Mozilla/5.0'}
    r=requests.get(url,headers=kv)
    r.raise_for_status()
    r.encoding=r.apparent_encoding
    print(r.text[:1000])
except:
    print("爬虫失败")



bd搜索关键字：
import requests
keyword="北京"
try:
    kv={'wd':keyword}
    r=requests.get("http://www.baidu.com/s",params=kv)
    print(r.request.url)
    r.raise_for_status()
    print(len(r.text))
except:
    print("爬虫失败")



百度的关键词接口：
http://www.baidu.com/s?wd=keyword

360的关键词接口：
http://www.so.com/s?q=keyword

最近由于课题需要，用java写了一个简单的爬虫。期间使用HttpClient包实现了执行get请求功能，获取了网页返回的信息体。这部分代码是从网上找来的，对它进行一个简要总结，然后把代码贴在下面。 

使用HttpClient下载指定网页需要执行以下几个步骤：

创建HttpClient对象。
设置必需参数（超时时间）。
执行getMethod方法。
获取结构体内容进行保存。
public static String downloadFile(String fileName,String URL){
        // 下载url指向网页
        String filePath = null;
          /* 1.生成 HttpClient 对象并设置参数*/
        HttpClient httpClient = new HttpClient();
        //设置 Http 连接超时 5s
        httpClient.getHttpConnectionManager().getParams().
                setConnectionTimeout(5000);
          /*2.生成 GetMethod 对象并设置参数*/
        GetMethod getMethod=new GetMethod(URL);
        //设置 get 请求超时 5s
        getMethod.getParams().setParameter(HttpMethodParams.SO_TIMEOUT,5000);
        //设置请求重试处理
        getMethod.getParams().setParameter(HttpMethodParams.RETRY_HANDLER,
                new DefaultHttpMethodRetryHandler());

          /*3.执行 HTTP GET 请求*/
        try{
            int statusCode = httpClient.executeMethod(getMethod);
            //判断访问的状态码
            if (statusCode != HttpStatus.SC_OK)
            {
                System.err.println("Method failed: "+ getMethod.getStatusLine());
                filePath = null;
            }
              /*4.处理 HTTP 响应内容*/
            byte[] responseBody = getMethod.getResponseBody();//读取为字节数组
            //根据网页 url 生成保存时的文件名

            String localPath = System.getProperty("user.dir");
            filePath = localPath + "\\src\\peculiar\\temp\\"+fileName+".html";
            saveToLocal(responseBody,filePath);
        } catch (HttpException e) {
            // 发生致命的异常，可能是协议不对或者返回的内容有问题
            System.out.println("Please check your provided http address!");
            e.printStackTrace();
        } catch (IOException e) {
            // 发生网络异常
            e.printStackTrace();
        } finally {
            // 释放连接
            getMethod.releaseConnection();
        }
        return filePath;
    }

感谢提供资源的朋友们。

Goals:
有效处理和避免访问和爬取网页过程中可能出现的错误


Details：
import requests
def getHTMLText(url)
	try:
		r = requests.get(url,timeout=30)
		r.raise_for_status()  #如果状态码不是200，将引发HTTPError异常
		r.encoding = r.apparent_encoding
		return r.text
	expect:
		return "产生异常"
if _name_ =="_main_"
	url = "http://www.baidu.com"
	print(getHTMLText(url))
*说明：这样的网页爬取的通用代码可以提高访问和爬取的效率

More：

Requests库的异常类型
requests.ConnectionError
网络连接错误异常，如DNS查询失败等
requests.HTTPError
HTTP错误异常
requests.URLRequired
URL缺失异常
requests.TooManyRedirects
超过最大重定向次数，重定向异常
requests.ConnectionTimeout
连接远程服务器超时异常
requests.Timeout
请求URL超时，产生超时错误
Response类关于异常的方法
r.raise_for_status
判断状态码，如果状态码不是200，就会产生requests.HTTPError异常

前言
同样的，我们在写一个爬虫前要明确自己想要爬取的东西是什么，明确下载目标数据在浏览器的操作如何
对于动态网页的爬取，在网页地址不变的情况下，我们首先要明确如何获取AJAX请求
首先我们看看这个网站pexel
打开页面后再Chrome浏览器中选择“更多工具”→“开发者工具”→“Network”→XHR
1、看到Name那一栏中，找到每一次鼠标下滑浏览器发出的请求，任意点开一个请求；
2、在右侧的Headers下拉
3、找到Query String Parameter这一栏，记住这里的数据
等下用于构造请求
接下来，在脑海里明确一下下载图片的步骤
我们首先点开一张图（要获得这个图的地址）→选择下载图片→获得一个.jpeg结尾或者.png结尾的网页，最后保存图片
查看网页源代码可以发现在每一次动态生成的页面中我们就可以直接获取图的下载地址
找到它，发现前缀是"https://images.pexels.com/photos/"+jpeg或者png
这时候我们可以考虑到，首先我们先获得页面的代码
然后通过正则表达式去搜索符合条件的图片
但是后面可能会有重复的地方，在获取的list中最后再用set筛选一下即可。
明确上述思路后，接下来我们开始构建爬虫
①初始化Headers☆
这一步非常重要，不构造headers会被禁止访问= =
headers初始化代码如下，用于将爬虫伪装成浏览器请求，而请求用于出发特定的AJAX内容
②构造动态AJAX请求
根据上述截图中保存的Query String Parameter参数，我们构造request请求的时候捎上Params内容
把获取的下载图片的link保存到一个list中
③元素的筛选
一开始调试程序的时候发现获取的link中还有以png形式结尾的link，这里需要再对list进行二次筛选，保留可以下载图片的link
最后还别忘了使用set把list中重复的元素删去哦
④最后对于保存了每一张图片的下载地址的list使用urllib.request.urlretrieve把图片保存到指定路径就可以啦
*pexel一开始还对每个图片的下载地址整了反爬虫机制，所以下载也要再构造一次headers模拟浏览器^_^
这一步可以单独写成一个函数，不过我贪方便就没这么写
最后贴两张运行结果图
控制台的输出：
下载到本地的壁纸
完整代码如下：
①为了调试程序中间加了一些输出语句
②如果要粘去直接用，记得通过打开页面查看query string parameter修改23行代码的seed内容！不然可能会爬不到东西