利用wget 抓取 网站网页 包括css背景图片


wget是一款非常优秀的http/ftp下载工具，它功能强大，而且几乎所有的unix系统上都有。不过用它来dump比较现代的网站会有一个问题：不支持css文件，它不会自动下载、重新链接css中所指定的图片。这个问题导致的最常见的后果是dump下来的网站看不到背景图片。本文所介绍的这个脚本主要就是用来解决这个缺陷的。


这里简要介绍一下这个脚本的细节：


    第3行用于设置要下载的网站的地址。

    第10行用于将文件名转换为windows兼容的格式。windows对文件名格式的要求比unix更为苛刻一点，这里指定为windows也可以兼容unix系统。总的来说，wget的这个功能稍微弱了一点，面对一些更苛刻的系统就没有办法了。

    第13行用于忽略robots.txt。很多网站的css、js文件都是在robots.txt中被定义为spider不可访问的。

    第15、16行用于忽略某些目录和文件。因为没有了robots.txt的限制，wget可能会去访问一些不需要的东西。这里可以根据具体情况做限制。

    第19～24行下载css中链接的文件。

    第26～29行修正css中的链接。


以下是这个脚本的内容


    #!/bin/sh  

      

    ADDR="http://www.EXAMPLE.com/"  

      

    SERVER=${ADDR#http://}  

    SERVER=${SERVER%%/*}  

      

    wget /  

        --html-extension /  

        --restrict-file-names=windows /  

        --convert-links /  

        --page-requisites /  

        --execute robots=off /  

        --mirror /  

        --exclude-directories /comment/reply/,/aggregator/,/user/ /  

        --reject "aggregator*" /  

        "$ADDR"  

      

    find $SERVER -type f -name "*.css" -exec cat {} /; |  

    grep -o 'url(/[^)]*)' |  

    sort |   

    uniq |  

    sed 's/^url(/(.*/))$/http:'$SERVER'/1/' |  

    wget --mirror --page-requisites -i -  

      

    for i in `find $SERVER -type f -name "*.css"`; do  

        PREFIX="$(echo $i | sed 's/[^//]*//g; s///$//; s../g')"  

        sed -i 's/url(///url('$PREFIX'/g' $i  

    done  

转载于:https://www.cnblogs.com/yisuo/p/9246886.html

在浏览网页时我们通常会看到一些不错的背景图片，于是就想保存下来作为壁纸，但是有的网页不能将图片右键另存为，那我们该怎么办呢？



以Chrome为例，在页面空白的地方右键–>检查（即审查元素，Fn+f12），打开开发者工具，其他浏览器可能是通过 工具–>开发者工具  来打开此界面。


切换到network（网络）


刷新一下页面，点击img找到背景图片


点进去图片右键 Copy image URL粘贴到浏览器地址栏打开，并从此页面即可保存到本地





最后，提醒小伙伴们一句：尊重版权，请勿未经作者许可将图片用作商业用途哦~

python爬虫抓取必应背景图片
语言：python 3.0

之前每天都在火狐浏览器上查看背景图片存储必应背景图片，或者在谷歌浏览器上查看元素，这样总是觉得太麻烦，所以还是想着用python写一个脚本进行爬虫,废话少说，进入正题
-----------------------------------------------------我是分割线-------------------------------------------------------------------

首先查看源码，需要先找到背景图片的直链地址，很幸运的是图片的直链被放在了源码开始最为显眼对的地方



其中href的内容便是我们所需要的直链，点开便是我们想要的图片



所以最主要的目的是获得这个链接，自然，有点前端知识的都知道（当然我也只是略知一二），我们要获取这个对象，可以通过其独一无二的Id值来获取，而Id号是不会变化的，那便是 “bgLink”。
这个问题解决了，直接在python中采取相应的工具就好了。

-----------------------------------------------------我是分割线-------------------------------------------------------------------
-----------------------------------------------------我是分割线二号-------------------------------------------------------------------

我们采用requests与BeautifulSoup两个包(一般python不自带，需要自行安装）
第一步，先获取目标网页代码
 url='https://cn.bing.com/';
    
    demo=getHTMLText(url)``

这里的getHTMLText是对网页发出请求，并且在相应之后返回网页HTML代码的，具体代码如下：
def getHTMLText(url):
    '''
	此函数用于获取网页的html文档
	'''
    try:
        #获取服务器的响应内容，并设置最大请求时间为6秒
        res = requests.get(url, timeout = 6)
        #判断返回状态码是否为200
        res.raise_for_status()
        #设置该html文档可能的编码
        res.encoding = res.apparent_encoding
        #返回网页HTML代码
        return res.text
    except:
        return'产生异常'

第二步，解析获取的代码，定位Id为“bgLink”的对象，并且获取其href属性的值，取得直链
soup=BeautifulSoup(demo,'html.parser')
pic=url+soup.find(id='bgLink').get('href')

第三步，获取图片名字，以便重命名

图片名字在Id为“sh_cp”中，这是通过观察源码得到的，姓名属性为"title"

然后还需要把名字中的’/'替换，不然后面存储在本地的时候会出错
name=soup.find(id='sh_cp').get('title')
name=name.replace('/','_',5)

第四步，将图片储存在本地
name='D:/bingpicture/'+name+'.jpg'
    r=requests.get(pic)
    with open(name,'wb')as f:
        f.write(r.content)

大功告成，我们只需要运行脚本就能够直接下载好图片到本地啦

-----------------------------------------------------我是分割线二号-------------------------------------------------------------------
最后附上完整代码，请大家多多指教!  ^ v ^
import requests
from bs4 import BeautifulSoup



def getHTMLText(url):
    '''
	此函数用于获取网页的html文档
	'''
    try:
        #获取服务器的响应内容，并设置最大请求时间为6秒
        res = requests.get(url, timeout = 6)
        #判断返回状态码是否为200
        res.raise_for_status()
        #设置该html文档可能的编码
        res.encoding = res.apparent_encoding
        #返回网页HTML代码
        return res.text
    except:
        return'产生异常'

def main():
    '''
	主函数
	'''
    print("执行中....")
    #目标网页
    url='https://cn.bing.com/';
    
    demo=getHTMLText(url)

    #解析HTML代码
    soup=BeautifulSoup(demo,'html.parser')
	#得到图片网址
    pic=url+soup.find(id='bgLink').get('href')
	#获得图片名字
    name=soup.find(id='sh_cp').get('title')
    #将名字中的/替换
    name=name.replace('/','_',5)
	#储存在D:/bingpicture/下
    name='D:/bingpicture/'+name+'.jpg'
    r=requests.get(pic)
    with open(name,'wb')as f:
        f.write(r.content)

main()
	

利用java抓取网页上的所有图片：
用两个正则表达式：
1、匹配html中img标签的正则：<img.*src=(.*?)[^>]*?>
2、匹配img标签中得src中http路径的正则：http:\"?(.*?)(\"|>|\\s+)


实现：

package org.swinglife.main;

import java.io.File;
import java.io.FileOutputStream;
import java.io.InputStream;
import java.net.URL;
import java.net.URLConnection;
import java.util.ArrayList;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

/***
 * java抓取网络图片
 * @author swinglife
 *
 */
public class CatchImage {

	// 地址
	private static final String URL = "http://www.csdn.net";
	// 编码
	private static final String ECODING = "UTF-8";
	// 获取img标签正则
	private static final String IMGURL_REG = "<img.*src=(.*?)[^>]*?>";
	// 获取src路径的正则
	private static final String IMGSRC_REG = "http:\"?(.*?)(\"|>|\\s+)";

	
	public static void main(String[] args) throws Exception {
		CatchImage cm = new CatchImage();
		//获得html文本内容
		String HTML = cm.getHTML(URL);
		//获取图片标签
		List<String> imgUrl = cm.getImageUrl(HTML);
		//获取图片src地址
		List<String> imgSrc = cm.getImageSrc(imgUrl);
		//下载图片
		cm.Download(imgSrc);
	}
	
	
	/***
	 * 获取HTML内容
	 * 
	 * @param url
	 * @return
	 * @throws Exception
	 */
	private String getHTML(String url) throws Exception {
		URL uri = new URL(url);
		URLConnection connection = uri.openConnection();
		InputStream in = connection.getInputStream();
		byte[] buf = new byte[1024];
		int length = 0;
		StringBuffer sb = new StringBuffer();
		while ((length = in.read(buf, 0, buf.length)) > 0) {
			sb.append(new String(buf, ECODING));
		}
		in.close();
		return sb.toString();
	}

	/***
	 * 获取ImageUrl地址
	 * 
	 * @param HTML
	 * @return
	 */
	private List<String> getImageUrl(String HTML) {
		Matcher matcher = Pattern.compile(IMGURL_REG).matcher(HTML);
		List<String> listImgUrl = new ArrayList<String>();
		while (matcher.find()) {
			listImgUrl.add(matcher.group());
		}
		return listImgUrl;
	}

	/***
	 * 获取ImageSrc地址
	 * 
	 * @param listImageUrl
	 * @return
	 */
	private List<String> getImageSrc(List<String> listImageUrl) {
		List<String> listImgSrc = new ArrayList<String>();
		for (String image : listImageUrl) {
			Matcher matcher = Pattern.compile(IMGSRC_REG).matcher(image);
			while (matcher.find()) {
				listImgSrc.add(matcher.group().substring(0, matcher.group().length() - 1));
			}
		}
		return listImgSrc;
	}

	/***
	 * 下载图片
	 * 
	 * @param listImgSrc
	 */
	private void Download(List<String> listImgSrc) {
		try {
			for (String url : listImgSrc) {
				String imageName = url.substring(url.lastIndexOf("/") + 1, url.length());
				URL uri = new URL(url);
				InputStream in = uri.openStream();
				FileOutputStream fo = new FileOutputStream(new File(imageName));
				byte[] buf = new byte[1024];
				int length = 0;
				System.out.println("开始下载:" + url);
				while ((length = in.read(buf, 0, buf.length)) != -1) {
					fo.write(buf, 0, length);
				}
				in.close();
				fo.close();
				System.out.println(imageName + "下载完成");
			}
		} catch (Exception e) {
			System.out.println("下载失败");
		}
	}

	
}