精华内容
下载资源
问答
  • Python爬取网络图片保存到本地文件夹主要内容第一步 引入库文件第二步 获取网页文档第三步 获取图片地址第四步 通过地址保存图片在main方法执行以上方法执行main()方法爬取结果 主要内容 经过上一次的爬虫实例,我...

    主要内容

    经过上一次的爬虫实例,我已经认识到了网络爬虫的基本步骤,这一次再次做了一套练习,爬取网页图片并且保存到本地。其基本步骤就是获取网页文档,查找目标img标签,再获取img标签的src值然后对图片进行保存~~,上次分析了怎么获取标签,这次就不再重复了。

    第一步 引入库文件

    import requests
    import bs4
    from bs4 import BeautifulSoup
    import os
    

    第二步 获取网页文档

    def getHtml(url):
        try:
            r = requests.get(url)
            r.raise_for_status()
            r.encoding=r.apparent_encoding
            return r.text
        except:
            print("连接出错了~~")
    

    第三步 获取图片地址

    循环图片的容器,将src值提取出来保存在列表里面。

    def getImg(text):
        urlList = []
        soup = BeautifulSoup(text,"html.parser")
        tag = soup.find("ul",class_="ali")
        for item in tag.children:
            if isinstance(item, bs4.element.Tag):
                img = item.find("img")
                src = img.get('src')
                print("获取到图片地址:"+src)
                urlList.append(src)
        return urlList
    

    第四步 通过地址保存图片

    为了更加直观看到图片被保存,将网络图片的图片名作为我们保存的图片命名,因为获取的src值链接没有“http:”这里把它拼接上,不然要报错呀~~

    def getImgFile(root,text):
        for url in getImg(text):
            picName = url.split('/')[-1]
            path = root + picName
            try:
                if not os.path.exists(root):
                    os.mkdir(root)
                if not os.path.exists(path):
                    r = requests.get("http:" + url)
                    with open(path, "wb") as f:
                        f.write(r.content)
                        f.close()
                        print(picName + "已经保存成功!")
                else:
                    print(picName + "已存在!")
            except:
                print("爬取失败!")
    

    第五步 在main方法执行以上方法

    def main():
        text = getHtml("https://www.ivsky.com/tupian/ziranfengguang/")
        root = "D://picture//"
        getImgFile(root,text)
    

    第六步 执行main()方法

    main()
    

    在这里插入图片描述
    在这里插入图片描述

    爬取结果

    以下就是爬取结果了~~噢咦,感兴趣的快体验一把吧!!!
    在这里插入图片描述

    展开全文
  • python爬取的图片保存到本地 # -*- coding: utf-8 -*- import urllib import requests import os import codecs url = 'http://724.169pp.net/bizhi/2017/039/1.jpg' bytes = urllib.request.urlopen(url) f = ...

    python爬取的图片保存到本地

    # -*- coding: utf-8 -*-
    import urllib
    import requests
    import os
    import codecs
    url = 'http://724.169pp.net/bizhi/2017/039/1.jpg'
    bytes = urllib.request.urlopen(url)
    f = codecs.open(r'C:\\Users\\ME\\Desktop\\Python project\\pachong\\scrapy\\secondDemo\\photo\\' + '1.jpg', 'wb') # 代开一个文件,准备以二进制写入文件
    f.write(bytes.read())  # write并不是直接将数据写入文件,而是先写入内存中特定的缓冲区
    f.flush() # 将缓冲区的数据立即写入缓冲区,并清空缓冲区
    f.close() # 关闭文件
    
    展开全文
  • python爬虫爬取图片保存到本地文件

    千次阅读 2019-02-16 20:46:00
    今天搜索电脑壁纸突发奇想就把所有壁纸怕取下来了 百度 壁纸 随便挑了一个点进去是zol电脑壁纸ZOL桌面壁纸 现在开始爬取 import requests ...def baocun(url):#此方法是将图片保存文件到本地 只需要传入图片...

    今天搜索电脑壁纸突发奇想就把所有壁纸怕取下来了

    百度 壁纸 随便挑了一个点进去是zol电脑壁纸ZOL桌面壁纸

    现在开始爬取

    import requests
    from lxml import etree
    import time
    import os
    #url = 'http://desk.zol.com.cn/nb/'
    def baocun(url):#此方法是将图片保存文件到本地 只需要传入图片地址
    	root = "E://python//"#这是根文件所在
    	path=root+url.split('/')[-1]#通过’/‘把图片的url分开找到最后的那个就是带.jpg的保存起来
    
    	if not os.path.exists(root):
    		os.mkdir(root)
    	if not os.path.exists(path):
    		r = requests.get(url)
    		r.raise_for_status()
    		with open(path,'wb') as f:#模式以二进制格式打开一个文件只用于写入。如果该文件已存在则打开文件,并从开头开始编辑,即原有内容会被删除。如果该文件不存在,创建新文件。一般用于非文本文件如图片等
    			f.write(r.content)#r.content返回二进制,像图片
    			print('爬取成功')
    def getHTML(url):#解析网页 并且解析出来图片地址
    	response = requests.get(url)
    	response.encoding='gbk'#先前解析出来的是乱码 看网页得知编码方式是gbk
    	html = etree.HTML(response.text)#etree.HTML()#是一个方法用来解析html网页的
    	imgurl=html.xpath('//div[@class="wrapper top-main clearfix"]/div[1]/ul[1]/li/a/img/@src')#通过f12开发者工具查看网页代码得知图片地址具体所在
    	count=1
    	for index,i in enumerate(imgurl):
    		# print("这是第"+str(count)+"数据")
    		print(i)
    		baocun(i)
    		count=count+1
    indexa=1
    for i in range(1,100):#做到翻页,先观察这个网址的每一页的规律再进行翻页,因为每一个的网页的xpath都是固定的只需要顺序请求每一页再然后每一页再进行解析就能把全部的图片下载下来
    	url='http://desk.zol.com.cn/nb/%d.html'%i#占位符
    	print('这是第'+str(indexa)+"页数据")
    	indexa=indexa+1
    	getHTML(url)
    	time.sleep(2)#设置请求一页休眠2秒 避免被拦截
    
    • 这是全部代码我花了很长的时间是因为当我使用xpath解析网页的时候一步一步来的把每一个的div的class以及ul跟li的class都写出来可是就是返回的空。最后我在根的div元素开始使用div[index]这样的方式最终获取了图片路径,这里提醒大家如果xpath很仔细还不对可能是网页设计的坑,有一次爬取51job的时候又一个类是后面加了一个空格,不很仔细看看不出来,复制也复制不出来这个空格。最后直接copy的xpath。径才可以。有时候一种方式解析不出换一种方式可能就行了。要仔细。
    展开全文
  • python把爬取图片保存到本地

    千次阅读 2018-05-12 11:18:35
    图片保存到本地的第一种方法 :thisimgurl = "http:"+thisimg # 为网址添加上http协议 thisimgurl = thisimgurl.replace("\\","") 把转义字符替换 # print(thisimgurl) # 每一张...

    把图片保存到本地的第一种方法 :

    thisimgurl = "http:"+thisimg    # 为网址添加上http协议
    thisimgurl = thisimgurl.replace("\\","")    把转义字符替换
    # print(thisimgurl)   # 每一张图片的url
    # 将图片下载到本地 用urlretrieve()把图片保存到本地
    imgpath = r"C:\Users\Administrator\Desktop\myproject\img"+str(i)+str(j)+".jpg"
    request.urlretrieve(thisimgurl,imgpath)


    将图片保存到本地的第二种方法 :

    from urllib import request
    
    # 伪装浏览器标识
    
    headers03 =  {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299"}
    
    request03 = request.Request(thisimgurl,None,headers03)
    # 自定义urlopen
    
    response = request.urlopen(request03)
    
    # 定义图片保存路径
    
    path = r"C:\Users\Administrator\Desktop\xxoo\image\img.jpg"
    
    # 把文件写进本地文件中
    
    with open (path,"wb") as f :
    
        f.write(response.read())   # 以二进制的方法写进本地文件中

    展开全文
  • Python的抓取图片保存到本地 import urllib.request #打开和读取url的模块 import re #python匹配的模块 import os #python与操作系统交互的模块(创建文件夹等) def gethtml(url): page = urllib.request....
  • Python #coding:utf-8 from hashlib import md5 import requests,<span class="wp_keywordlink_affiliate"><a href="https://www...
  • Python——保存图片到本地

    万次阅读 2019-03-11 16:01:29
    举个例子,比如我想保存github网,浏览器头有个图标. resp = requests.get("https://github.com/favicon.ico") with open("C:\\Python37\\911.jpg",'wb')as jpg: jpg.write(r.content)
  • python pyqtgraph 保存图片到本地

    千次阅读 2018-07-24 15:41:00
    pyqtgraph官方给的示例居然会报错2333 官方文档传送门:#####pyqtgraph export ...保存为png会闪退不知道是我这里的原因还是这里有bug,我希望直接生成图片(Exporting from the API) 先查看本地site-packa...
  • python爬虫 解析图片保存到本地

    千次阅读 2018-06-22 17:32:36
    以 wb 方式保存就ok了 def picture(): pic_url_list = connetion_mysql_1() print(pic_url_list) header = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apn...
  • 下载图片python代码 import requests res = requests.get('https://res.pandateacher.com/2018-12-18-10-43-07.png') #发出请求,并把返回的结果放在变量res中 pic=res.content #把Reponse对象的内容以二进制数据的...
  • python 图片抓取 并保存到本地

    千次阅读 2019-04-26 16:19:08
    首先安装包: ...pip install ...# 图片处理的库 pip install pillow pip install requests import requests from bs4 import BeautifulSoup from PIL import Image import os from io import BytesIO ...
  • Python 爬虫抓取美女图片保存到本地

    千次阅读 2017-01-18 14:46:32
    Wanning 我们不是生产者,我们只是搬运工 资源来至于qiubaichengren .../usr/bin/env python # -*- coding: utf-8 -*-import os import urllib import urllib.request import re from urllib.error import
  • python爬虫,爬取百度图片 1、首先安装requests库 然后,上代码 import requests import re num = 0 numPicture = 0 file = '' List = [] def dowmloadPicture(html, keyword): global num # t =0 pic_url = re...
  • 其实和爬取普通数据本质一样,不过我们直接爬取数据会直接返回,爬取图片需要处理成二进制数据保存图片格式(.jpg,.png等)的数据文本。 现在贴一个url=...
  • python requests库下载图片保存到本地

    万次阅读 2018-09-18 09:51:36
    图片下载 @:param url_info ('http://img.xixik.net/custom/section/country-flag/xixik-cdaca66ba3839767.png','北马里亚纳群岛) ''' def download_img(url_info): if url_info[1]: print("-...
  • python解析网页内容,将抓取图片保存到本机。
  • python爬取图片保存到本地

    万次阅读 2018-12-18 14:27:19
    Python爬取图片(你懂得) requests与Bs4 这两个模块是本文使用的主要模块,requests可以获取连接,bs4全名BeautifulSoup,是编写python爬虫常用库之一,主要用来解析html标签。这两个模块可以通过cmd终端下载 pip ...
  • python 保存网页图片到本地

    千次阅读 2014-12-23 10:24:44
    /usr/bin/env Python #coding=utf-8 import time import datetime import sys import random import math import uuid import cookielib import urllib2 import os class GetImage(): reload(sy
  • 本项目主要用到的库 requests BeautifulSoup ... 学习图片自动保存到本地的方法 #!/usr/bin/env python # -*- coding:utf-8 -*- import requests from bs4 import BeautifulSoup import tim...
  • 资源来至于qiubaichengren ,代码基于Python 3.5.2 友情提醒:血气方刚的骚年。请谨慎 阅图 !!! 谨慎 阅图 !!! 谨慎 阅图 !!!code:#!/usr/bin/env python # -*- coding: utf-8 -*-import os import ...
  • 可对一些常见的图片网站进行爬取,对于不同的网站,只需要稍修改parse_html函数中的patern的正则表达式即可。 (该代码参考了网上一些大佬的代码,在此表示感谢,非商用,...dir = './yazi' #图片保存地址 def g...
  • import requests from io import BytesIO ...r = requests.get('https://2.python-requests.org//zh_CN/latest/_static/requests-sidebar.png') f = BytesIO(r.content) #BytesIO,它是用来操作二进制...
  • python爬取图片 先上代码: from urllib.request import Request, urlopen, urlretrieve from fake_useragent import UserAgent import time import re def get_html(rul): # 设置请求头 headers = { 'User-...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 40,991
精华内容 16,396
关键字:

python图片保存到本地

python 订阅