精华内容
下载资源
问答
  • 本文实例讲述了php获取远程图片并下载保存本地的方法。分享给大家供大家参考,具体如下: 远程图片指的是远端服务器上的数据我们可以通过php的许多函数来读取下载了,这里整理了两个可以自动下载远程图片并下载...
  • 本篇文章给大家介绍python抓取网页中图片并保存本地,对python抓取网页图片相关知识感兴趣的朋友一起学习吧
  • 基于java实现的爬虫图片,是我学习java来练练手的,java基础入门的学生可以考虑参考一下
  • 其实关于scrapy的很多用法都没有使用过,需要多多巩固和学习 1.首先新建scrapy项目 scrapy startproject 项目名称 然后进入创建好的项目文件夹中创建爬虫 (这里我用的是CrawlSpider) scrapy genspider -t crawl 爬虫...
  • 从指定的一个网络地址上,下载图片,保存本地的某个文件夹下,新手入门,多多指教...
  • 一:使用Python中的urllib类中的urlretrieve()函数,直接从网上下载资源到本地,具体代码:import os,statimport urllib.requestimg_url="https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000...

    一:使用Python中的urllib类中的urlretrieve()函数,直接从网上下载资源到本地,具体代码:

    import os,stat

    import urllib.request

    img_url="https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1516371301&di=d99af0828bb301fea27c2149a7070" \

    "d44&imgtype=jpg&er=1&src=http%3A%2F%2Fupload.qianhuaweb.com%2F2017%2F0718%2F1500369506683.jpg"

    file_path='D:/book/img'

    file_name ="pyt"

    try:

    #是否有这个路径

    if not os.path.exists(file_path):

    #创建路径

    os.makedirs(file_path)

    #获得图片后缀

    file_suffix = os.path.splitext(img_url)[1]

    print(file_suffix)

    #拼接图片名(包含路径)

    filename = '{}{}{}{}'.format(file_path,os.sep,file_name,file_suffix)

    print(filename)

    #下载图片,并保存到文件夹中

    urllib.request.urlretrieve(img_url,filename=filename)

    except IOError as e:

    print("IOError")

    except Exception as e:

    print("Exception")

    二:利用读写操作写入文件,具体代码:

    import os,stat

    import urllib.request

    for i in range(1,3):

    if not os.path.exists("./rym"):

    print("不纯在")

    os.makedirs("./rym")

    else:

    print("存在")

    os.chmod("D:/imagss",777)

    with urllib.request.urlopen("https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1516371301&di=d99af0828b"

    "b301fea27c2149a7070d44&imgtype=jpg&er=1&src=http%3A%2F%2Fupload.qianhuaweb.com%2F2017%2F0718%"

    "2F1500369506683.jpg", timeout=30) as response, open("./rym/lyj.png"

    , 'wb') as f_save:

    f_save.write(response.read())

    f_save.flush()

    f_save.close()

    print("成功")

    以上所述是小编给大家介绍的Python下载图片并保存本地的两种方式详解整合,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!

    展开全文
  • 爬取网站图片并保存本地 第一步:模拟浏览器发出请求,获取网页数据 import requests # 目标网站 url = 'https://baijiahao.baidu.com/s?id=1687278509395553439&wfr=spider&for=pc' # 头部伪装 ...

    第一步:模拟浏览器发出请求,获取网页数据

    import requests
    
    # 目标网站
    url = 'https://baijiahao.baidu.com/s?id=1687278509395553439&wfr=spider&for=pc'
    # 头部伪装
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:84.0) Gecko/ Firefox/84.0'}
    # 发出请求
    f = requests.get(url, headers=headers)      # 从网页获取html内容
    print(f.text)       # 打印网页返回数据
    print(f)
    

    运行结果:

            根据print(f)中的返回值来判定是否爬取成功,为200时表示网页有相应,爬取成功,为403或者其他则表示不成功,可能时网站具有反爬机制。

    第二步:拿到网页数据进行解析

    html = f.text
    title = re.findall('<title>(.*?)</title>', html)[0]  # 文章标题
    urls = re.findall('<img class="large" data-loadfunc=0 src="(.*?)" data-loaded=0 />', html)  # 图片网址
    print(title)
    print(urls)

    运行效果:

            在这里使用的是正则表达式,首先需要先找到图片的网址,检索网页(在网页源代码中进行找正则表达式),然后进行匹配找到相应的区域段,而后将需要的部分改成(.*?),不需要的部分改成 .? 不加括号。如程序中的re.findall()中所示。
            如果在print(urls)时,出现的结果为 [] ,则表示未能匹配到内容,一般而言是正则出现了问题。

    第三步:保存图片

    在当前目录下创建文件夹,使用 os.mkdir() 函数

    dir_name = './download/images'
    if not os.path.exists(dir_name):     # 创建文件夹
        os.mkdir(dir_name)

    保存图片:

    for ur in urls:
        time.sleep(1)
        img_content = requests.get(ur, headers=headers)
        with open(dir_name + '/%s.png' % title, 'wb') as f:
            f.write(img_content.content)

    运行效果:

            建议加上time.sleep()函数,如果访问过于频繁可能会被识别出。此处使用 ‘wb ’的二进制形式写入。

    全部代码:

    import requests
    import re
    import time
    import os
    
    # 目标网站
    url = 'https://baijiahao.baidu.com/s?id=1687278509395553439&wfr=spider&for=pc'
    # 头部伪装
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:84.0) Gecko/ Firefox/84.0'}
    # 发出请求
    f = requests.get(url, headers=headers)      # 从网页获取html内容
    # print(f.text)       # 打印网页返回数据
    print(f)
    html = f.text
    title = re.findall('<title>(.*?)</title>', html)[0]  # 文章标题
    urls = re.findall('<img class="large" data-loadfunc=0 src="(.*?)" data-loaded=0 />', html)  # 图片网址
    print(title)
    print(urls)
    dir_name = './download/images'
    if not os.path.exists(dir_name):     # 创建文件夹
        os.mkdir(dir_name)
    
    for ur in urls:
        time.sleep(1)
        img_content = requests.get(ur, headers=headers)
        with open(dir_name + '/%s.png' % title, 'wb') as f:
            f.write(img_content.content)
    
    
    展开全文
  • uniapp官网给的uni.saveImageToPhotosAlbum(OBJECT)这个方法是不支持网络图片,有些时候后端返回给前端的图片是网络图片这时候就要用到uni.downloadFile(OBJECT) let that = this; uni.downloadFile({ url: that....

    uniapp官网给的uni.saveImageToPhotosAlbum(OBJECT)这个方法是不支持网络图片,有些时候后端返回给前端的图片是网络图片这时候就要用到uni.downloadFile(OBJECT)

    let that = this;
    uni.downloadFile({
    		url: that.qrcode,
    		success: (res) => {
    			console.log(res)
    			if (res.statusCode === 200) {
    				uni.saveImageToPhotosAlbum({
    					filePath: res.tempFilePath,
    					success: function() {
    						uni.showToast({
    							title: "保存成功",
    							icon: "none"
    						});
    					},
    					fail: function() {
    						uni.showToast({
    							title: "保存失败,请稍后重试",
    							icon: "none"
    						});
    					}
    				});
    			}
    		}
    	})
    

    在这里插入图片描述

    展开全文
  • python爬取网页图片并下载保存本地

    千次阅读 2019-06-04 16:01:51
    python爬取网页图片并下载保存本地 以http://www.baidu.com为例 新建项目,路径如下 start.py #!/usr/bin/env python # -*- coding:utf-8 -*- import modules.my_request import modules.is_file_exist ...

    python爬取网页图片并下载保存本地
    以http://www.baidu.com为例
    新建项目,路径如下
    在这里插入图片描述
    start.py

    #!/usr/bin/env python
    # -*- coding:utf-8 -*-
    
    import modules.my_request
    import modules.is_file_exist
    import modules.get_picture
    import conf.settings
    
    modules.is_file_exist.is_file_exist(conf.settings.my_file)
    
    modules.my_request.my_request_content('http://www.baidu.com')
    
    modules.my_request.my_request_result('http://www.baidu.com')
    
    # modules.get_picture.read_all()
    
    modules.get_picture.read_pictures()
    
    modules.get_picture.download_pictures()
    
    

    settings.py

    #!/usr/bin/env python
    # -*- coding:utf-8 -*-
    
    import os
    import sys
    import platform
    
    if platform.system() == "Windows":
        #windows操作系统,数据库路径
        BASE_DIR = "\\".join(os.path.abspath(os.path.dirname(__file__)).split("\\")[:-1])
        #join 可以将元组、字符串、列表中的元素以指定的字符(分隔符)连接生成一个新的字符串
        #os.path.abspath
        database_path = os.path.join(BASE_DIR,"database")#数据库路径
        print('BASE_DIR'+BASE_DIR)
    
    else:
        BASE_DIR = "/".join(os.path.abspath(os.path.dirname(__file__)).split("/")[:-1])
        database_path = os.path.join(BASE_DIR, "database")
    
    '''http调用结果存储路径'''
    my_file = os.path.join(database_path, "http.txt")#会从第一个以”/”开头的参数开始拼接,之前的参数全部丢弃
    # print(my_file)
    
    '''数据裁剪后的图片链接存储文档路径'''
    my_picfile = os.path.join(database_path, "my_picfile.txt")
    # print(my_picfile)
    
    '''调用结果存储路径'''
    my_result = os.path.join(database_path, "my_result.csv")
    
    '''爬取图片存储路径'''
    my_pictures = os.path.join(BASE_DIR, "pictures/")
    print(my_pictures)
    

    database路径下的内容为自动生成,只需创建database文件夹
    get_picture.py

    #!/usr/bin/env python
    # -*- coding:utf-8 -*-
    import re
    import conf.settings
    import modules.is_file_exist
    import urllib.request
    
    '''遍历http调用结果内容'''
    def read_all():
        my_file = open(conf.settings.my_file, "r", encoding='UTF-8')
        for line in my_file.readlines():
            # line = line.strip()
            if line !='\n':
                print(line)
        my_file.close()
    
    '''数据裁剪后的图片链接存储文档'''
    def read_pictures():
        reg = re.compile('http.*?png', re.S)
        read_pictures_my_file = open(conf.settings.my_file, "r", encoding='UTF-8')
        for line in read_pictures_my_file.readlines():
            if reg.search(line):
                # print(line)
                m1 = reg.findall(line)
                print(m1[0])
                modules.is_file_exist.is_file_exist(conf.settings.my_picfile)
                read_pictures_picfile = open(conf.settings.my_picfile, "a", encoding='UTF-8')
                read_pictures_picfile.write(m1[0]+'\n')
                read_pictures_picfile.close()
        read_pictures_my_file.close()
    
    '''下载图片'''
    def download_pictures():
        download_pic = open(conf.settings.my_picfile, "r", encoding='UTF-8')
        imgName = 0
        for imgPath in download_pic.readlines():
            try:
                f = open(conf.settings.my_pictures + str(imgName) + ".png", 'wb')
                f.write((urllib.request.urlopen(imgPath)).read())
                # print(imgPath)
                f.close()
            except Exception as e:
                print(imgPath + " error")
            imgName += 1
    
        print("All pictures have been download!")
    

    is_file_exist.py

    #!/usr/bin/python
    # -*- coding: UTF-8 -*-
    import os
    import conf.settings
    
    # print('is_file_exist'+conf.settings.my_file)
    # print('is_file_exist'+conf.settings.my_picfile)
    def is_file_exist(is_file):
        '''打开文件,若不存在则创建,判断文件是否为空,若为空数据初始化'''
        exist_file = open(is_file, "a")
        if is_file == conf.settings.my_file:
            file_exist = os.path.getsize(conf.settings.my_file)
            exist_file.close()
        elif is_file == conf.settings.my_picfile:
            file_exist = os.path.getsize(conf.settings.my_picfile)
            exist_file.close()
        else:
            file_exist=os.path.getsize(conf.settings.my_result)
            exist_file.close()
    
        if file_exist == 0:
            '''数据初始化'''
            inf = "\n"
            my_file = open(is_file, "a")
            my_file.write(inf)
            my_file.close()
    

    my_request.py

    # encoding:utf-8
    import urllib.request
    import conf.settings
    import requests
    
    
    '''获取http接口数据,存储到文档中'''
    def my_request_content(url):
        urllib.request.urlretrieve(url, conf.settings.my_file)
    
    '''获取http接口调用状态,存储到文档中'''
    def my_request_result(url):
        response = requests.get(url)
        my_request_result=open(conf.settings.my_result, "a", encoding='utf-8')
        s = "status_code"
        my_request_result.write(s+','+str(response.status_code)+'\n')
        my_request_result.write(u"url"+','+str(response.url)+'\n')
        my_request_result.write("headers"+','+str(response.headers)+'\n')
        my_request_result.write(",Cache-Control" + ',' + response.headers['Cache-Control'] + '\n')
        my_request_result.write(",Content-Encoding,"+response.headers['Content-Encoding']+ '\n')
        my_request_result.write(",Content-Type,"+response.headers['Content-Type']+ '\n')
        my_request_result.write(",Date,"+response.headers['Date'] + '\n')
        my_request_result.write(",Connection,"+response.headers['Connection'] +'\n')
        my_request_result.write("cookie,"+str(response.cookies)+'\n')
        # print('打印cookie信息'+response.cookies)  # 打印cookie信息
        # print('以文本形式打印网页源码'+response.text)  # 以文本形式打印网页源码
        # print('以字节流形式打印'+response.content)  # 以字节流形式打印
    

    效果:
    在这里插入图片描述
    在这里插入图片描述

    展开全文
  • Python开发爬取豆瓣图书信息,并保存本地,已经过测试,欢迎交流!
  • python 抓取一个网站所有图片并保存。 python 抓取一个网站所有图片并保存 python 爬虫
  • 爬虫【6】链家二手房信息和图片并保存本地 爬虫回顾: 爬虫【1】打开网站,获取信息 爬虫【2】重构UserAgent 爬虫【3】URL地址编码 爬虫【4】爬取百度贴吧并生成静态页面 爬虫【5】爬虫猫眼电影100榜单并保存到csv...
  • 爬虫图片,保存本地

    2017-10-19 17:35:51
    适用于从指定网站抓取图片,网站初期需要大量测试数据,或者图片服务器。
  • 初学爬虫,将自己成功的案例贴上与大家一起...爬取网站图片,我选择的是这个不错的美图网站 http://www.win4000.com/ 爬取过程比较顺利,直接上代码: import time import urllib import requests from bs4 import...
  • 概述:实现小程序上传图片到服务器 ,并保存本地。仅供测试 我是刚开始学习小程序,如有问题请下方评论,跪拜!!!!! 实现效果:效果想要大家都看到 所以有点失真和变形,请谅解 实现步骤: 1:查看官方...
  • 爬虫学习——爬取网站图片并保存本地 爬取步骤: 1,模拟浏览器发出请求 2,根绝返回判断网页有无响应 3,解析网页 4,路径下创建文件夹并保存图片
  • #coding=utf-8import urllibimport re#py抓取页面图片并保存本地#获取页面信息def getHtml(url):page = urllib.urlopen(url)html = page.read()return html#通过正则获取图片def getImg(html):reg = r'src="(.+?...
  • 必须同源(访问的网站域名与服务器域名一致)才能下载downs() {var alink = document.createElement("a");alink.href = this.shop.shoppic_url;alink.download = "pic"; //图片名alink.click();}解决图片不同源下载...
  • 可对一些常见的图片网站进行爬取,对于不同的网站,只需要稍修改parse_html函数中的patern的正则表达式即可。 (该代码参考了网上一些大佬的代码,在此表示感谢,非商用,仅供学习使用!) import requests from ...
  • import os import requests from bs4 import BeautifulSoup import urllib.request def look_img(soup,i): # 抓取图片地址 ... url_img = [] # 保存需要爬取图片的地址 for img in img_src: n = n + 1
  • JAVA快速获取网络图片或者URL图片并保存本地,直接上代码: import java.io.ByteArrayOutputStream; import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.io....
  • 主要介绍了Python3爬虫学习之将爬取的信息保存本地的方法,结合实例形式详细分析了Python3信息爬取、文件读写、图片存储等相关操作技巧,需要的朋友可以参考下
  • using System; using System.Collections.Generic; using System.IO; using System.Linq; using System.Net; using System.Text;...using System.Threading.Tasks;... public static string SaveImageFromWeb(string img
  • 加载的html2canvas为官网上的新版本。javascriptstyle样式:html*{margin: 0;padding: 0;font-family: "微软雅黑";}html,body{width: 100%;}#capture,#imgDiv{width: 100%;}.imgDiv_img{width: 100%;}java...
  •  创建MyBeautifulPicture类的实例,调用get_pic方法,至此,保存图片到本地就可以实现了。  完整的get_pic方法为: def get_pic(self): r = self.request(self.web_url) all_item = BeautifulSoup(r.text...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 298,158
精华内容 119,263
关键字:

网站首页图保存本地