精华内容
下载资源
问答
  • require 'httpclient' require 'hpricot' require 'mechanize'@client = Mechanize.new def get_list for i in 2..4 link = "http://spotlight.pics/zh/?p=#{i}" heads={ "Accept"=>
    require 'httpclient'
    require 'hpricot'
    require 'mechanize'
    
    @client = Mechanize.new
    def get_list
        for i in 2..4
            link = "http://spotlight.pics/zh/?p=#{i}"
            heads={
                "Accept"=>"text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
            "Accept-Encoding"=>"gzip, deflate, sdch",
            "Accept-Language"=>"zh-CN,zh;q=0.8",
            "Cache-Control"=>"max-age=0",
            "Connection"=>"keep-alive",
            "Cookie"=>"p_ab_id=3; _gat=1; user_lang=zh; _ga=GA1.2.2112927109.1453364740",
            "Host"=>"spotlight.pics",
            "Upgrade-Insecure-Requests"=>"1",
            "User-Agent"=>"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.86 Safari/537.36"
            }
            params={"value"=>"zh"}
            doc = Hpricot(@client.get(link,params,nil,heads).body)
            doc.search("article[#@class=illust-article]").search("h2").search("a").each do |x|
                puts href = x["href"]
                puts file_name = x.inner_html
                get_one(href,file_name)
            end
        end
    end
    
    def get_one(url,file_name)
        doc = Hpricot(@client.get(url).body)
        doc.search("div[@class=illust-wrap]").search("img").each do |x|
            puts src = x["src"]
            puts jpg = src.split("/").last
            s = @client.get(src)
            file_name = file_name[0..15] if file_name.size>20
            if !File.exists?("/home/wping/图片/Wallpapers/P站/#{file_name}/#{jpg}")
                if !Dir.exists?("/home/wping/图片/Wallpapers/P站/#{file_name}")
                    Dir.mkdir("/home/wping/图片/Wallpapers/P站/#{file_name}")
                    File.open("/home/wping/图片/Wallpapers/P站/#{file_name}/#{jpg}","w+") do |file|
                        puts "save ---------------------------"
                        file.puts s.body
                    end
                else
                    File.open("/home/wping/图片/Wallpapers/P站/#{file_name}/#{jpg}","w+") do |file|
                        puts "save ---------------------------"
                        file.puts s.body
                    end
                end
            end
        end
    end
    
    get_list
    展开全文
  • 在U环境中无法获得商品图片的高度。waterfall组件出现部分重叠。请教下怎么样在图片输出完之后,再使用waterfall。感激不尽</p><p>该提问来源于开源项目:kissyteam/kissy</p></div>
  • 针对静态数据, 比如图片/js等文件, 测试如何获取最新的呢? ln -s /alidata/www/mysite/uploads /alidata/www/mysite_test/uploads ; 转载于:...

     

    针对静态数据, 比如图片/js等文件, 测试站如何获取最新的呢?

     

    ln -s /alidata/www/mysite/uploads   /alidata/www/mysite_test/uploads

     

     

     

     

     

     

    ;

    转载于:https://www.cnblogs.com/upup2015/p/7786616.html

    展开全文
  • 首先打开我们的p站进行抓包 不好意思,不好意思 输错了 p站地址:https://www.pixiv.net/ 我们今天要爬取的内容是p站的排行榜 在我们往下滑的时候进行抓包会发现有个包 这是一个ajax请求 再用F12开发者工具点击...

    首先打开我们的p站进行抓包
    在这里插入图片描述

    不好意思,不好意思 输错了在这里插入图片描述

    我们今天要爬取的内容是p站的排行榜在这里插入图片描述
    在我们往下滑的时候进行抓包会发现有个包
    在这里插入图片描述
    这是一个ajax请求,就是获取排行榜页面的包

    再用F12开发者工具点击图片
    在这里插入图片描述
    我们可以发现当我们点击这个链接以后会跳转到这个图片的具体页面,我们只需要它后面的数字部分就是它的ID,在进入图片的详细页后
    在这里插入图片描述
    点击查看网页源代码仔细检查后可以发现
    在这里插入图片描述
    点击这个地址后可以发现是图片的实际地址,我们可以发现这个illust_id参数是正是图片的ID

    所以我们可以先获取图片的ID然后再发送请求下载图片

    代码如下

    import requests
    from lxml import etree
    import time
    # 进行UA伪装
    header = {
        'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36x-requested-with: XMLHttpRequest'
    }
    for num in range(1,100):
    
        url = "https://www.pixiv.net/ranking.php"
        param = {
            'p': num
        }
        # 获取排行榜页面
        response = requests.get(url=url,headers=header,params=param).text
        # 建立xpath正则 获取ID
        tree = etree.HTML(response)
        img_id_list = tree.xpath('//*/div/a/@href')[3:]
        for each in img_id_list:
            if 'series' in each:
                continue
            url = "https://embed.pixiv.net/decorate.php"
            # each 是/artworks/87898731
            # 由此我们进行切片获取具体ID
            date_id = each[10:]
            param = {
                "illust_id":date_id
            }
            img_data = requests.get(url=url,params=param,headers=header).content
            # 设置图片名字
            img_file_name = date_id+'.jpg'
            # 写入图片
            with open(img_file_name,'wb') as fp:
                fp.write(img_data)
                print(img_file_name+"下载成功")
    
            # 防止被封 加个延迟
            time.sleep(0.5)
    
    
    展开全文
  • 获取图片URL和创建自定义函数

    千次阅读 2012-07-26 17:05:49
    过程中碰到这样一个问题,找到解决办法收藏分享:为什么在首页用自定义列表调用出来的图片字段不是正确的图片地址,而是类似于: 引用 {dede:img text='' width='270' height='129'} /uploads/101017/1-...
    如果是文章中的图片或缩略图那可以这么写 
    <img src="[dede:picname/]" />


    做站过程中碰到这样一个问题,找到解决办法收藏分享:为什么在首页用自定义列表调用出来的图片字段不是正确的图片地址,而是类似于:
    引用

    {dede:img text='' width='270' height='129'} /uploads/101017/1-10101H21F54P.gif {/dede:img}


    这样的格式!

    非常明显,这样是不能正确显示的,这是织梦自定义图片字段的处理方式造成的。要解决这个问题,我们必须得创建一个自定义函数,其实现方式为:

    一、实现方法

    1)创建自定义函数

    打开 /include/extend.func.php 文件(注:这个文件就是系统预留的自定义函数接口文件,主要用于二次开发用的。如果你是老版本,默认没有这个文件,自己创建一个PHP文件即可),在最下面的?>上一行加入以下函数代码:

    折叠PHP 代码复制内容到剪贴板
     

     

    引用

     

    1.   
    2.   
    3. function GetOneImgUrl($img,$ftype=1){   
    4.     if($img <> ''){   
    5.         $dtp = new DedeTagParse();   
    6.         $dtp->LoadSource($img);   
    7.         if(is_array($dtp->CTags)){   
    8.             foreach($dtp->CTags as $ctag){   
    9.                 if($ctag->GetName()=='img'){   
    10.                     $width = $ctag->GetAtt('width');   
    11.                     $height = $ctag->GetAtt('height');   
    12.                     $imgurl = trim($ctag->GetInnerText());   
    13.                     $img = '';   
    14.                     if($imgurl != ''){   
    15.                         if($ftype==1){   
    16.                             $img .= $imgurl;   
    17.                         }   
    18.                         else{   
    19.                             $img .= '<img src="'.$imgurl.'" width="'.$width.'" height="'.$height.'" />';   
    20.                         }   
    21.                     }   
    22.                                
    23.                 }   
    24.             }   
    25.         }   
    26.         $dtp->Clear();   
    27.         return $img;       
    28.     }   
    29. }  

     


    保存后关闭即可。

     

    2)函数调用方法

    问:我们创建好函数以后,那么这个函数要如何来调用呢?

    答:本函数的调用方法为:

    [field:自定义图片字段名 function="GetOneImgUrl(@me,显示类型)"/]

    比如:我们的自定义图片字段名为 imgurl ,那么调用方式有以下两种:

    引用

     [field:imgurl function='GetOneImgUrl(@me,0)'/] <!--调用图片的信息,自动调用宽度和高度(已包含Html代码的<img />标签)-->
    [field:imgurl function='GetOneImgUrl(@me,1)'/] <!--只调用图片地址,一般可用于背景图嵌套-->


    二、示例演示

    1)模型字段添加

    进入网站后台,点击[核心]——[内容模型管理],点击“普通文章”的“更改”按钮,进入编辑界面,切换到“字段管理”选项,点击“添加新字段”,如图:

    创建好字段以后,我们在增加或编辑文档时候,那么就会有这个字段了,如图:

    上传好你要显示的图片以后,保存即可。

    2)前台调用

    原本我们前台调用这个字段的方法,就是通过arclist标签的 channelid 与 addfields 两个参数来配合调用(点击查看arclist的标签详解),这里不再重复的一一熬述。但大体的自定义字段的方法是这样的:

    引用

    {dede:arclist row='2' channeld='1' addfields='自定义字段1,自定义字段2'}
     底层模板 insertext
    {/dede:arclist}


    运用到我们刚才的这个函数,调用方法为:
    折叠XML/HTML 代码复制内容到剪贴板
     

     

    引用

     

    1. {dede:arclist row='5' orderby='id' channelid='1' addfields='imgurl'}   
    2. <li>[field:title/][field:imgurl function='GetOneImgUrl(@me,0)'/]</li>  
    3. {/dede:arclist}  

     

    好了,我们来看一下前台的效果图:

     

    好了,如果大家还有不懂的地方,欢迎留言。


    展开全文
  • 2.再裁剪图片,聚焦获取12306的验证码,即目标为: 但是,我按照up主一步一步,发现聚焦剪裁目标图片时,发现得到的根本不是我要的结果,得到了如下结果: 甚至是!!! 都发生了一定的位置偏移和缩放,但是
  • 大家好,今天我决定爬虫下 P站图片,我们首先打开网站研究下。 不好意思,手抖打错了,应该是下面这个网站。 众所周知,插图网站 pixiv 别名叫 P站,所以今天我用爬虫批量保存二次元P站的靓图。 ...
  • 首先,打开目标网址:P站 (未成年人禁止入内嗷(手动滑稽)) 结构和贴吧差不多呀,肯定要分两步。 第一步:通过主详情页,拿到各个子详情页的链接。 右击 页面进行检查,发现了每个子页面对应的article...
  • 易思ESPCMS企业建管理系统 P8.19042801 稳定版 更新日志 [[改进]:增加对PHP5.6,PHP7.0的支持 [改进]:模型中编号录入方式应该改成开启和关闭。 [改进]:当为手机模式的时候,则当前分类为主频道页的时候,...
  • 在此,网站图片防盗链的方法是,通过获取Http请求头中的 Referer 标头与本网站域名比较,来判断用户是否来自本跳转过来的 。 创建一个全局处理程序,用来处理p_w_picpaths目录下的图片的直接请求: [csharp]...
  • 站立会议图片: 任务进度:    今天配置了腾讯云服务器,将web项目部署在了云服务器,APP直接访问相应的web页面进行信息的获取, 任务看板: 燃尽图: 转载于:...
  • 小Q发现小P每天在B的时间特别长,他想和小P深入地交流一下B,可小Q前段时间学业压力很大的,一直没看B,他想知道现在B流行什么,那你能帮帮他吗? 项目目标 实现爬取当前B排行榜的内容(爬取任一榜单即可),要求...
  • Stack Exchange 已经成长到超过一百个网站,以下是最常用的几个: Super User 是问一些通用的电脑问题,如果你的问题跟代码或是写程序无关,只是一些网络连线之类的,请到这里。 Stack Overflow 是问写程序有关的...
  • <p>另外那个Pixiv的站点添加后无法获取任何图片!!! 另外那个Pixiv的站点添加后无法获取任何图片!!! 另外那个Pixiv的站点添加后无法获取任何图片!!!...
  • python小游戏问题

    2021-01-17 13:37:48
     self.lowest_y: # 如果在地上</p> <p> self.jumpValue = -5 # 以5个像素值向上移动</p> <p> if self.rect.y <= self.lowest_y - self.jumpHeight: # 恐龙到达顶部回落</p> <p> ...
  • 上次给大家分享了怎么用爬虫批量的下载插画网站 P 站的图片:终于,我用爬虫批量保存了P站的靓图,后面讲到了反爬措施。第 1 种反爬措施是加随机等待时间,第 2 种是加入随机的 UserAgent,上次漏讲了一点,有一个...
  • [外链图片转存失败,源可能有防盗链机制,建议将图片保存下来直接上传 选择一个时间段进行下载, 点进去,我们选择正文的语料,比如 zhwiki-20210120-pages-articles-multistream1.xml-p1p187712.bz2 ; 下载完得到...
  • python爬虫遇到403错误

    千次阅读 2018-03-18 12:32:36
    这段时间我很想去p站爬一爬,之前有试过,但都失败了,有一次用phantomJS尝试,结果卡死在登录页面,太复杂了。有一次卡死在编码上,一直无法获取到页面。这次是卡死在403上,我获取图片的链接,正要下载时弹出403...
  • 注解+反射

    2020-06-19 20:39:09
    注解+反射注解内置注解元注解自定义注解反射反射机制反射原理获取Class获取...图片是B尚学堂:https://www.bilibili.com/video/BV1C4411s79b?p=1 大致用法如下 元注解 1、@Target 作用域 使用如下 2、@Retention
  • [外链图片转存失败,源可能有防盗链机制,建议将图片保存下来直接上传(img-m9Akhz8P-1586681066057)(C:%5CUsers%5Cxxacy%5CAppData%5CLocal%5CTemp)]# 集合-迭代器(Iterator) 迭代器遍历 //1.转成数组 通过数组...
  • HTML入门笔记(附完整代码)

    千次阅读 2019-06-19 10:09:45
    本文笔记基于B资源:千峰教育 目录 1.写博客 2.新闻列表 3.图片的使用 4.超链接与图片的知识补充 5.网盘的制作 6.简单表格的制作 7.个人简历 8.个人简历补充 9.登录表单 10.get获取和post提交 1.写...
  • WordPress的SEO技术

    2013-08-15 20:41:00
    原文:http://blog.wpjam.com/article/wordpress-seo/ 文章目录[隐藏] 内容为王 页面优化 标题 链接(URL) Meta 标签 语义化 H1 H2 H3 等标签的使用 ...图片优化 ...内链接优化 ...获取反向链接 ...P...
  • 1.Spring配置数据源 1.1 数据源(连接池)的作用 数据源(连接池)是提高程序性能如出现的 ...[外链图片转存失败,源可能有防盗链机制,建议将图片保存下来直接上传(img-JOeXeSih-1583059127309)(...
  • 修改了远程获取图片的大小为200KB 修复文章内容页双击滚屏</font></p> <p> V4.7(20080807) 1、修复了搜索页的错误 2、增加了下载栏目的搜索功能 3、修复了留言页面的错误 4、修改了首页幻灯片的显示方式 5、对程序...
  • 好的,再(1)中,我们实现了获取标题,那么,能不能获取复杂一点的呢,比如说下载图片啥的(我的初衷)。 总所周知,下载文件需要啥,需要一个URL对吧,咱拿我最近的一个练手的网站来说吧。(媚韵) 众所周知,...
  • -p 网页显示所需要的素材(图片\css\js之类) -k 将下载的网页里的链接转换为本地链接 -np 仅下载当前站点的文件(否则你可能会把整个互联网装在你的硬盘里) 或许会用到的其他参数: -N 只获取比本地文件新的文件...
  • 2,爬虫可以做什么:可以爬取图片、视频等等,只要是通过浏览器可以访问的数据都可以爬取。 3,爬虫的本质是什么:模拟浏览器打开网页,获取网页中我们想要的那部分数据。 #基本流程 1,准备工作 通过浏览器查看...
  • [外链图片转存失败,源可能有防盗链机制,建议将图片保存下来直接上传(img-VJGvTF5p-1591530960328)(E:\Note\Typora\data\JVM\images\image-20200526145401593.png)] 2)类加载器与类的加载过程 类的加载过程 ...

空空如也

空空如也

1 2 3 4
收藏数 65
精华内容 26
关键字:

p站图片获取