精华内容
下载资源
问答
  • 淘宝客程序API自动更新自动采集版 sk-taokeapi-v6.0 无需人工操作,配置淘点金和爱淘宝的爱搭配。 适用版本:sk-taokeapi-v6.0 安装方法: 解压之后把upload文件夹里面的文件 通过ftp软件上传至网上服务器空间的根...
  • 图片采集软件能采集任何网站的各种格式图片,实现把所有文章、新闻、帖子等中间的图片全部有有序列的分类后保存到您的计算机上等功能,可以把任何论坛网站的所有帖子的图片采集到本地,轻松过滤广告等,是网站、

    网站管理员希望将别人的整站数据下载到自己的网站里或者将别人网站的一些内容保存到自己的服务器上。从内容中抽取相关的字段,发布到自己的网站系统中。有时需要将网页相关的文件也保存到本地,如图片、附件等。

    图片采集软件能采集任何网站的各种格式图片,实现把所有文章、新闻、帖子等中间的图片全部有有序列的分类后保存到您的计算机上等功能,可以把任何论坛网站的所有帖子的图片采集到本地,轻松过滤广告等,是网站、论坛站长和喜欢收集美图的朋友的必备工具。

    本文演示使用C# WebBrowser控件实现自动识别下一页,按标题分类,图片自动下载(不重复),效果如下图1所示。在随附的代码下载中提供了完整的源代码。

    展开全文
  • 介绍: ThinkPHP5内核自动采集电影影视网站系统源码 完全放开双手自动采集 网盘下载地址: http://kekewangLuo.cc/mKwFQsP6yzA 图片

    介绍:

    ThinkPHP5内核自动采集电影影视网站系统源码 完全放开双手自动采集


    网盘下载地址:

    http://kekewangLuo.cc/mKwFQsP6yzA


    图片:


    展开全文
  • 淘宝客程序API自动更新自动采集版 sk-taokeapi-v6.0 无需人工操作,配置淘点金和爱淘宝的爱搭配。 适用版本:sk-taokeapi-v6.0 安装方法: 解压之后把upload文件夹里面的文件 通过ftp软件上传至网上服务器空间的根...
  • 发帖的时候如果是复制别人的文章,想要直接将这些文章中的图片自动保存到自己的服务器,其实Discuz! X3.2的html编辑器已经默认支持“下载远程图片”功能。如图:如果是低版本,下面是网友提供一种编程的方式实现:...

    发帖的时候如果是复制别人的文章,想要直接将这些文章中的图片自动保存到自己的服务器,其实Discuz! X3.2的html编辑器已经默认支持“下载远程图片”功能。

    如图:



    如果是低版本,下面是网友提供一种编程的方式实现:

    其实远程图片下载并不难,php自带的文件读取函数就可以。难的是要明白dz发帖自带的标签,图片的存储,数据的插入等。

    首先缩略图 用到的数据表为:forum_threadimage表。
    附件表为:forum_attachment(附件帖子对应表)     forum_attachment1~9(附件存储表)   forum_attachment_unused(临时附件表)
    刚开始由于不理解原理,绕了很多弯路,
    首先就是获取message就是 帖子内容。不过dz已经自动将其标签化了,远程图片标签为: 上传的图片附件标签为:
    [attachimg]aid[/attachimg]其中aid为附件的id 存储在forum_attachment(附件帖子对应表)中,具体的附件路径存在 forum_attachment1~9(附件存储表)  

    所以你要匹配到[img]标签  然后获取 url  下载-存储-插入数据库。其中比较复杂的是  那个附件临时表。下载下来的图片都存储在附件临时表中。
    具体发帖的时候  从临时表中读取然后插入到forum_attachment1~9(附件存储表)  ,并且更新forum_attachment(附件帖子对应表) 

    这里比较重要的是 aid 这个字段 

    function validate(theform) {
            
                    
            var message = wysiwyg ? html2bbcode(getEditorContents()) : theform.message.value;
            if(!theform.parseurloff.checked) {
                    message = parseurl(message);
            }
    
            if(($('postsubmit').name != 'replysubmit' && !($('postsubmit').name == 'editsubmit' && !isfirstpost) && theform.subject.value == "") || !sortid && !special && trim(message) == "") {
                    showError('抱歉,您尚未输入标题或内容');
                    return false;
            } else if(mb_strlen(theform.subject.value) > 80) {
                    showError('您的标题超过 80 个字符的限制');
                    return false;
            }
            if(ispicstyleforum == 1 && ATTACHORIMAGE == 0 && isfirstpost) {
            }
            if(in_array($('postsubmit').name, ['topicsubmit', 'editsubmit'])) {
                    if(theform.typeid && (theform.typeid.options && theform.typeid.options[theform.typeid.selectedIndex].value == 0) && typerequired) {
                            showError('请选择主题对应的分类');
                            return false;
                    }
                    if(theform.sortid && (theform.sortid.options && theform.sortid.options[theform.sortid.selectedIndex].value == 0) && sortrequired) {
                            showError('请选择主题对应的分类信息');
                            return false;
                    }
            }
            for(i in EXTRAFUNC['validator']) {
                    try {
                            eval('var v = ' + EXTRAFUNC['validator'][i] + '()');
                            if(!v) {
                                    return false;
                            }
                    } catch(e) {}
            }
    
            if(!disablepostctrl && !sortid && !special && ((postminchars != 0 && mb_strlen(message) < postminchars) || (postmaxchars != 0 && mb_strlen(message) > postmaxchars))) {
                    showError('您的帖子长度不符合要求。\n\n当前长度: ' + mb_strlen(message) + ' 字节\n系统限制: ' + postminchars + ' 到 ' + postmaxchars + ' 字节');
                    return false;
            }
            if(UPLOADSTATUS == 0) {
                    if(!confirm('您有等待上传的附件,确认不上传这些附件吗?')) {
                            return false;
                    }
            } else if(UPLOADSTATUS == 1) {
                    showDialog('您有正在上传的附件,请稍候,上传完成后帖子将会自动发表...', 'notice');
                    AUTOPOST = 1;
                    return false;
            }
            if(isfirstpost && $('adddynamic') != null && $('adddynamic').checked && $('postsave') != null && isNaN(parseInt($('postsave').value)) && ($('readperm') != null && $('readperm').value || $('price') != null && $('price').value)) {
                    if(confirm('由于您设置了阅读权限或出售帖,您确认还转播给您的听众看吗?') == false) {
                            return false;
                    }
            }
            
            /* if(jQuery('#postsubmit').hasClass('upload_now') ) {
                    showError('正在上传图片中!请稍后!');
                    return false;
            } */
            
            return check_remote_img(message,theform);
    
    }
    
    
    function theform_(message,theform) {
            
            theform.message.value = message;
            
            if($('postsubmit').name == 'editsubmit') {
                    postsubmit(theform);
                    return false;
            } else if(in_array($('postsubmit').name, ['topicsubmit', 'replysubmit'])) {
    
                    if(seccodecheck || secqaacheck) {
                            
                            var chk = 1, chkv = '';
                            if(secqaacheck) {
                                    chkv = $('checksecqaaverify_' + theform.sechash.value).innerHTML;
                                    if(chkv.indexOf('loading') != -1) {
                                            setTimeout(function () { validate(theform); }, 100);
                                            chk = 0;
                                    } else if(chkv.indexOf('check_right') == -1) {
                                            showError('验证问答错误,请重新填写');
                                            chk = 0;
                                    }
                            }
                            if(seccodecheck) {
                                    chkv = $('checkseccodeverify_' + theform.sechash.value).innerHTML;
                                    if(chkv.indexOf('loading') !== -1) {
                                            setTimeout(function () { validate(theform); }, 100);
                                            chk = 0;
                                    } else if(chkv.indexOf('check_right') === -1) {
                                            showError('验证码错误,请重新填写');
                                            chk = 0;
                                    }
                            }
                            if(chk) {
                                    postsubmit(theform);
                            }
                    } else {
                            
                            postsubmit(theform);
                    }
                    return false;
            }
    }
    
    
    function check_remote_img(message,theform) {
            var reg_1 = /\[img=\d+,\d+\]([\s\S]*?)\[\/img\]/g;
            var reg_2 = /\[img\]([\s\S]*?)\[\/img\]/g;
            var reg_3 = /\[img=\d+,\d+\]([\s\S]*?)\[\/img\]/;
            var reg_4 = /\[img\]([\s\S]*?)\[\/img\]/;
            var args = new Array();
            args['fade'] = 1;
            args['cover'] = 1;
            if( reg_1.test(message) || reg_2.test(message) ) {
                    var match = new Array();
                    var url_ = new Array();
                    match = message.match(reg_1);
                    match2 = message.match(reg_2);
                    if( match2 == null && match != null ) {
                            match2 = new Array();
                            match2 = match2.concat(match);
                            url = match2;
                            for(i = 0; i < url.length; i++) {
                                    var str = url[i];
                                    url_[i] = reg_3.exec(str)[1];
                            }
                    }
                    else if( match2 != null && match != null ) {
                            match2 = match2.concat(match);
                            url = match2;
                            for(i = 0; i < url.length; i++) {
                                    var str = url[i];
                                    if( reg_3.test(str) ) {
                                            url_[i] = reg_3.exec(str)[1];
                                    }
                                    else {
                                            url_[i] = reg_4.exec(str)[1];
                                    }
                            }
                    }
                    else {
                            match = new Array();
                            match2 = match.concat(match2);
                            url = match2;
                            for(i = 0; i < url.length; i++) {
                                    var str = url[i];
                                    url_[i] = reg_4.exec(str)[1];
                            }
                    }
                    
                    var html = '<style>'+
                                            '#uploadRemote {width:530px; height:330px; overflow:hidden;}'+
                                            '#uploadRemote .upload_c {padding:0px 15px 0;}'+
                                            '#fwin_dialog h3.flb span{display:none;}'+
                                            '#message_ {display:none;}'+
                                            '#upload_show {height:300px; overflow-y:auto;}'+
                                            '#upload_show p {width:100px; height:100px; margin:0 auto; margin-top:20px;}'+
                                            '#upload_show ul li {float:left; margin:5px; }'+
                                            '#upload_show ul li a {text-align:center;}'+
                                            '.msg {line-height:24px; color:#369; text-align:center; border:1px dashed #ddd;}'+
                                            '</style>'+
                                            '<div id="uploadRemote">'+
                                                    '<div class="upload_c">'+
                                                            '<div class="msg">发现你的帖子包含<span style="color:red; font-weight:bold;">'+url_.length+'</span>张远程图片<br />系统将为你自动下载!<br /></div>'+
                                                            '<div id="upload_show">'+
                                                            '<p class="loading"><img src="/static/image/common/loading2.gif" /></p>'+
                                                            '<ul></ul>'+
                                                            '</div>'+
                                                    '</div>'+
                                            '</div>';
                    showDialog(html,'info','远程图片下载','',1,args);
    
                    setTimeout(function(){
                            jQuery('#postsubmit').addClass('upload_now');
                            jQuery('#uploadRemote .msg').html('图片下载中,请耐心等待。如果等待时间过长,请从新刷新页面。谢谢!剩余<span style="color:red ;font-weight:bold;">'+url_.length+'</span>张');
    
                            i = 0;
                            dois(url_,i,message,theform);
                            return false;
                            jQuery('#upload_show p').hide();
                    },1200);
                    
                    return false;
            }
            else {
                    return theform_(message,theform);
            }
    }
    
    function dois(url_,i,message,theform) {
            html = '';
            jQuery.ajax({
                    type: 'POST',
                    url: 'forum.php?mod=uploadRemote&action=newthread',
                    data: {url:url_[i],message:message},
                    dataType: "json",
                    success: function (data) {
                            message = data.message;
                            html2bbcode(editdoc.body.innerHTML = message);
                            message = html2bbcode(getEditorContents());
                            if( data.error == 1 ) {
                                    // 图片下载失败!
                                    html += '<li><a href="javascript:;">下载失败</a></li>';
                                    jQuery('#upload_show ul').append(html);
                                    jQuery('#uploadRemote .msg span').text(url_.length - i - 1);
                                    i++;
                                    if( i < url_.length ) {
                                            dois(url_,i,message,theform);
                                    }
                                    else {
                                            setTimeout(function(){return theform_(message,theform);},2000);
                                    }
                            }
                            else {
                                    
                                    html += '<li><img src="'+data.tmp_name+'" width="90" height="90" /></li>';
                                    jQuery('#upload_show ul').append(html);
                                    jQuery('#postbox').append('<input type="text" name="attachnew['+data.aid+'][description]" class="px" style="display: none" id="image_desc_'+data.aid+'">');
                                    jQuery('#uploadRemote .msg span').text(url_.length - i - 1);
                                    i++;
                                    if( i < url_.length ) {
                                            dois(url_,i,message,theform);
                                    }
                                    else {
                                            
                                            setTimeout(function(){return theform_(message,theform);},2000);
                                    }
                            }
                    },
            });
    }
    validate() 为发帖调用js,是把匹配都放到js中了 然后通过ajax来下载图片,并且替换标签 把[img]全部替换为附件标签[attachimg]

    展开全文
  • 5. 可选图片采集:如果启用图片采集,可以将目标站所有图片自动采集到本站服务器,有利于搜索引擎优化(此功能可能会占用大量硬盘空间,推荐有独立服务器或VPS用户使用); 6. 突破图片防盗链:开启图片采集功能,...
  • 虽然cms本身有定时采集,由于是php开发的,需要有访问才能触发,虽然有一些服务器控制面板可以新建定时任务,到指定时间去请求异常定时采集链接,但是这也是需要消耗额外更多的服务器资源的,而且采集自定义度不高,...

    使用苹果、海洋cms的是不是感觉资源更新很麻烦,虽然cms本身有定时采集,由于是php开发的,需要有访问才能触发,虽然有一些服务器控制面板可以新建定时任务,到指定时间去请求异常定时采集链接,但是这也是需要消耗额外更多的服务器资源的,而且采集自定义度不高,下面介绍一个免费平台-【点讯数据平台】,一个自定义资源采集平台,可以定制采集:

    • 只需简单配置,即可快速实现影视数据采集,系统有匹配影视CMS的兼容接口,一次批量更新,几乎不占什么资源,并且可以采集任何影视资源站的数据API。

    • 支持给同一个影视站新建多个任务采集不同影视资源,也可以给不同的影视站采集不同的影视资源。通过配置时间,可以在规定时间点全自动运行任务。

    • 支持影视资源的图片可以转存到自己的FTP服务器上。

    • 支持采集指定数据或者过滤指定数据,并且支持跳过指定时间段的数据。

    • 支持对不规范的资源名称重命名,实现统一规范名称更新到自己的CMS,告别重复不规范采集。


    • 任务预览
      任务预览

    使用说明
    1、首先在你的CMS网站后台添加好资源库,并绑定好需要采集的分类

    苹果cms示例

    2、然后登陆点讯控制台(https://console.dxyun.cc),先进入【插件下载】下载CMS对应的插件,然后上传到你的CMS上,需要外网能访问到

    下载点讯插件

    3、然后进入【任务中心】,点击【新建任务】

    新建任务

    4、按照要求填写各个选项,然后保存即可

    任务配置

    5、最后在【任务中心】刷新一下,在刚才新建的任务的操作菜单里点击【开始】即启动任务,这样到配置的采集时间时就会自动按照自定义的内容进行采集了,这样就不用担心更新不及时占用服务器资源资源杂乱等等问题了。

    开启任务

    快去试试看吧,很方便

    展开全文
  • 树莓派定时采集图像上传到服务器

    万次阅读 热门讨论 2017-12-10 00:02:50
    树莓派采集图片定时上传至服务器 准备图片存储服务器 在做这个系统之前,得先选择一个可以上传图片的服务器,当然,可以自己做一个小服务器,但是我选择了七牛网,因为它是一个免费的云图库,而且我平时写...
  • EditorTools 是一款免费采集软件,是中小网站自动更新利器,全自动采集发布,运行期间静默工作,无须人工干预;独立软件免除网站性能消耗;安全稳定,可长年累月不间断工作。 声明:本软件适合需要长期更新内容的非...
  • 函数功能:把文章内容中涉及到的图片自动保存到本地服务器。(注意:请先在目录下创建tempfile目录,用来保存临时图片)作者:小灰QQ:103895主页:http://asp2004.net2004.9.13转载或使用请不要删除上面这些信息。...
  • wordpress auto post 采集远程图片失败

    千次阅读 2019-04-13 00:00:36
    今天继续昨天的wordperss auto post网站自动采集,昨天我们解决了为什么采集文章失败,是由于wordpress的数据表的一个字段问题,post_excerpt不能为空。今天遇见的另外一个问题是,图片采集失败。问题既然出现了,最...
  • WP-AutoPost 是目前好用的 WordPress 自动采集发布插件,大的特点是可以采集来自于任何网站的内容并 自动发布到你的 WordPress 站点。不像其他大部分 WordPress 采集插件,只能根据 Feed 进行采集,使用 Feed 采集有...
  • 根据指定的目录,从FTP服务器将不定时推送的新文件采集到对应的数据库中,并且不会重复采集。文件基本是用YYYYMMDDHH格式的文件名区分,提供一下程序或者思路参考学习下
  • 文章目录背景基本原理及流程判断浏览器是否支持WebP完整的图片请求流程图片上传技术框架expressnode-static实现图片解析及传输服务文件上传服务接管Express的文件上传使用GraphicsMagick添加图片水印生成WebP格式...
  • anyproxy批量自动采集微信公众号文章

    千次阅读 2017-11-11 11:13:58
    当时批量采集特别好做,采集入口是公众号的历史消息页。这个入口到现在也是一样,只不过越来越难采集了。采集的方式也更新换代了好多个版本。后来在2015年html5垃圾站不做了,转向将采集目标定位在本地新闻资讯类...
  • 修改日志 2016.05.12 之前的程序存在两个问题: 1)从相册选择的图片如果比较大,会失败; 2)无法拍照上传照片。 修改了这两个bug,之前...3从服务器中获得图片并显示 4辅助工具 一. 整体功能描述整理了一下主要
  • WordPress采集插件,WordPress自动采集发布插件WP-AutoPost-pro,可采集任何网站内容并自动发布到WordPress站点,使用最简单,功能最强大的WordPress采集插件 WordPress自动采集发布插件WP-AutoPost-pro专业版3.6.1下载...
  • WP-AutoPost是目前最好用的WordPress自动采集发布插件,最大的特点是可以采集来自于任何网站的内容并自动发布到你的WordPress站点。不像其他大部分WordPress采集插件,只能根据Feed进行采集,使用Feed采集有很大的...
  • 乱搜美女图片小偷简介: 1.本程序是一套免更新免维护的自动更新系统,采用PHP编写而成; 2.无需任何设置,放到目录就能用; 3.支持静态缓存,大大减轻服务器压力; 4.运行快捷,免费空间也能高速运行。
  • CURLOPT_FOLLOWLOCATION 启用时会将服务器服务器返回的“Location:”放在header中递归的返回给服务器,使用CURLOPT_MAXREDIRS可以限定递归返回的数量。 CURLOPT_FORBID_REUSE 在完成交互以后强迫断开连接,不能重用...
  • C#FFmpeg视频采集与推送RTMP服务器代码思路整理

    万次阅读 热门讨论 2017-12-14 10:47:49
    C#视频采集与推送RTMP服务器代码思路整理:在看过FFmpeg后是否认为写C#的视频流采集和推送还是一头雾水啊?深有此感。领导是C#的高手,说可以通过C或C++的代码直接复制粘贴到C#工程然后进行适配代码就可以了,因为C#...
  • 工业自动化数据采集一直是困扰着所有制造工厂的传统痛点,因自动化终端设备品牌类型繁多,不同采购年代的产品厂家和数据接口及支持协议各异,加之国外厂家本地支持有限,费用高昂,只要还有其他人工参与环节,这些...
  • 让你 不用动手,程序数据自动采集(电影天堂 讯雷 bt5156 verycd )等资源 结合久久音音(webplayer9)播放器,开发而成,资源数据永久稳定(目前主要是 电信资源)   电影自动给你采集 自动更新 多个广告位 让你的...
  • 让你 不用动手,程序数据自动采集(电影天堂 讯雷 bt5156 verycd )等资源 结合久久音音(webplayer9)播放器,开发而成,资源数据永久稳定(目前主要是 电信资源) 电影自动给你采集 自动更新 多个广告位 让你的收入更高...
  • 支持某一个微信客户端采集中断超过3分钟后的自动点击恢复以及长时间中断(超过10分钟)后通过发送邮件告警并重启模拟器重新点击恢复自动采集 每个微信客户端每天稳定采集300个微信公众号数据 微信
  • WordPress文章远程图片自动保存到本地服务器,最大的好处就是复制粘贴,方便对文章的转载复制。并不是所有网站都会全部写原创内容,有些好文章想转载,但是对方网站有可能对图片进了防盗链,而图文比较多的情况下,...
  • 使用php采集文章中的图片,并替换为本地地址,想必很实用的哦。 分享下,走过路过,只要感觉有用的不要错过。哈哈。 大热的天,光着上身发文章,不容易啊。。。 代码如下: /** * 获取替换文章中的图片路径 * @...
  • 对于文字内容中夹杂的非文字内容(如图片、动画、视频、音乐、文件等),熊猫也会进行智能化处理,自动下载该非文字对象到本地或指定的远程服务器,并对结果进行妥善处理,使得采集结果的图文混排对象中,可以保留被...
  • 前言 之前物联网硬件采集数据一直都是通过阿里云实现数据的可视化,没有将硬件采集到的数据存入云数据库,没有进一步利用数据进行操作。...4.利用MQTT将硬件采集到的数据送入云服务器MySQL存储 5.效果展示

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 16,947
精华内容 6,778
关键字:

自动采集图片图片服务器