精华内容
下载资源
问答
  • URL采集工具

    2018-07-30 23:24:39
    软件可以一键采集url支持百度,谷歌,bing等搜索引擎。
  • 白蚁网安法克论坛URL采集工具(网站关键词URL采集)白蚁网安论坛URL采集工具(网站关键词URL采集助手)是一款很优秀好用的网站关键字URL采集辅助工具。这款法客论坛URL采集工具界面简洁,绿色,无毒,只需点击一下即可...
  • 关键词URL采集工具.zip

    2020-03-09 10:22:11
    2020年可用的关键词采集器 URL采集必备工具 百度 bing 搜搜 都可以 快来下载试试吧快来下载试试吧快来下载试试吧
  • URL采集工具V2.1

    2018-07-20 15:22:57
    URL采集工具V2.1,一般用于老域名挖掘,渗透挖掘,发帖采集等
  • 以前的工具很多失效了,没办法自己写一个!根据关键词自动采集百度url 实现自动化一键采集 做站的朋友可能会喜欢
  • url采集工具

    千次阅读 2020-06-10 20:55:50
    url无限采集工具 一丶运行环境:python3 + redis数据库 二丶采集原理:从初始关键词里面采集网址,然后在网址里面爬取关键字,一边采集关键字,一边采集网址,redis数据库自动去重,多线程模式采集网址加url redis...

    url无限采集工具

    一丶运行环境:python3 + redis数据库
    二丶采集原理:从初始关键词里面采集网址,然后在网址里面爬取关键字,一边采集关键字,一边采集网址,redis数据库自动去重,多线程模式采集网址加url

    redis数据库安装参考:https://www.cnblogs.com/xiaomage666/p/11528092.html

    最好是放服务器采集,速度快,我本机只做一个基本的演示!
    现在数据库里面是没任何内容的 现在开始采集:
    可以中途暂停,只要数据库里面的内容不被清空,下次继续采集不会受影响
    我本机环境恶劣 放服务器里面是最好的

    尽管这样 一分钟也可以采集好几千url 自动去重的!!!

    本机网速太慢,。。。服务器的话 一天可以采集上百万url 前提是你服务器配置高 网速快!
    在这里插入图片描述

    网址:http://urlcaiji.com/

    展开全文
  • 百度URL采集工具 1.0工具说明:百度URL采集工具,可自行修改线程;未加入去重复;使用后在同目录下生成home_url.txt和original_url.txt两个文件,前一个文件是域名列表,后一个是采集到的url列表.使用例子:python ...
  • 新时代url采集工具

    2015-08-21 03:27:10
    专业的url采集工具
  • 关键词URL采集工具 2018 tool
  • superl-url是一款开源的,并且功能强大的关键词URL采集工具,可以根据关键词,对搜索引擎内容检索结果的网址内容进行采集。 程序主要运用于安全渗透测试项目,以及批量评估各类CMS系统0DAY的影响程度,同时也是批量...

    superl-url是一款开源的,并且功能强大的关键词URL采集工具,可以根据关键词,对搜索引擎内容检索结果的网址内容进行采集。  

    程序主要运用于安全渗透测试项目,以及批量评估各类CMS系统0DAY的影响程度,同时也是批量采集自己获取感兴趣的网站的一个小程序~~

    本来几年前就写好了,没什么技术含量,没想到小伙伴的使用需求还蛮大的,不敢私藏~~  

    立了flag,git的star过200就一定抽时间去升级,这个flag已经实现,目前已经是4.0版本~~  更新后就在这里发出来了。

    优势介绍

    1.支持多搜索引擎,很方便添加集成。(已内置了百度,搜狗,360),结构模块化,很方便进行扩展,可以无限添加。

    2.开源,跨平台,使用python开发;

    3.做了兼容性优化,同时支持python2和python3;

    4.支持自动过滤重复内容,支持过滤标题中存在指定关键词的内容,支持过滤域名;中国菜刀

    5.保存方式同时支持本地txt和mysql数据库;

    6.从搜索引擎采集到的地址,是真实网站地址,不是像百度快照那样的三方地址;

    7.多进程同时采集。每个搜索引擎都单独一个进程;

    8.可灵活的通过配置文件自定义要保存的结果格式。比如只输出带参数的原始真实URL,或者只输出域名,或者同时输出标题,搜索引擎名称。

    9.可自定义每页采集时间间隔,防止被屏蔽;

    运行效果

    1.png

    2.png

    3.png

    使用说明

    1.安装python2或者python3运行环境;天空彩

    2.如果提示没有找到库,则需要安装依赖:

    如果是python3,则:

     

     

    pip install ConfigParser

    pip install tldextract

     

    如果是Python2,则:

     

     

    pip install tldextract

    pip install -i https://pypi.tuna.tsinghua.edu.cn/simple configparser

     

    3.根据自己的需要,修改根目录下的config.cfg配置文件。 

    配置文件说明

    节点参数示例值说明
    globalsave_typemysql保存类型,可选择file或者mysql,如果是file则保存为本地txt
    globalsleep_time1每次搜索处理完一页后的等待时间,防止太频繁被搜索引擎屏蔽
    urlurl_typerealurl保存文件txt里面显示的url类型。realurl=真实网站地址,baseurl=原始搜索引擎地址,urlparam=带参数的真实网站地址
    filterfilter_statusTrue是否开启过滤器,如果开启,则过滤域名和标题都不生效
    filterfilter_domainTrue是否过滤域名
    filterfilter_titleTrue是否过滤标题
    logwrite_titleTrue是否显示标题
    logwrite_nameTrue是否显示搜索引擎名称
    enginebaiduTrue百度搜索引擎模块是否开启
    enginesougouTrue搜狗模块是否开启
    enginesoFalse搜搜模块是否开启 (搜搜现在抓取不到了)
    pagesizebaidu_pagesize50每页条数
    pagesizesougou_pagesize50每页条数
    pagesizeso_pagesize10每页条数
    mysqlhost127.0.0.1如果保存类型为Mysql,则此节点必须配置正确
    mysqlport3306端口
    mysqluserroot用户名
    mysqlpasswordroot密码
    mysqldatabasesuperldb数据库名称
    mysqltablesearch_data表名称
    filesave_pathdirresult如果保存类型为file,则这里设置的是保存的路径,当前为程序根目录的result文件夹
    pluginprTrue预留的插件功能,暂时不支持

    如果保存方式为Mysql,还需要执行以下sql创建表:

     

     

        CREATE TABLE `search_data` (

          `id` int(11) unsigned NOT NULL AUTO_INCREMENT,

          `engine` varchar(20) NOT NULL DEFAULT '',

          `keyword` varchar(100) NOT NULL DEFAULT '',

          `baseurl` varchar(255) NOT NULL DEFAULT '',

          `realurl` varchar(255) NOT NULL DEFAULT '',

          `urlparam` varchar(255) NOT NULL DEFAULT '',

          `webtitle` varchar(255) NOT NULL DEFAULT '',

          `create_time` int(10) NOT NULL,

          PRIMARY KEY (`id`)

        ) ENGINE=MyISAM AUTO_INCREMENT=395 DEFAULT CHARSET=utf8;

    项目地址:【GitHub传送门

    至于要不要再开发一个JAVA GUI版本的或者php写WEB版本的,先观望观望~

    展开全文
  • Url采集是一个非常专业易用的关键词url批量采集脚本,含站长扩展搜索,包括热门的百度相关搜索词、360搜索引擎、搜狗搜索引擎采集,提供多线程搜索关键词提取,使用的时候只需要先导入关键词到key.txt文档,在运行...

    简介:

    Url采集是一个非常专业易用的关键词url批量采集脚本,含站长扩展搜索,包括热门的百度相关搜索词、360搜索引擎、搜狗搜索引擎采集,提供多线程搜索关键词提取,使用的时候只需要先导入关键词到key.txt文档,在运行软件,就可以批量采集关键词url,非常简单,网站优化必备小神器哦~


    软件说明:

    多线程搜索关键词提取
    需要走代理,不然会出验证


    使用说明:

    先导入关键词到key.txt文档,在运行软件


    网盘下载地址:

    http://www.bytepan.com/Sdu38tnpo2V


    展开全文
  • superl-url是一款开源的,并且功能强大的关键词URL采集工具,可以根据关键词,对搜索引擎内容检索结果的网址内容进行采集。 程序主要运用于安全渗透测试项目,以及批量评估各类CMS系统0DAY的影响程度,同时也是批量...

    superl-url是一款开源的,并且功能强大的关键词URL采集工具,可以根据关键词,对搜索引擎内容检索结果的网址内容进行采集。

    程序主要运用于安全渗透测试项目,以及批量评估各类CMS系统0DAY的影响程度,同时也是批量采集自己获取感兴趣的网站的一个小程序~~

    优势介绍

    1.支持多搜索引擎,很方便添加集成。(已内置了百度,搜狗,360),结构模块化,很方便进行扩展,可以无限添加。

    2.开源,跨平台,使用python开发;

    3.做了兼容性优化,同时支持python2和python3;

    4.支持自动过滤重复内容,支持过滤标题中存在指定关键词的内容,支持过滤域名;

    5.保存方式同时支持本地txt和mysql数据库;

    6.从搜索引擎采集到的地址,是真实网站地址,不是像百度快照那样的三方地址;

    7.多进程同时采集。每个搜索引擎都单独一个进程;

    8.可灵活的通过配置文件自定义要保存的结果格式。比如只输出带参数的原始真实URL,或者只输出域名,或者同时输出标题,搜索引擎名称。

    9.可自定义每页采集时间间隔,防止被屏蔽;

    使用说明

    1.安装python2或者python3运行环境;

    2.如果提示没有找到库,则需要安装依赖:

    如果是python3,则:pip install ConfigParserpip install tldextract

    如果是Python2,则:pip install tldextractpip install -i https://pypi.tuna.tsinghua.edu.cn/simple configparser

    3.根据自己的需要,修改根目录下的config.cfg配置文件。

    
    

    https://www.jianshu.com/p/39a2a512cc63

    展开全文
  • 魅惑小组URL采集工具,用于搭配椰树使用
  • 百度url采集

    2018-04-25 21:17:07
    百度url采集器,输入搜索语法可采集符合的网站,保存到txt中,可用于批量搜索可注入站点。
  • 圈外网百度批量URL提交工具通过百度工具平台的url提交通道来批量模拟提交URL链接。该工具采用多线程提交技术,速度超乎你的想象。是seoer必备的工具,提高收录不在话下。支持
  • 谷歌采集器是一款可以按条件采集谷歌的搜索结果的谷歌搜索采集工具。谷歌采集器功能介绍:可选择被搜索的内容出现的位置以及网址格式具有复制链接标题的功能,还可以将搜索结
  • 法客论坛URL采集工具.rar
  • Lang_URL深度采集工具

    千次阅读 2018-10-21 22:12:29
    title: Lang_URL深度采集工具 copyright: true top: 0 date: 2018-09-02 16:15:12 tags: URL采集 categories: 个人作品 permalink: password: keywords: description: Lang_URL深度采集程序是一款允许自定义网址规则...
  • url采集/全自动采集url

    2018-06-16 10:34:45
    url批量采集、url全自动采集、url各个站采集、超强url采集、可以免费使用的url采集
  • 百谷url采集软件

    2018-10-04 20:30:00
    一款url批量扫描软件,设置关键字,然后去扫描吧,可以批量抓取url,很不错,功能强大
  • UrlTool是一款的转换工具UrlTool用于替换URL以某字符开头,可得到真实的URLUrlTool需添加待转换url文件路径,方便快捷。
  • Google URL采集器,2018年12月份可用版,到2019年 支持网址去重,批量检验存活。 支持自定义规则,适合不同搜索引擎。
  • 一款URL网址采集工具。支持自定义采集规则以适配不同搜索引擎
  • URL采集器,可以根据关键词采集,SQL注入器,傻瓜式找注入点,仅供学习使用,不能用于非法用途,大家可以根据需要下载
  • Keyword url batch collection
  • url采集器 QQ 1285575001 Wechat M010527 技术交流 QQ群599020441 纪年科技aming 0x01 前言 URl采集 批量刷洞 0x02 ZoomEyeAPI脚本编写 ZoomEye是一款针对网络空间的搜索引擎 收录了互联网空间中...
  • 简单的实现了三个搜索引擎的Url采集。代码写的不够简洁,复用率低,大佬别笑。 考虑到人机验证就不加入多线程模块,慢慢跑也好过被拦截(菜,人机验证绕不过)。 百度的url需要进行二次访问才能抓取到原始的URL。 ...
  • 百度搜索结果采集器是一款采集百度关键词关联网址的软件。主要用于监控关键词排名,竞争对手关键词监控,百度关键词排名算法研究,高权重网站获取,行业网站采集,潜在客户网站采集,大数据处理应用。
  • 百度URL多线程网址采集工具,一分钟采集3000条 软件截图预览: https://img-blog.csdnimg.cn/20210704220910531.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9...
  • 尽可能花更少的时间

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 23,333
精华内容 9,333
关键字:

url采集工具