精华内容
下载资源
问答
  • url采集/全自动采集url

    2018-06-16 10:34:45
    url批量采集、url全自动采集、url各个站采集、超强url采集、可以免费使用的url采集
  • Url采集软件

    2017-12-01 22:10:05
    Url采集软件 支持指定关键字 批量导出 功能齐全 Url采集软件 Url采集软件
  • 白蚁网安法克论坛URL采集工具(网站关键词URL采集)白蚁网安论坛URL采集工具(网站关键词URL采集助手)是一款很优秀好用的网站关键字URL采集辅助工具。这款法客论坛URL采集工具界面简洁,绿色,无毒,只需点击一下即可...
  • 百谷Url采集

    2015-06-27 12:21:05
    百谷Url采集,百谷Url采集百谷Url采集
  • URL采集最新版

    2018-09-17 23:03:36
    URL采集最新版URL采集最新版
  • url采集

    2015-04-04 07:26:07
    url采集
  • URL采集神器

    2015-09-18 10:13:47
    URL采集神器已优化部分bug,全自动采集
  • 百度url采集

    2018-04-25 21:17:07
    百度url采集器,输入搜索语法可采集符合的网站,保存到txt中,可用于批量搜索可注入站点。
  • superl-url是一款开源的,并且功能强大的关键词URL采集工具,可以根据关键词,对搜索引擎内容检索结果的网址内容进行采集。可自动从搜索引擎采集相关网站的真实地址与标题等信息,可保存为文件,自动去除重复URL。...

    97ae95f7cc72b3d022ab74005b0d47f6.gif

    superl-url是一款开源的,并且功能强大的关键词URL采集工具,可以根据关键词,对搜索引擎内容检索结果的网址内容进行采集。可自动从搜索引擎采集相关网站的真实地址与标题等信息,可保存为文件,自动去除重复URL。同时,也可以自定义忽略多条域名。

    优势介绍

    1.支持多搜索引擎,很方便添加集成。(已内置了百度,搜狗,360),结构模块化,很方便进行扩展,可以无限添加。

    2.开源,跨平台,使用python开发;

    3.做了兼容性优化,同时支持python2和python3;

    4.支持自动过滤重复内容,支持过滤标题中存在指定关键词的内容,支持过滤域名;

    5.保存方式同时支持本地txt和mysql数据库;

    6.从搜索引擎采集到的地址,是真实网站地址,不是像百度快照那样的三方地址;

    7.多进程同时采集。每个搜索引擎都单独一个进程;

    8.可灵活的通过配置文件自定义要保存的结果格式。比如只输出带参数的原始真实URL,或者只输出域名,或者同时输出标题,搜索引擎名称。

    9.可自定义每页采集时间间隔,防止被屏蔽;

    87fbec4009c6d98557b996afa5283916.png

    使用说明

    1.安装python2或者python3运行环境;

    2.如果提示没有找到库,则需要安装依赖:

    如果是python3,则:

    pip install ConfigParser

    pip install tldextract

    如果是Python2,则:

    pip install tldextract

    pip install -i https://pypi.tuna.tsinghua.edu.cn/simple configparser

    文章来源及下载:

    https://github.com/super-l/superl-url

    9b591237048725ca21c5c9455f144656.png

    你可能喜欢

    Snort - 开源网络入侵检测工具

    mysql综合利用工具

    多功能Python键盘记录工具:Radium

    3fd0f669230d9f9beba7200dd7a3e5ac.png

    展开全文
  • URL采集工具V2.1

    2018-07-20 15:22:57
    URL采集工具V2.1,一般用于老域名挖掘,渗透挖掘,发帖采集等
  • superl-url是一款开源的,并且功能强大的关键词URL采集工具,可以根据关键词,对搜索引擎内容检索结果的网址内容进行采集。程序主要运用于安全渗透测试项目,以及批量评估各类CMS系统0DAY的影响程度,同时也是批量...

    superl-url是一款开源的,并且功能强大的关键词URL采集工具,可以根据关键词,对搜索引擎内容检索结果的网址内容进行采集。  

    程序主要运用于安全渗透测试项目,以及批量评估各类CMS系统0DAY的影响程度,同时也是批量采集自己获取感兴趣的网站的一个小程序~~

    本来几年前就写好了,没什么技术含量,没想到小伙伴的使用需求还蛮大的,不敢私藏~~  

    立了flag,git的star过200就一定抽时间去升级,这个flag已经实现,目前已经是4.0版本~~  更新后就在这里发出来了。

    优势介绍

    1.支持多搜索引擎,很方便添加集成。(已内置了百度,搜狗,360),结构模块化,很方便进行扩展,可以无限添加。

    2.开源,跨平台,使用python开发;

    3.做了兼容性优化,同时支持python2和python3;

    4.支持自动过滤重复内容,支持过滤标题中存在指定关键词的内容,支持过滤域名;

    5.保存方式同时支持本地txt和mysql数据库;

    6.从搜索引擎采集到的地址,是真实网站地址,不是像百度快照那样的三方地址;

    7.多进程同时采集。每个搜索引擎都单独一个进程;

    8.可灵活的通过配置文件自定义要保存的结果格式。比如只输出带参数的原始真实URL,或者只输出域名,或者同时输出标题,搜索引擎名称。

    9.可自定义每页采集时间间隔,防止被屏蔽;

    运行效果

    0e1eb82b93837fe9f97c37ef20658768.png

    474b55aeab5947cb093187c4b2bb4ab8.png

    2ae3ca45b1db3c5124b8791f1d109655.png

    使用说明

    1.安装python2或者python3运行环境;

    2.如果提示没有找到库,则需要安装依赖:

    如果是python3,则:

    pip install ConfigParserpip install tldextract

    如果是Python2,则:

    pip install tldextractpip install -i https://pypi.tuna.tsinghua.edu.cn/simple configparser

    3.根据自己的需要,修改根目录下的config.cfg配置文件。 

    配置文件说明

    节点参数示例值说明
    globalsave_typemysql保存类型,可选择file或者mysql,如果是file则保存为本地txt
    globalsleep_time1每次搜索处理完一页后的等待时间,防止太频繁被搜索引擎屏蔽
    urlurl_typerealurl保存文件txt里面显示的url类型。realurl=真实网站地址,baseurl=原始搜索引擎地址,urlparam=带参数的真实网站地址
    filterfilter_statusTrue是否开启过滤器,如果开启,则过滤域名和标题都不生效
    filterfilter_domainTrue是否过滤域名
    filterfilter_titleTrue是否过滤标题
    logwrite_titleTrue是否显示标题
    logwrite_nameTrue是否显示搜索引擎名称
    enginebaiduTrue百度搜索引擎模块是否开启
    enginesougouTrue搜狗模块是否开启
    enginesoFalse搜搜模块是否开启 (搜搜现在抓取不到了)
    pagesizebaidu_pagesize50每页条数
    pagesizesougou_pagesize50每页条数
    pagesizeso_pagesize10每页条数
    mysqlhost127.0.0.1如果保存类型为Mysql,则此节点必须配置正确
    mysqlport3306端口
    mysqluserroot用户名
    mysqlpasswordroot密码
    mysqldatabasesuperldb数据库名称
    mysqltablesearch_data表名称
    filesave_pathdirresult如果保存类型为file,则这里设置的是保存的路径,当前为程序根目录的result文件夹
    pluginprTrue预留的插件功能,暂时不支持

    如果保存方式为Mysql,还需要执行以下sql创建表:

    CREATE TABLE `search_data` (      `id` int(11) unsigned NOT NULL AUTO_INCREMENT,      `engine` varchar(20) NOT NULL DEFAULT '',      `keyword` varchar(100) NOT NULL DEFAULT '',      `baseurl` varchar(255) NOT NULL DEFAULT '',      `realurl` varchar(255) NOT NULL DEFAULT '',      `urlparam` varchar(255) NOT NULL DEFAULT '',      `webtitle` varchar(255) NOT NULL DEFAULT '',      `create_time` int(10) NOT NULL,      PRIMARY KEY (`id`)    ) ENGINE=MyISAM AUTO_INCREMENT=395 DEFAULT CHARSET=utf8;

    项目地址:【点击底部阅读原文查看】

    至于要不要再开发一个JAVA GUI版本的或者php写WEB版本的,先观望观望~

    *本文作者:superl,转载请注明来自FreeBuf.COM

    精彩推荐

    cdc78cbc4f697c4e7cb5db0e7bcac97f.pngfa443d7f9be79f5eb6f7c1c80cee038d.png7d7c2bed34a69d3f271b0b74e790af33.pngd5251597c77ad277ec11560a4fe2af45.png083ab25603cf72755cfcc8cb05863159.gifcccfac3583f69882e57705261f7d7f3a.gif

    展开全文
  • python url采集

    2019-01-07 12:04:08
    python利用百度做url采集pip install tableprintparamiko==2.0.8语法:python url_collection.py -h输出帮助信息python url_collection.py 要采集的信息 -p 页数 -t 进程数 -o 保存的文件名以及格式新建文件touch ...

    python利用百度做url采集
    python url采集
    pip install tableprint
    paramiko==2.0.8
    语法:python url_collection.py -h输出帮助信息
    python url_collection.py 要采集的信息 -p 页数 -t 进程数 -o 保存的文件名以及格式
    新建文件touch url_collection.py
    写入代码正式部分

    #coding: utf-8
    import requests
    from bs4 import BeautifulSoup as bs
    import re
    from Queue import Queue
    import threading
    from argparse import ArgumentParser
    logo="""
    u u l | ccccc ooooo l l eeeeee cccccc ttttttt
    u u r rr l | c o o l l e c t
    u u r r r l | c o o l l eeeeee c t
    u u r l | c o o l l e c t
    u u u r l | c o o l l e c t
    uuuuuuuu u r lllll | ccccc ooooo llllll lllll eeeeee cccccc t
    By : Snow wolf
    """
    print(logo)
    arg = ArgumentParser(description='baidu_url_collect py-script by snowwolf')
    arg.add_argument('keyword',help='keyword like inurl:.?id= for searching sqli site')
    arg.add_argument('-p','--page', help='page count', dest='pagecount', type=int)
    arg.add_argument('-t','--thread', help='the thread_count', dest='thread_count', type=int, default=10)
    arg.add_argument('-o','--outfile', help='the file save result', dest='outfile', default='result.txt')
    result = arg.parse_args()
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:50.0) Gecko/20100101 Firefox/50.0'}

    class Bd_url(threading.Thread):
    def init(self, que):
    threading.Thread.init(self)
    self._que = que

    def run(self):
        while not self._que.empty():
            URL = self._que.get()
            try:
                self.bd_url_collect(URL)
            except Exception,e:
                print e
                pass
    
    def bd_url_collect(self, url):
            r = requests.get(url, headers=headers, timeout=3)
            soup = bs(r.content, 'lxml', from_encoding='utf-8')
            bqs = soup.find_all(name='a', attrs={'data-click':re.compile(r'.'), 'class':None})
            for bq in bqs:
                r = requests.get(bq['href'], headers=headers, timeout=3)
                if r.status_code == 200:
                    print r.url
                    with open(result.outfile, 'a') as f:
                        f.write(r.url + '\n')

    def main():
    thread = []
    thread_count = result.thread_count
    que = Queue()
    for i in range(0,(result.pagecount-1)*10,10):
    que.put('https://www.baidu.com/s?wd=' + result.keyword + '&pn=' + str(i))

    for i in range(thread_count):
        thread.append(Bd_url(que))
    
    for i in thread:
        i.start()
    
    for i in thread:
        i.join()

    if name == 'main':
    main()

    代码结束

    转载于:https://blog.51cto.com/superwolf/2339616

    展开全文
  • 关键词URL采集工具.zip

    2020-03-09 10:22:11
    2020年可用的关键词采集器 URL采集必备工具 百度 bing 搜搜 都可以 快来下载试试吧快来下载试试吧快来下载试试吧
  • 新时代url采集工具

    2015-08-21 03:27:10
    专业的url采集工具
  • Url采集软件是一款可帮助用户快速采集指定的URL链接,并且能够自动去除重复的URL链接url采集工具。软件界面简洁、功能强大,欢迎下载使用。 Url采集软件软件特色: 1、支持自定义正则提取URL 2、支持多页面URL提取...
  • URL采集工具

    2018-07-30 23:24:39
    软件可以一键采集url支持百度,谷歌,bing等搜索引擎。
  • URL采集器,可以根据关键词采集,SQL注入器,傻瓜式找注入点,仅供学习使用,不能用于非法用途,大家可以根据需要下载
  • superl-url是一款开源的,并且功能强大的关键词URL采集工具,可以根据关键词,对搜索引擎内容检索结果的网址内容进行采集。 程序主要运用于安全渗透测试项目,以及批量评估各类CMS系统0DAY的影响程度,同时也是批量...

    superl-url是一款开源的,并且功能强大的关键词URL采集工具,可以根据关键词,对搜索引擎内容检索结果的网址内容进行采集。

    程序主要运用于安全渗透测试项目,以及批量评估各类CMS系统0DAY的影响程度,同时也是批量采集自己获取感兴趣的网站的一个小程序~~

    优势介绍

    1.支持多搜索引擎,很方便添加集成。(已内置了百度,搜狗,360),结构模块化,很方便进行扩展,可以无限添加。

    2.开源,跨平台,使用python开发;

    3.做了兼容性优化,同时支持python2和python3;

    4.支持自动过滤重复内容,支持过滤标题中存在指定关键词的内容,支持过滤域名;

    5.保存方式同时支持本地txt和mysql数据库;

    6.从搜索引擎采集到的地址,是真实网站地址,不是像百度快照那样的三方地址;

    7.多进程同时采集。每个搜索引擎都单独一个进程;

    8.可灵活的通过配置文件自定义要保存的结果格式。比如只输出带参数的原始真实URL,或者只输出域名,或者同时输出标题,搜索引擎名称。

    9.可自定义每页采集时间间隔,防止被屏蔽;

    使用说明

    1.安装python2或者python3运行环境;

    2.如果提示没有找到库,则需要安装依赖:

    如果是python3,则:pip install ConfigParserpip install tldextract

    如果是Python2,则:pip install tldextractpip install -i https://pypi.tuna.tsinghua.edu.cn/simple configparser

    3.根据自己的需要,修改根目录下的config.cfg配置文件。

    
    

    https://www.jianshu.com/p/39a2a512cc63

    展开全文
  • url采集工具

    2020-06-10 20:55:50
    二丶采集原理:从初始关键词里面采集网址,然后在网址里面爬取关键字,一边采集关键字,一边采集网址,redis数据库自动去重,多线程模式采集网址加url redis数据库安装参考:...
  • 原标题:Superl-url:一款开源、强大的关键词URL采集工具superl-url是一款开源的,并且功能强大的关键词URL采集工具,可以根据关键词,对搜索引擎内容检索结果的网址内容进行采集。程序主要运用于安全渗透测试项目,...
  • 法客论坛URL采集工具.rar
  • url采集器 QQ 1285575001 Wechat M010527 技术交流 QQ群599020441 纪年科技aming 0x01 前言 URl采集 批量刷洞 0x02 ZoomEyeAPI脚本编写 ZoomEye是一款针对网络空间的搜索引擎 收录了互联网空间中...
  • superl-url是一款开源的,并且功能强大的关键词URL采集工具,可以根据关键词,对搜索引擎内容检索结果的网址内容进行采集。 程序主要运用于安全渗透测试项目,以及批量评估各类CMS系统0DAY的影响程度,同时也是批量...
  • 百谷url采集软件

    2018-10-04 20:30:00
    一款url批量扫描软件,设置关键字,然后去扫描吧,可以批量抓取url,很不错,功能强大
  • 魅惑小组URL采集工具,用于搭配椰树使用
  • 谷歌url采集

    2020-04-17 11:09:37
    0x001-利用审查元素获取url
  • Google URL采集器,2018年12月份可用版,到2019年 支持网址去重,批量检验存活。 支持自定义规则,适合不同搜索引擎。
  • superl-url是一款开源的,并且功能强大的关键词URL采集工具,可以根据关键词,对搜索引擎内容检索结果的网址内容进行采集。程序主要运用于安全渗透测试项目,以及批量评估各类CMS系统0DAY的影响程度,同时也是批量...
  • Url采集是一个非常专业易用的关键词url批量采集脚本,含站长扩展搜索,包括热门的百度相关搜索词、360搜索引擎、搜狗搜索引擎采集,提供多线程搜索关键词提取,使用的时候只需要先导入关键词到key.txt文档,在运行...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 3,586
精华内容 1,434
关键字:

url采集