精华内容
下载资源
问答
  • 在线网站技术分析工具

    千次阅读 2016-05-20 14:27:47
    Wappalyzer:在线网站技术分析工具 Wappalyzer 网站是一个可以分析不同网站所使用的各种技术的工具,对于有自身经验的网站开发者而言可以通过代码开分析网站的构架和所采用的技术,不过现在你可以通过工具来获得...

    Wappalyzer:在线网站技术分析工具

    Wappalyzer 网站是一个可以分析不同网站所使用的各种技术的工具,对于有自身经验的网站开发者而言可以通过代码开分析网站的构架和所采用的技术,不过现在你可以通过工具来获得网站技术的参数报告了。

    Wappalyzer:在线网站技术分析工具

    Wappalyzer 工具致支持分析目标网站所采用的平台构架、网站环境、服务器配置环境、JavaScript框架、编程语言等参数,同时还可以显示目标站点使用该技术的网站比例,例如有多少网站使用的是Wordpress、有多少网站使用AddThis第三方服务,其他还有网页服务器、分析工具、CDN、留言系统、控制台、网络空间等等,可以让你从使用比例中得出目前最流行的技术。

    使用方法:

    1.打开Wappalyzer 下载页面,找到不同浏览器适用的扩充功能,目前支援Firefox、Google Chrome和Opera,如果你使用的浏览器不在此列,也可以将下方书签列工具直接拖曳到浏览器里,点选就能开启Wappalyzer的网站分析功能。

    2.安装完Wappalyzer 后,浏览器网址列右侧会出现一个小图示,开启你要分析、检测的网页后,点选该图示即可看到网站使用的相关技术和服务。

    例如显示目标站点使用了第三方的AddThis 按钮、jQuery、CloudFlare 和Google Analytics 及AdSense ,可以找到的资讯相当丰富且完整,点选后能开启网站,找到更详细的使用比例。

    展开全文
  • 网站技术分析工具:Wappalyzer

    千次阅读 2019-08-08 16:31:07
    经常有人会问,这个网站使用什么技术搭建? AngularJS?Django?Jquery?还是什么呢?如果遇到这样问题,建议你装一个这样插件:Wappalyzer https://wappalyzer.com/比如CSDN:比如 worktile: ...
    展开全文
  • 引言: 最近针对在线UML工具相关类库,进行了技术选型调研,现在记录如下,方便后续查阅。 draw.io 站点: https://www.draw.io/ 类型: 开源 状态: 活跃 评价: 功能强大,支持各种类型图形编辑工具,...

    引言: 最近针对在线UML工具相关的类库,进行了技术选型调研,现在记录如下,方便后续查阅。

    draw.io

    站点: https://www.draw.io/
    类型: 开源
    状态: 活跃

    评价: 功能强大,支持各种类型的图形编辑工具,以及在线的所见即所得。

    jsUML2

    站点: http://www.uco.es/~in1rosaj/tool_jsUML2.html
    状态: 关闭
    类型: 开源

    评价: 工具强大,且专注于UML方面的在线编辑以及查看功能,最新版本是2014发布的。

    jointjs

    站点: www.jointjs.com
    状态: 活跃
    类型: 基础类库开源,但是提供商业版本的组件库,非常之贵呀。

    评价: 其在商业版本的组件之中支持UML的展示与编辑,非常美观与强大。

    d3.js-class diagram

    站点: https://github.com/hnakamur/d3.js-class-diagram-example
    状态: 2013年,最后一次更新4年之前
    类型:开源

    评价: 可以实现基本的显示功能。暂无编辑功能。

    展开全文
  • 大数据技术人员工具包之—常见数据挖掘分析处理工具 2016年03月15日 大数据 数据科学融合了多门学科并且建立在这些学科理论和技术之上,包括数学、概率模型、统计学、机器学习...

    大数据技术人员工具包之—常见数据挖掘分析处理工具

    数据科学融合了多门学科并且建立在这些学科的理论和技术之上,包括数学、概率模型、统计学、机器学习、数据仓库、可视化等。在实际应用中,数据科学包括数据的收集、清洗、分析、可视化以及数据应用整个迭代过程,最终帮助组织制定正确的发展决策数据科学的从业者称为数据科学家。数据科学家有其独特的基本思路与常用工具,本文全面梳理数据分析师和数据科学家使用的工具包,包括开源的技术平台相关工具、挖掘分析处理工具、其它常见工具等几百种,几十个大类,部分网址!

    数据科学家是有着开阔视野的复合型人才,他们既有坚实的数据科学基础,如数学、统计学、计算机学等,又具备广泛的业务知识和经验数据科学家通过精深的技术和专业知识在某些科学学科领域解决复杂的数据问题,从而制定出适合不同决策人员的大数据计划和策略。数据分析师和数据科学家使用的工具在网上的MOOC有提供,比如2016年2月1日约翰-霍普金斯大学Coursera数据科学专业化课程等网络课程。数据科学家的常用工具与基本思路,并对数据、相关问题和数据分析师和数据科学家使用的工具做了综合概述。

    1458022443-2400-0311

    C.常见的数据挖掘分析处理工具

    1、Dynelle Abeyta整理的数据科学家5种工具(2015-09-29):

    dedup——dedup是一个Python库,使用机器学习快速的对结构化数据进行重复数据删除和实体解析。数据科学家发现他们经常需要使用SELECT DISTINCT * FROM my_messy_dataset;不幸的是,现实世界中的数据集往往更加复杂。无论你是去对多个数据源进行汇总,还是简单的数据收集,开始你都需要对重复数据的删除做一个有意义的分析。如你所想,有取之不尽的方法可以用来合并数据和用之不竭的规则来定义你数据的等价意义。有相同地址的两家餐馆是属于一个公司么?名和姓都相同的两条记录就是同一个人么?你很幸运,dedup可以让你转危为安!基于创新的计算机科学研究,dedup使用机器学习(更确切地说,应该是主动学习)去学习,通过合并人类的反馈对两个可能的模棱两可的记录进行研究,并寻找究竟是什么构成了两者的“相似”。更方便的是,它有一个图形用户界面(GUI),任何人都可以使用它。

    Theano——Theano是一个Python库,你可以有效地定义、优化以及评估包含多维数组的数学表达式。Theano的特点:

    · 和Numpy紧密结合——在Theano编译的函数中使用numpy.ndaaray。

    · GPU的透明使用——在执行密集型数据计算时,相比于CPU,速度提升了140倍。(使用float32进行测试)

    · 速度和稳定性优化——对log(1+x)得到正确的答案,即使x真的很小。

    · C语言代码动态生成——加速评估表达式。

    · 广泛的单元测试和自我验证——发现和诊断不同种类的错误。

    StarCluster——StarCluster已经开始在Amazon的EC2云服务器中设计虚拟机创建、配置和管理集群的自动和简化程序。StarCluster允许所有人在面向分布式和并行计算的应用和系统的云服务器中轻松的创建一个集群计算环境。这允许你在无限制的数据上做交互程序。(贡献者Alessandro Gagliardi,Galvanize数据科学指导者。)

    graph-tool——在python网络和图形分析库与日俱增的情况下,图形工具给了不少希望。尽管像NetworkX和Gephi这样的工具在不断成长的工具中仍然还有它们的一席之地,但是对于那些想要做大图像高级分析的人来说——无论是社会网络、道路网络、还是生物网络——这两者往往会显得力不从心。NetworkX一直是用于网络分析的最流行的Python工具,因为它有着丰富的API并且使用的门槛很低,但是一旦你开始处理更大的图形,纯python实现的弊端才真正开始凸显。而Gephi是一个极好的交互式可视化和开发新图像的图形化工具,但是有一个麻烦的脚本接口,使得它很难使用编程方式去控制。图形工具尝试从它前辈中吸取经验教训并给数据科学家最好的结果。它使用C++实现(可并行执行)并用Python来武装,绑定了一个易于使用的API,同时获得了超快的速度,而且不影响使用性。

    Plotly——Plotly是一个面向R,Python,MATLAB,JavaScript和Excel的交互式图形库。Plotly也是一个用于分析和分享数据和图像的平台。Plotly是如何与众不同的呢?与Google Docs和GitHub一样,你可以协调和控制你的数据;可以将文件设置成公有的、私有的、秘密文件或是分享的。如果你使用plotly的免费公共云,脱机Plotly,或是现场部署,下面的选项很多都是可以获得的。在你的工作流中可以使用Plotly,这里有三种可用方式:

    为数据科学家整合其它工具。Plotly的R,Python和MATLAB的API可以让你做交互、更新仪表面板和图像。Plotly整合了IPython Notebooks,NetworkX,Shiny,ggplot2,matplotlib,pandas,reporting tools和数据库。例如,下面的图是使用ggplot2制作的,然后嵌入到这个博客中。将鼠标悬停后看看数据变化,然后单击拖动放大。

    创建交互式地图。Plotly的图形库建立在D3.js之上。对于地理数据,Plotly支持分级统计图、散点图、气泡图、分块图和线图。你可以制作类似下面这样的地图,像R和Python一样把它们嵌入到博客,应用程序和仪表板。

    建立全方位的可视化。你可以为使用Plotly满足任意的可视化需求:地图、2D、3D以及流图。点击并移动你的鼠标来旋转这个图,悬停并观察数据变化,或切换放大。

    2、6种开源数据挖掘工具:百分之八十的数据是非结构化的,需要一个程序和方法来从中提取有用信息,并且将其转换为可理解、可用的结构化形式。数据挖掘过程中有大量的工具可供使用,比如采用人工智能、机器学习,以及其他技术等来提取数据。以下为您推荐六款开源大数据挖掘工具:

    1)WEKA——WEKA原生的非Java版本主要是为了分析农业领域数据而开发的。该工具基于Java版本,是非常复杂的,并且应用在许多不同的应用中,包括数据分析以及预测建模的可视化和算法。与 RapidMiner 相比优势在于,它在 GNU 通用公共许可证下是免费的,因为用户可以按照自己的喜好选择自定义。WEKA 支持多种标准数据挖掘任务,包括数据预处理、收集、分类、回归分析、可视化和特征选取。添加序列建模后,WEKA 将会变得更强大,但目前不包括在内。

    2)RapidMiner——该工具是用Java语言编写的,通过基于模板的框架提供先进的分析技术。该款工具最大的好处就是,用户无需写任何代码。它是作为一个服务提供,而不是一款本地软件。值得一提的是,该工具在数据挖掘工具榜上位列榜首。另外,除了数据挖掘,RapidMiner 还提供如数据预处理和可视化、预测分析和统计建模、评估和部署等功能。更厉害的是它还提供来自WEKA(一种智能分析环境)和R脚本的学习方案、模型和算法。RapidMiner分布在AGPL开源许可下,可以从 SourceForge上下载。SourceForge是一个开发者进行开发管理的集中式场所,大量开源项目在此落户,其中就包括维基百科使用的 MediaWiki。

    3)NLTK——当涉及到语言处理任务,没有什么可以打败NLTK。NLTK提供了一个语言处理工具,包括数据挖掘、机器学习、数据抓取、情感分析等各种语言处理任务。而您需要做的只是安装NLTK,然后将一个包拖拽到您最喜爱的任务中,您就可以去做其他事了。因为它是用Python语言编写的,你可以在上面建立应用,还可以自定义它的小任务。

    4)Orange——Python之所以受欢迎,是因为它简单易学并且功能强大。如果你是一个Python开发者,当涉及到需要找一个工作用的工具时,那么没有比Orange更合适的了。它是一个基于Python语言,功能强大的开源工具,并且对初学者和专家级的大神均适用。此外,你肯定会爱上这个工具的可视化编程和 Python 脚本。它不仅有机器学习的组件,还附加有生物信息和文本挖掘,可以说是充满了数据分析的各种功能。

    5)KNIME——数据处理主要有三个部分:提取、转换和加载。而这三者KNIME都可以做到。KNIME为您提供了一个图形化的用户界面,以便对数据节点进行处理。它是一个开源的数据分析、报告和综合平台,同时还通过其模块化数据的流水型概念,集成了各种机器学习的组件和数据挖掘,并引起了商业智能和财务数据分析的注意。KNIME是基于Eclipse,用Java编写的,并且易于扩展和补充插件。其附加功能可随时添加,并且其大量的数据集成模块已包含在核心版本中。

    6)R-Programming——如果我告诉你R项目,一个GNU项目,是由R(R-programming简称,以下统称R)自身编写的,你会怎么想?它主要是由C语言和FORTRAN语言编写的,并且很多模块都是由R编写的,这是一款针对编程语言和软件环境进行统计计算和制图的免费软件。R语言被广泛应用于数据挖掘,以及开发统计软件和数据分析中。近年来,易用性和可扩展性也大大提高了 R 的知名度。除了数据,它还提供统计和制图技术,包括线性和非线性建模,经典的统计测试,时间序列分析、分类、收集等等。

    3、数据分析语言3种工具:随着数据科学分析工具的发展,一方面成功解决了数据科学中的算法失效、超大规模数据可视化等一系列挑战;另一方面各具特点和优缺点。例如Mahout具有优秀的大数据处理能力,不仅处理数据量大且速度快,但可视化能力差。接下来选取R语言、RapidMiner、Mahout三种主流的数据科学分析工具,对其概述并以表格的形式对三者的主要特点进行了比较分析,工具基本情况如下。

    1)R语言用于统计计算和作图的编程语言和环境,采用命令行工作方式,在GNU协议下免费发行,其源代码可供自由下载和使用。R网站CRAN上提供了大量的第三方程序包,内容涵盖了经济学、社会学、统计学、生物信息学等诸多方面,这也是为什么越来越多的各行各业的人员喜爱R的一个重要原因。针对传统分析软件的扩展性差以及Hadoop的分析功能薄弱的弱势,研究人员致力于将R语言和Hadoop的集成。R作为开源的统计分析软件,通过R与Hadoop的深度集成,把数据计算推向并行处理,使Hadoop获得强大的深度分析能力。

    2)RapidMiner原名Yale,是一种用于数据挖掘、机器学习以及商业预测分析的开源计算环境。其既可以使用简单的脚本语言进行大规模进程操作,也可以通过JavaAPI或GUI模式进行操作。因为其具备GUI特性,所以对于数据挖掘的初学者比较容易入门。RapidMiner6具有友好而强大的工具箱,提供快而稳定的分析,可以在短时间内设计好一个原型,使得数据挖掘过程中的关键决策尽可能早地实现。帮助减少客户流失、进行情感分析、预测性维护以及市场直销等。

    3)ApacheMahout起源于2008年,其主要目标是构建一个可伸缩的机器学习算法的资源库,它提供了一些经典的机器学习算法,旨在帮助开发人员更加方便快捷地创建智能应用程序。目前,Mahout的项目包括频繁子项挖掘、分类、聚类、推荐引擎(协同过滤)。

    4、数据挖掘5种工具分别为:Intelligent Miner、SAS Enterpreise Miner 、SPSS Clementine、马克威分析系统、GDM,下面将作部分介绍。

    1)Intelligent Miner综述:IBM的Exterprise Miner简单易用,是理解数据挖掘的好的开始。能处理大。数据量的挖掘,功能一般,可能仅满足要求.没有数据探索功能。与其他软件接口差,只能用DB2,连接DB2以外的数据库时,如Oracle, SAS, SPSS需 要安装DataJoiner作为中间软件。难以发布。结果美观,但同样不好理解。

    2)SAS Enterprise Miner综述:SAS完仝以统计理论为基础,功能强大,有完备的数据探索功能。但难以掌握,要求是高级统计分析专业人员.结果难以理解。价格也极其昂贵,而且是租赁模式。基本内容:支持SAS统计模块,使之具有杰出的力量和影响,它还通过大量数据挖掘算法增强了那些模块。SAS使用它的SEMMA方法学以提供一个能支持包括关联、聚类、决策树、神经元网络和统计回归在内的广阔范围的模型数据挖掘工具。

    3)SPSS(Statistical Product and Service Solutions)综述:“统计产品与服务解决方案”软件。最初软件全称为“社会科学统计软件包”。但是随着SPSS产品服务领域的扩大和服务深度的增加,SPSS公司已于2000年正式将英文全称更改为“统计产品与服务解决方案”。用作多个领域和行业,是世界上应用最广泛的专业统计软件。

    展开全文
  • 考虑到现有技术解决方案复杂性与多样化,企业往往很难找到适合自己大数据收集与分析工具。然而,混乱时局之下已经有多种方案脱颖而出,证明其能够帮助大家切实完成大数据分析类工作。下面我们将整理出一份包含...
  • 前面话有一次,被一个...然后晚上我百度了一下,看了几个博客,再然后自己写了一个Demo,就明白了,原来是一个性能分析定位工具,只要用过,就是如此简单,对于所有人都是零门槛那种,哎,好多面试都是扯蛋。
  • SystraceSystrace collects system and application process execution data and generates detailed, interactive reports from devices running Android 4.1 and higher.Systrace 是用来收集系统和应用数据信息...
  • Java 开发者常会运用 JDK?...哪几个源代码管理工具是开发设计团队首要采用? Java 开发人员首要应用哪几个测试技术? Java 程序员在应用程序中会采用哪几个非 JVM 语言? 哪几个 Web 框架是 Java 开发人
  • API文档工具有助于自动化创建和管理文档,并以易于阅读和理解方式帮助用户去格式化和显示信息,即使对于没有技术背景用户也能轻松使用。 但是,哪种工具更适合用来撰写和存放您业务相关API文档? 在本文中,...
  • 不管是已经应用大数据还是将要应用大数据企业,都要面对选择...企业应用大数据分析技术,想要达到什么样成果,大数据分析工具可以帮助企业进行大数据实时分析,提高业务流程,因为不同数据类型都已用不同...
  • 本文首先介绍了静态代码分析的基本概念及主要技术,随后分别介绍了4种现有的主流Java静态代码分析工具 (Checkstyle,FindBugs,PMD,Jtest),最后从功能、特性等方面对它们进行分析和比较,希望能够帮助Java软件开发...
  • python文本分析工具 探索性数据分析是任何机器学习工作流程中最重要部分之一,自然语言处理也是如此。 但是,您应该选择哪种工具来有效地浏览和可视化文本数据? 在本文(Shahul Es最初在 Neptune博客 上发布 ...
  • 公司对数据分析的使用每年都在增加,公司的主要关注点是客户。因此,数据分析在B2C 应用中展现的效果更佳显著,根据环境的性质将分析划分为不同的类型,包括数据分析视角、商业视角、可实施性视角及市场观点等等。 ...
  •  虽然这些技术都还只是蓝图规划,但是一些常见的主题还是对其贯穿始终:为用户提供简单的获得数据的访问方式,更好的管理大规模数据以及预先分析的功能,例如Spark、HAWQ和Geode等新兴的大数据技术来实现更多的功能...
  • 大数据IT分析工具

    2018-03-16 22:58:20
    大数据概念应用到IT操作工具产生的数据中,大数据可以使IT管理软件... 大数据分析的产生旨在于IT管理,企业可以将实时数据流分析和历史相关数据相结合,然后大数据分析并发现它们所需的模型。反过来,帮助预测和预...
  • 本文首先介绍了静态代码分析的基本概念及主要技术,随后分别介绍了现有 4 种主流 Java 静态代码分析工具 (Checkstyle,FindBugs,PMD,Jtest),最后从功能、特性等方面对它们进行分析和比较,希望能够帮助 Java 软件...
  • 要:本文讨论了Linux环境下攻击者入侵成功以后常常使用一些后门技术,并且对最著名rootkit工具之一—knark进行了详细的分析,并且指出了在发现系统被入侵以后如何发现是否是kark及如何恢复。 注意:本文是...
  • 根据ABI Research近期一份报告,机器学习分析工具将减少IoT复杂性,并提高IoT采用。该公司预计,随着机器学习即服务(MLaaS)模型发展,机器学习数据分析工具和服务收入到2021年将达到200亿美元。
  • Linux常见内存分析工具

    千次阅读 2019-02-01 01:27:37
    随着技术的日新月异,嵌入式软件产品也逐渐往更高端, ...本文将列出几个我比较熟悉的内存分析的工具或者方法,读者不妨可以尝试使用以下。 1. system monitor图像化界面 在ubuntu左上角点击search your comput...
  • 信息安全常被描述成一场军备竞赛,白帽与黑帽,渗透测试者与黑客,善与恶,本文将聚焦这场永无止境决斗中一个小点。...amp; JS 应用中充满着对输入进行...作为对立面,反混淆工具也可以将混淆过 JS 代码进行还原...
  • 概述:在开发和操作经常会发生重叠地方,VS TFS异常分析工具PATFS异常监测通常会需要特殊设置。这些都是通过他们定义进行事件驱动。下面的技术将有助于将意义完整事件区分出来。 》》》《VS TFS异常...
  • 文章讲是最好用实时威胁分析+大数据分析工具,随着网络技术的发展,扫描和筛选恶意软件过程越来越复杂,大多数传统反恶意软件工具只能解决非常表面问题,使用简单方法防护网络端点安全已经过时了。...
  • 鉴于市面上大数据分析工具琳琅满目日新月异,为了帮助大家少走弯路,为不同技术背景IT专业人士整理了十条大数据分析工具的进修技术路径: 一、Excel起步 作为一个入门级工具,Excel是快速分析数据理想工具...
  • 下面整理了一些大数据分析能用到的工具,助力大家更好的应用大数据技术。 一、hadoop Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是...

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 23,760
精华内容 9,504
关键字:

技术分析的工具