精华内容
下载资源
问答
  • 缺陷检测开源工具

    千次阅读 2020-02-02 16:18:15
    来源:缺陷检测开源工具 一、DEye下载链接:https://github.com/sundyCoder/DEye介绍:Defect Eye是一个基于tensorflow1.4的开源软件库,主要用于表面缺陷检查。该应用领域涵盖了制造环境中的各种应用,包括加工工具...

    作者:Tom Hardy
    Date:2020-01-06
    来源:缺陷检测开源工具

    展开全文
  • NLP开源工具详解

    千次阅读 2019-06-19 23:33:11
    面向工业应用的中文NLP开源工具集、基于PaddlePaddle深度学习框架打造的工业级NLP开源工具集。 一、文本分类 1、文本情感分析 情感是人类的一种高级智能行为,为了识别文本的情感倾向,需要深入的语义建模。另外,...

    一、PaddleNLP
    面向工业应用的中文NLP开源工具集、基于PaddlePaddle深度学习框架打造的工业级NLP开源工具集。
    一、文本分类
    1、文本情感分析
    情感是人类的一种高级智能行为,为了识别文本的情感倾向,需要深入的语义建模。另外,不同领域(如餐饮、体育)在情感的表达各不相同,因而需要有大规模覆盖各个领域的数据进行模型训练。为此,我们通过基于深度学习的语义模型和大规模数据挖掘解决上述两个问题。百度自主研发的中文特色情感倾向分析模型(Sentiment Classification,简称Senta)针对带有主观描述的中文文本,可自动判断该文本的情感极性类别并给出相应的置信度。情感类型分为积极、消极。情感倾向分析能够帮助企业理解用户消费习惯、分析热点话题和危机舆情监控,为企业提供有利的决策支持。

    基于开源情感倾向分类数据集ChnSentiCorp评测结果如下表所示,此外,PaddleNLP还开源了百度基于海量数据训练好的模型,该模型在ChnSentiCorp数据集上fine-tune之后(基于开源模型进行Finetune的方法详见Github),可以得到更好的效果。

    BOW(Bag Of Words)模型,是一个非序列模型,使用基本的全连接结构。
    
    CNN(Convolutional Neural Networks),是一个基础的序列模型,能处理变长序列输入,提取局部区域之内的特征。
    
    GRU(Gated Recurrent Unit),序列模型,能够较好地解决序列文本中长距离依赖的问题。
    
    LSTM(Long Short Term Memory),序列模型,能够较好地解决序列文本中长距离依赖的问题。
    
    BI-LSTM(Bidirectional Long Short Term Memory),序列模型,采用双向LSTM结构,更好地捕获句子中的语义特征。
    
    ERNIE(Enhanced Representation through kNowledge IntEgration),百度自研基于海量数据和先验知识训练的通用文本语义表示模型,并基于此在情感倾向分类数据集上进行fine-tune获得。
    
    ERNIE+BI-LSTM,基于ERNIE语义表示对接上层BI-LSTM模型,并基于此在情感倾向分类数据集上进行Fine-tune获得。
    

    在这里插入图片描述
    项目地址:https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/sentiment_classification

    2.对话情绪识别
    对话情绪识别适用于聊天、客服等多个场景,能够帮助企业更好地把握对话质量、改善产品的用户交互体验,也能分析客服服务质量、降低人工质检成本。对话情绪识别(Emotion Detection,简称EmoTect),专注于识别智能对话场景中用户的情绪,针对智能对话场景中的用户文本,自动判断该文本的情绪类别并给出相应的置信度,情绪类型分为积极、消极、中性。

    基于百度自建测试集(包含闲聊、客服)和nlpcc2014微博情绪数据集评测效果如下表所示,此外,PaddleNLP还开源了百度基于海量数据训练好的模型,该模型在聊天对话语料上fine-tune之后,可以得到更好的效果。

    BOW:Bag Of Words,是一个非序列模型,使用基本的全连接结构。
    
    CNN:浅层CNN模型,能够处理变长的序列输入,提取一个局部区域之内的特征。
    
    TextCNN:多卷积核CNN模型,能够更好地捕捉句子局部相关性。
    
    LSTM:单层LSTM模型,能够较好地解决序列文本中长距离依赖的问题。
    
    BI-LSTM:双向单层LSTM模型,采用双向LSTM结构,更好地捕获句子中的语义特征。
    
    ERNIE:百度自研基于海量数据和先验知识训练的通用文本语义表示模型,并基于此在对话情绪分类数据集上进行fine-tune获得。
    
    

    在这里插入图片描述
    项目地址:
    https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/emotion_detection

    二、文本匹配
    1、短文本语义匹配

    百度自主研发的短文本语义匹配语义匹配框架(SimilarityNet, SimNet)是一个计算短文本相似度的框架,可以根据用户输入的两个文本,计算出相似度得分。SimNet 在语义表示上沿袭了隐式连续向量表示的方式,但对语义匹配问题在深度学习框架下进行了 End-to-End 的建模,将point-wise与 pair-wise两种有监督学习方式全部统一在一个整体框架内。在实际应用场景下,将海量的用户点击行为数据转化为大规模的弱标记数据,在网页搜索任务上的初次使用即展现出极大威力,带来了相关性的明显提升。SimNet框架在百度各产品上广泛应用,主要包括BOW、CNN、RNN、MMDNN等核心网络结构形式,提供语义相似度计算训练和预测框架,适用于信息检索、新闻推荐、智能客服等多个应用场景,帮助企业解决语义匹配问题。

    基于百度海量搜索数据,PaddleNLP训练了一个SimNet-BOW-Pairwise语义匹配模型,在一些真实的FAQ问答场景中,该模型效果比基于字面的相似度方法AUC提升5%以上。基于百度自建测试集(包含聊天、客服等数据集)和语义匹配数据集(LCQMC)进行评测,效果如下表所示。

    LCQMC数据集以Accuracy为评测指标,而pairwise模型的输出为相似度,因此采用0.958作为分类阈值,相比于基线模型中网络结构同等复杂的CBOW模型(准确率为0.737),BOW_Pairwise的准确率提升为0.7532。
    在这里插入图片描述
    项目地址:
    https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/similarity_net

    三、序列标注
    1、词法分析

    百度自主研发中文特色模型词法分析任务(Lexical Analysis of Chinese),输入是一个字符串,而输出是句子中的词边界和词性、实体类别。序列标注是词法分析的经典建模方式。LAC使用基于 GRU 的网络结构学习特征,将学习到的特征接入 CRF 解码层完成序列标注。CRF 解码层本质上是将传统 CRF 中的线性模型换成了非线性神经网络,基于句子级别的似然概率,因而能够更好的解决标记偏置问题。LAC能整体性地完成中文分词、词性标注、专名识别任务。

    基于自建的数据集上对分词、词性标注、专名识别进行整体的评估效果,效果如下表所示。此外,在飞桨开放的语义表示模型 ERNIE 上 finetune,并对比基线模型、BERT finetuned 和 ERNIE finetuned 的效果,可以看出会有显著的提升。

    项目代码:
    https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/lexical_analysis

    四、文本生成
    1、机器翻译

    机器翻译(machine translation, MT)是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程,输入为源语言句子,输出为相应的目标语言的句子。Transformer是论文 「Attention Is All You Need 」中提出的用以完成机器翻译(machine translation, MT)等序列到序列(sequence to sequence, Seq2Seq)学习任务的一种全新网络结构。

    其同样使用了 Seq2Seq 任务中典型的编码器-解码器(Encoder-Decoder)的框架结构,但相较于此前广泛使用的循环神经网络(Recurrent Neural Network, RNN),其完全使用注意力(Attention)机制来实现序列到序列的建模,基于公开的 WMT’16 EN-DE 数据集训练 Base、Big 两种配置的Transformer 模型后,在相应的测试集上进行评测,效果如下表所示。

    项目代码:
    https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/neural_machine_translation/transformer

    五、语义表示与语言模型
    1、语言表示工具箱

    BERT 是一个迁移能力很强的通用语义表示模型,以 Transformer 为网络基本组件,以双向 Masked Language Model和 Next Sentence Prediction 为训练目标,通过预训练得到通用语义表示,再结合简单的输出层,应用到下游的 NLP 任务,在多个任务上取得了 SOTA 的结果。

    ELMo(Embeddings from Language Models) 是重要的通用语义表示模型之一,以双向 LSTM 为网路基本组件,以 Language Model 为训练目标,通过预训练得到通用的语义表示,将通用的语义表示作为Feature 迁移到下游 NLP 任务中,会显著提升下游任务的模型性能。PaddleNLP发布了基于百科类数据训练的预训练模型。

    百度自研的语义表示模型ERNIE 通过建模海量数据中的词、实体及实体关系,学习真实世界的语义知识。相较于 BERT 学习原始语言信号,ERNIE直接对先验语义知识单元进行建模,增强了模型语义表示能力。

    这里我们举个例子:

    Learnt by BERT :哈 [mask] 滨是 [mask] 龙江的省会,[mask] 际冰 [mask] 文化名城。

    Learnt by ERNIE:[mask] [mask][mask] 是黑龙江的省会,国际 [mask] [mask] 文化名城。

    在 BERT 模型中,我们通过『哈』与『滨』的局部共现,即可判断出『尔』字,模型没有学习与『哈尔滨』相关的任何知识。而 ERNIE 通过学习词与实体的表达,使模型能够建模出『哈尔滨』与『黑龙江』的关系,学到『哈尔滨』是『黑龙江』的省会以及『哈尔滨』是个冰雪城市。

    训练数据方面,除百科类、资讯类中文语料外,ERNIE 还引入了论坛对话类数据,利用 DLM(Dialogue Language Model)建模 Query-Response 对话结构,将对话 Pair 对作为输入,引入 Dialogue Embedding 标识对话的角色,利用 Dialogue Response Loss学习对话的隐式关系,进一步提升模型的语义表示能力。

    ERNIE在自然语言推断,语义相似度,命名实体识别,情感分析,问答匹配多项NLP中文任务上效果领先。

    项目地址:
    https://github.com/PaddlePaddle/LARK/tree/develop/ERNIE

    https://github.com/PaddlePaddle/LARK/tree/develop/BERT

    https://github.com/PaddlePaddle/LARK/tree/develop/ELMo

    2、语言模型

    基于LSTM的语言模型任务是给定一个输入词序列(中文分词、英文tokenize),计算其PPL(语言模型困惑度,用户表示句子的流利程度),基于循环神经网络语言模型的介绍可以参阅论文「Recurrent Neural Network Regularization」。相对于传统的方法,基于循环神经网络的方法能够更好的解决稀疏词的问题。此任务采用了序列任务常用的RNN网络,实现了一个两层的LSTM网络,然后LSTM的结果去预测下一个词出现的概率。

    在small、meidum、large三个不同配置情况的ppl对比如下表所示。

    项目地址:
    https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/language_model

    六、复杂任务
    1、对话模型工具箱

    Auto Dialogue Evaluation

    对话自动评估模块主要用于评估开放领域对话系统的回复质量,能够帮助企业或个人快速评估对话系统的回复质量,减少人工评估成本。

    1)在无标注数据的情况下,利用负采样训练匹配模型作为评估工具,实现对多个对话系统回复质量排序;
    
    2)利用少量标注数据(特定对话系统或场景的人工打分),在匹配模型基础上进行微调,可以显著提高该对话系统或场景的评估效果。
    

    以四个不同的对话系统(seq2seq_naive/seq2seq_att/keywords/human)为例,使用对话自动评估工具进行自动评估。

    1)无标注数据情况下,直接使用预训练好的评估工具进行评估;在四个对话系统上,自动评估打分和人工评估打分spearman相关系数,如下表所示。
    在这里插入图片描述
    2) 对四个系统平均得分排序:
    在这里插入图片描述
    3)利用少量标注数据微调后,自动评估打分和人工打分spearman相关系数,如下表所示。
    在这里插入图片描述
    项目地址:
    https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/dialogue_model_toolkit/auto_dialogue_evaluation

    Deep Attention Matching Network

    深度注意力机制模型是开放领域多轮对话匹配模型。根据多轮对话历史和候选回复内容,排序出最合适的回复。

    多轮对话匹配任务输入是多轮对话历史和候选回复,输出是回复匹配得分,根据匹配得分排序,更多内容请参阅论文「Multi-Turn Response Selection for Chatbots with Deep Attention Matching Network」。

    两个公开数据集上评测效果如下表所示。
    在这里插入图片描述
    项目地址:
    https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/dialogue_model_toolkit/deep_attention_matching

    对话通用理解模型DGU

    对话相关的任务中,Dialogue System常常需要根据场景的变化去解决多种多样的任务。任务的多样性(意图识别、槽位解析、DA识别、DST等等),以及领域训练数据的稀少,给Dialogue System的研究和应用带来了巨大的困难和挑战,要使得dialogue system得到更好的发展,需要开发一个通用的对话理解模型。基于BERT的对话通用理解模块(DGU: Dialogue General Understanding),通过实验表明,使用base-model(BERT)并结合常见的学习范式,在几乎全部对话理解任务上取得比肩甚至超越各个领域业内最好的模型的效果,展现了学习一个通用对话理解模型的巨大潜力。

    DGU针对数据集开发了相关的模型训练过程,支持分类,多标签分类,序列标注等任务,用户可针对自己的数据集,进行相关的模型定制。基于对话相关的业内公开数据集进行评测,效果如下表所示。
    在这里插入图片描述
    项目地址:
    https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/dialogue_model_toolkit/dialogue_general_understanding

    2、知识驱动对话

    人机对话是人工智能(AI)中最重要的话题之一,近年来受到学术界和工业界的广泛关注。目前,对话系统仍然处于起步阶段,通常是被动地进行交谈,并且更多地将他们的言论作为回应而不是他们自己的倡议,这与人与人的谈话不同。因此,我们在一个名为知识驱动对话的新对话任务上设置了这个竞赛,其中机器基于构建的知识图与人交谈。它旨在测试机器进行类似人类对话的能力。

    我们提供基于检索和基于生成的基线系统。这两个系统都是由PaddlePaddle(百度深度学习平台)和Pytorch(Facebook深度学习框架)实现的。两个系统的性能如下表所示。
    在这里插入图片描述
    项目地址:
    https://github.com/baidu/knowledge-driven-dialogue/tree/master

    3、阅读理解

    在机器阅读理解(MRC)任务中,我们会给定一个问题(Q)以及一个或多个段落§/文档(D),然后利用机器在给定的段落中寻找正确答案(A),即Q + P or D => A. 机器阅读理解(MRC)是自然语言处理(NLP)中的关键任务之一,需要机器对语言有深刻的理解才能找到正确的答案。基于PaddlePaddle的阅读理解升级了经典的阅读理解BiDAF模型,去掉了char级别的embedding,在预测层中使用了pointer network,并且参考了R-NET中的一些网络结构,效果上有了大幅提升(在DuReader2.0验证集、测试集的表现见下表)。

    DuReader是一个大规模、面向真实应用、由人类生成的中文阅读理解数据集。DuReader聚焦于真实世界中的不限定领域的问答任务。相较于其他阅读理解数据集,DuReader的优势包括:

    问题来自于真实的搜索日志
    
    文章内容来自于真实网页
    
    答案由人类生成
    
     面向真实应用场景
    
    标注更加丰富细致
    

    在这里插入图片描述
    项目地址:
    https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/reading_comprehension

    参考:https://nlp.baidu.com/homepage/nlptools

    展开全文
  • 13款运维监控工具之开源工具介绍

    万次阅读 2019-02-16 20:25:21
    监控作为重要性最高的机制之一,在一定程度上也遭到了我们的忽视。 无处不在的灾难,如果有监控系统的预警,...在接下来的两节课里面,我们会说到开源工具介绍和商用运维监控系统这两块。 下面我就来来详细说说开...

    监控作为重要性最高的机制之一,在一定程度上也遭到了我们的忽视。

    无处不在的灾难,如果有监控系统的预警,那么,我们就有机会迅速启动灾难响应方案或者着手排除复杂的性能故障,这对于任何规模的企业而言都极具巨大的实际价值。

    有效的运行监测体系,最终离不开相关技术平台的支撑,而我们需要了解监测技术平台。

    在接下来的两节课里面,我们会说到开源工具介绍和商用运维监控系统这两块。

    下面我就来来详细说说开源工具介绍。

    Zabbix

    官方网站:https://www.zabbix.com/

    Zabbix是一个基于WEB界面的提供分布式系统监控以及网络监控功能的企业级开源运维平台,也是目前国内互联网用户中使用最广的监控软件,云智慧遇到的85%以上用户在使用Zabbix做监控解决方案。

    入门容易、上手简单、功能强大并且开源免费是云智慧对Zabbix的最直观评价。Zabbix易于管理和配置,能生成比较漂亮的数据图,其自动发 现功能大大减轻日常管理的工作量,丰富的数据采集方式和API接口可以让用户灵活进行数据采集,而分布式系统架构可以支持监控更多的设备。理论上,通过 Zabbix提供的插件式架构,可以满足企业的任何需求。

    可以直接查看我们zabbix相关板块:https://www.abcdocker.com/abcdocker/category/zabbix/

    用户群:90%以上中小型的泛互联网企业

    优点:

    1. 支持多平台的企业级分布式开源监控软件

    2. 安装部署简单,多种数据采集插件灵活集成

    3. 功能强大,可实现复杂多条件告警,

    4. 自带画图功能,得到的数据可以绘成图形

    5. 提供多种API接口,支持调用脚本

    6. 出现问题时可自动远程执行命令(需对agent设置执行权限)

    缺点:

    1. 项目批量修改不方便

    2. 入门容易,能实现基础的监控,但是深层次需求需要非常熟悉Zabbix并进行大量的二次定制开发,难度较大;

    3. 系统级别报警设置相对比较多,如果不筛选的话报警邮件会很多;并且自定义的项目报警需要自己设置,过程比较繁琐(但是网上的模板比较,也可以使用模板导入的方法);

    4. 缺少数据汇总功能,如无法查看一组服务器平均值,需进行二次开发;

    5. 数据报表需要特殊二次开发定义;

    Nagios

    官方网站:https://www.nagios.org/

    Nagios是一款开源的企业级监控系统,能够实现对系统CPU、磁盘、网络等方面参数的基本系统监控,以及 SMTP,POP3,HTTP,NNTP等各种基本的服务类型。另外通过安装插件和编写监控脚本,用户可以实现应用监控,并针对大量的监控主机和多个对象 部署层次化监控架构。

    Nagios最大的特点是其强大的管理中心,尽管其功能是监控服务和主机的,但Nagios自身并不包括这部分功能代码,所有的监控、告警功能都是由相关插件完成的。

    用户群:适合复杂IT环境的企业

    优点:

    1. 出错的服务器、应用和设备会自动重启,自动日志滚动

    2. 配置灵活,可以自定义shell脚本,通过分布式监控模式

    3. 支持以冗余方式进行主机监控,报警设置多样

    4. 命令重新加载配置文件无需打扰Nagios的运行

    缺点:

    1. 事件控制台功能很弱,插件易用性差

    2. 对性能、流量等指标的处理不给力

    3. 看不到历史数据,只能看到报警事件,很难追查故障原因

    4. 配置复杂,初学者投入的时间、精力和成本比较大

    anglia

    官方网站:http://ganglia.info/

    Ganglia是加州大学伯克利分校发起的一个开源集群监控项目,设计之初是用于监控数以千计的网络节点。Ganglia是一个跨平台可扩展的,高性能计算系统下的分布式监控系统。它已被广泛移植到各种操作系统和处理器架构上。

    用户群:适用于大型服务器集群用户。

    优点:

    1. 适合监控系统性能,通过曲线很容易见到每个节点的工作状态

    2. 可以自定义监控项,监控展示有表格和图像两种,支持手机版

    3. 部署方便,通过不同的分层管理上万台机器,无需逐个添加配置

    缺点:

    1. 没有内置的消息通知系统

    2. 没有报警机制,出现问题不能够及时报警

    Grafana

    官方网站:http://grafana.org/

    Grafana可以用在任何需要数据可视化的地方,如果有一天老板需要你做一份漂亮的业务数据图表,你无需头疼用什么绘图库去开发,你要做的仅仅是将业务数据稍作加工存入Grafana支持的DataSource,点几下鼠标即可配制出一份完美的数据图表。

    因为这款工具除了绘图比较好看,其他的功能不如我们的zabbix。我们这里就简单的说一下,以后会有相关文档,请继续关注abcdocker!

    Zenoss

    Zenoss Core是Zenoss的开源版本,其商用版本为ZenossEnterprise。作为企业级智能监控软件,Zenoss Core允许IT管理员依靠单一的WEB控制台来监控网络架构的状态和健康度。Zenoss Core的强大能力来自于深入的列表与配置管理数据库,以发现和管理公司IT环境的各类资产。Zenoss同时提供与CMDB关联的事件和错误管理系统, 以协助提高各类事件和提醒的管理效率。

    优点:

    1. Zenoss比较出色的地方在于它的Dashboard,可以配置很多portlet

    2. 每个用户的界面都是分开管理的,自定义dashboard不会影响其他用户

    3. 强大监控功能支持服务器、路由交换、防火墙、存储、数据库、中间件监控

    4. 采用基于HBASE的opentsdb存储任意时间段的数据

    5. 将状态监控,性能监控,资源管理,良好的报告机制进行有机的整合

    缺点:

    1. 对资源要求较高,即使只管理少数几台设备,也需要消耗大量硬件及内存等附加资源。

    2. 针对windows系统,开源版只提供SNMP,通过WMI检测CPU,Disk,软硬件和性能只在收费版提供。

    Open-falcon

    Open-falcon是小米运维团队从互联网公司的需求出发,根据多年的运维经验,结合SRE、SA、DEVS的使用经验和反馈,开发的一套面向互联网的企业级开源监控产品。

    Open-falcon架构

    用户群:目前有几十家企业用户不同程度使用。

    优点:

    1. 自动发现,支持falcon-agent、snmp、支持用户主动push、用户自定义插件支持

    2. 支持每个周期上亿次的数据采集、告警判定、历史数据存储和查询

    3. 高效的portal、支持策略模板、模板继承和覆盖、多种告警方式、支持callback调用

    4. 单机支撑200万metric的上报、归档、存储

    5. 采用rrdtool的数据归档策略,秒级返回上百个metric一年的历史数据

    6. 多维度的数据展示,用户自定义Screen 7. 通过各种插件目前支持Linux、Windows、Mysql、Redis、Memache、RabbitMQ和交换机监控。

    缺点:

    由于发布时间较短,很多基础的服务监控插件(如Tomcat、apache等)还不支持,很多功能还在不断完善中,另外由于缺少专门的支持,虽然有开放社区,但是解决问题的效率相对较低。

    Cacti

    官方网站:http://www.cacti.net

    提示:近几年cacti和nagios已经基本被zabbix代替

    Cacti 在英文中的意思是仙人掌的意思,Cacti是一套基于PHP、MySQL、SNMP及RRDTool开发的网络流量监测图形分析工具。它通过snmpget来获取数据,使用 RRDtool绘画图形,它的界面非常漂亮,能让你根本无需明白rrdtool的参数能轻易的绘出漂亮的图形。而且你完全可以不需要了解RRDtool复杂的参数。它提供了非常强大的数据和用户管理功能,可以指定每一个用户能查看树状结 构、host以及任何一张图,还可以与LDAP结合进行用户验证,同时也能自己增加模板,让你添加自己的snmp_query和!功能非常强大完善,界面友好。可以说,Cacti将rrdtool的所有“缺点”都补足了!下图是Cacti运行的主界面,

    Cacti 工作流程

    步骤一,snmp协议收集远程服务器的数据

    步骤二,将snmp收集的数据内容保存到rrd数据库中

    步骤三,若用户查看某台设备上的流量或其它状态信息 步骤四,在mysql数据库中查找该设备对应的rra数据库文件的名称

    步骤五,通过rrdtool命令进行绘图即可

    提示:cacti的图确实不好找,只能官网截一个

    还有很多不出门的监控工具,这里就不在介绍了。

    天兔开源监控(只适用于mysql、redis、oracle)

    官方网站:http://www.lepus.cc/   

    简洁、直观、强大的开源数据库监控系统,MySQL/Oracle/MongoDB/Redis一站式性能监控,让数据库监控更简单

    优点:

    中文开源软件,里面监控mysql和redis可以精确到sql语句

    缺点:

    因为只有监控数据库和非关系数据库,监控项不能统一,不能结合其他监控平台

    展开全文
  • DICOM 开源工具汇总

    万次阅读 2016-03-11 18:05:54
    DICOM 开源工具汇总,DCMTK,DCM4CHE,LEADTOOLS,mDCM(fo-dicom),clear canvas image server,mergecom3,mydicom,ezdicom

    DICOM 开源工具汇总

    by benna@126.com

    本人离开PACS领域多年,进来由于工作原因要重新了解DICOM相关技术实现,所以重新梳理了一下相关的开源工具软件,自己做个记录,同时也算对DICOM初学者做个分享。

    工欲善其事,必先利其器,以下工具各位自行选择:

    • DCMTK
    • DCM4CHE
    • LEADTOOLS
    • mDCM(fo-dicom)
    • clear canvas image server
    • mergeCOM3
    • mydicom
    • ezdicom
    • dicom3dsdk
    • imagetransport
    • DicomObjects
    • KPACS

    DCMTK

    首推德国offis公司开发的DCMTK,DCMTK提供了实现DICOM协议的一个平台,使得我们可以在它的基础上轻松的完成自己的主要工作,而不必把太多的精力放在实现DICOM协议的细节问题上,DCMTK是由德国offis公司提供的开源项目,并拥有相应的版权。这个开发包经过10多年的开发和维护,已经基本实现了DICOM协议的所有内容。该开发包提供所有的源代码、支持库和帮助文档。DCMTK提供了在各种操作系统下使用的可能版本,如LINUX、SUN、MACOS、WINDOWS等,用户可更具自己的开发平台进行编译。
      DCMTK公司的主页是: http://dicom.offis.de
      下载地址:http://dicom.offis.de/dcmtk.php.en
      DCMTK的常见问题论坛:http://forum.dcmtk.org/
      安装编译说明:http://qimo601.iteye.com/blog/1553222

    DCMTK实现了对DICOM图像存储、传输、图像显示所有操作.

    DCMTK提供了在各种操作系统下使用的可能版本,如LINUX、SUN、MACOS、WINDOWS等

    DCMTK开源项目,BSD license。

    DCMTK只提供静态链接库,和exe程序.如需要更加灵活应用,需要二次开发。

    DCMTK主要开发语言:C++、ANSI C

    DCM4CHE

    dcm4che项目的一部分是一个实现了DICOM协议的工具包,以dcm4che-1.x或dcm4che-2.x命名,在SourceForge官方下载文件中已经出现了dcm4che3.x的版本。dcm4chee中需要借助于dcm4che-X.X来操作医学图像
    dcm4chee是dcm4che开源项目中的另外一部分,是一款符合IHE规定的影像管理/归档应用。dcm4chee遵循DICOM、HL7标准,实现了图像存储、图像提取、及健康领域的工作流程管理。dcm4chee作为一款应用程序需要预打包,然后部署到JBoss应用服务器中。借助于JBoss应用服务器的服务特性,诸如JMS、EJB、Servlet引擎、远程控制、安全性、事务管理、持久性、消息传递、资源库、并发控制、命名和目录服务以及部署等等
    dcm4chee基于Java语言开发,另外JBoss AS应用服务器也需要利用Java可执行环境(JRE)或开发工具包(JDK)编译JSP,因此在开始安装之前要先确保本地电脑已安装Java开发环境,目前dcm4chee支持JDK5或JDK6两个版本

    安装编译说明:http://blog.csdn.net/zssureqh/article/details/44535405

    LEADTOOLS

    称最优秀的图形处理工具集。ADTOOLS Medical Imaging SDK by LEAD Technologies

    医疗成像编程库。 LEADTOOLS 的Medical Imaging 包含多个手工选择和优化的功能,以满足医疗成像应用程序开发的特定要求,例如对DICOM数据集的全面支持、对8-16位灰度的支持、在windows leveling和LUT处理功能下对12和16位图形处理和显示的支持。 可全面支持DICOM 3—行业内标准的医疗成像格式/协议,允许程序员对从数字成像模块,如CT和MR扫描仪中调取的图像进行访问。 LEAD的DICOM成像支持技术是行业内最丰富的支持技术,支持8, 10, 12, 16, 24 和32位图形,包括JPEG (8, 10 , 12, 16位 无损灰度, 8, 12位有损灰度, 24位无损和有损彩色), 行程(Run Length), 非压缩, 光度解析(Photometric Interpretation) (Monochrome1, Monochrome2, Palletized, RGB, ARGB, CMYK, YBR Full 422, YBR Full), 和单页及多页图形。 LEAD的医疗成像工具包含8-16位灰度显示,带“窗位调整”(window leveling)。LEADTOOLS可用用户定义的色彩映射(用一个LUT或调色版)或线性灰度LUT对需要的存储像素值进行映射。LEADTOOLS 的医疗成像包含文档成像产品的所有功能,并增加了医疗成像的功能: 窗位调整显示和处理功能,支持9-16位和32位灰度和对DICOM文件格式的全面支持。 增加了对DICOM交流的全面支持。 LEADTOOLS 的医疗成像还包含所有创建完全基于WEB的支持DICOM的观察应用程序所需的所有功能。

    除了提供全面的DICOM开发包外,还提供标注、视频等其它PACS软件需要的功能,是最全面的PACS开发工具提供商,DICOM只支持WINDOWS平台,有个别功能支持linux平台。提供API ,CLASS ,ACTIVEX,VCL等接口形式,支持.net平台,对DICOM2003支持全面,支持JPEG2000,价格比较贵,要求RUNTIME LICENSE。

      Leadtools.的主页是: http://www.ahasoft.com.tw/leadtools/
      

    mDCM(fo-dicom)

    mDCM目前了解是从DCMTK开源库转过来的,或者说是该开源项目的另一个分支,是对用C#语言对C++版本的医学图像开源库的再次组织和封装,其项目托管在GitHub上的官方网址是:https://github.com/ignacioinnovo/mdcm。此处就需要提到fo-dicom了,该开源库是mDCM的升级版本,里面增加了几大特性,详情可参见GitHub网址:https://github.com/fo-dicom/fo-dicom

    clear canvas image server

    开源、C#
    http://www.oschina.net/p/clearcanvas
    开源PACS产品和 DICOM 浏览器,C#语言编写,目前支持sqlserver数据库,结构清晰,简单调整可支持多种数据库。

    mergeCOM3

    http://www.mergecom3.com/
    美国Merge Healthcare提供保健IT解决方案,MergeCOM - 3具有的HL7提供了一个将产品纳入更广泛的健康IT网络的解决方案,如连接周边的医疗设备和系统集成到一个电子健康记录或临床信息系统。而4.0版包含支持最新的DICOM标准品,其中包括高清晰视频(Supplement 137) 及颜色的MRI(Supplement 141 )。在HL7标准工具包包括HL7标准v2.5.1图书馆结合广泛的绘图功能。具备.NET和Java的编程平台,支持所有的Windows , Linux和Solaris操作系统。

    mydicom

    针对DCM医学图像格式,编制程序完成DCM图像的读取,并可以进行bmp转换,是一个新的C# DICOM开发包,号称全面支持DICOM2003,好像还没有全面完成,价格比较便宜,没有RUNTIME LICENSE。

    ezdicom

    图像显示程序,可以读取各种格式的图像,如DICOM,PNG,JPEG,BMP以及raw格式的图像– 可查看医学DICOM文件。并可进窗宽、窗位调整,长度测量等。并可以位图方式进而转换输出。

    dicom3dsdk

    http://www.dicom3dsdk.com/Download.aspx
    以ACTIVEX方式发布,支持cc++、delphi、vb、c#、vb.net等多种编程语言,可快速开发PACS软件。包括功能有:网络通讯:支持标准的DICOM协议,实现了验证、存储、查询、转移、工作列表等功能。
    DICOM3DSDK 是收费软件。

    imagetransport

    ImageTransport MD控件可以快速地整合DICOM通讯协议到你的应用程序中,支持SCU和SCP,全面解析DICOM DIR,PACS通讯很容易地使用服务类在DICOM网络通讯和媒介存储。支持JPEG2000,DICOM只支持WINDOWS平台,另有imageGear产品,是全面的图像工具。 accusoft公司出品,好像没有lead tech的工具全面,价格比较贵,要求RUNTIME LICENSE。

    DicomObjects

    http://www.medicalconnections.co.uk/DicomObjects
    商业收费软件
    DicomObjects is a toolkit which can make it easy for you to incorporate DICOM into your programs. It is available as either a an “OCX” for use in an ActiveX/COM environment, or as a native .NET DLL.。

    KPACS

    http://free-dicom-workstation.com/
    供学习展示用,商业使用需要收费。而且关键功能比如DICOM打印、modality worklist

    ———–

    作者:benna@126.com
    时间:2016-3-11

    展开全文
  • 滴滴-Doraemonkit开源工具使用

    千次阅读 2019-03-14 15:01:24
    Doraemonkit开源工具使用 工具背景: Doraemonkit是一款滴滴客户端研发团队开源的研发助手组件工具,可支持Android平台和IOS平台。 开发背景:(源自github) 1、DoraemonKit 能够快速让你的业务测试代码能够在这里...
  • 大数据的顶级开源工具

    千次阅读 2016-03-16 10:48:12
    大数据的顶级开源工具:  大数据方面的顶级开源工具,分为四个领域:数据存储,开发平台,开发工具和集成,分析和报告工具。 随着大数据与预测分析的成熟,开源作为底层技术授权解决方案的最大贡献者的优势越来越...
  • 物联网的开源工具

    千次阅读 多人点赞 2014-09-02 00:20:07
    物联网的开源工具  原文地址:Open Source Tools for the Internet of Things 物联网开源正在快速发展。开源的物联网软件和硬件项目可以帮助企业和DIY爱好者通过网络连接设备进行实验。   如果你近几年由于...
  • 安全数据集和开源工具

    千次阅读 2018-07-12 14:48:22
    由于本人从事安全相关的行业的工作,接触到很多想用机器学习解决网络安全相关的问题,不可避免的需要用到很多安全相关的开源数据集和工具,这里记录一下本人自己用过并感觉不错的数据集和开源工具。当然,这可能只是...
  • Java 开源工具 Hutool 使用详解

    万次阅读 2018-06-19 18:38:07
    本猿平时码代码,习惯将一些通用的方法封装成自己的工具类,久而久之收集了很多的工具类,越往后也就发现了工具类的方法的很多问题,正巧朋友给我介绍HuTool开源工具包,让我去看看,也省了自己去一个个的收集。...
  • DataX数据同步开源工具学习

    千次阅读 2018-08-10 17:26:39
    DataX数据同步开源工具 阿里出的数据同步工具 数据从一个库迁移到另一个库 学习地址: 阿里帮助手册 github地址
  • 21 个必须知道的机器学习开源工具

    千次阅读 多人点赞 2019-09-13 01:13:36
    本文将介绍21种用于机器学习的开源工具。 作者 |SebastianScholl 译者 | 刘静,责编 | 郭芮 出品 | CSDN(ID:CSDNnews) 以下为译文: 你肯定已经了解流行的开源工具,如R、Python、Jupyter笔记本等。但是,...
  • 使用开源工具(LibreNMS)管理网络

    千次阅读 2020-07-02 14:21:36
    我想与您分享不同的开源工具,您可以使用它们来正确地管理网络(不花钱) 在本博客系列中,我们将讨论一些不同的开源工具,您可以使用这些工具来管理网络而无需支付$$。$$$(它们工作得很好,有时甚至更好) 我...
  • 10大热门人工智能开源工具(框架)

    万次阅读 2018-06-16 17:16:01
    10大热门人工智能开源工具(框架)摘要: 本文讲了10个热门的人工智能开源工具/框架。下面是我们今天要讲的10个热门的人工智能开源工具/框架。1.TensorFlowTensorFlow™是一个开源软件库,最初由Google Brain Team...
  • 声纹识别开源工具

    万次阅读 2018-03-26 21:38:18
    1.MSR Identity Toolkit ,微软开源工具箱,MATLAB版本,包含GMM-UBM和I-vector的demo,简单易用。下载地址 2.Alize,主要包括GMM-UBM、I-vector andJFA三种传统的方法,C++版,简单易用。 3.kaldi,当下十分流行...
  • QT官方第三方开源工具

    万次阅读 2014-03-25 10:28:30
    QT官方第三方开源工具。今天再次在网上看到了QT的第三方开源工具列表,这里留下link地址,以备将来用到的时候参考使用。 http://qt-project.org/wiki/Category:Add-ons Add-ons These are third party add-ons ...
  • 深度文本匹配开源工具(MatchZoo)

    万次阅读 2017-12-10 23:32:04
    苦于没有好的基于深度学习处理NLP, IR, QA任务的开源工具?苦于没有发布自己研究的深度文本匹配模型的交流平台?强烈推荐MatchZoo,用深度学习做自然语言处理,信息检索,智能问答等任务的小伙伴看过来。MatchZoo...
  • Dashboard图形显示之开源工具:Grafana

    千次阅读 2017-12-26 14:29:17
    Dashboard图形显示之开源工具:Grafana
  • 顶级开源工具大集合

    2014-04-25 20:48:40
    随着大数据与预测分析的成熟,开源作为底层技术授权解决方案的最大贡献者的... 以下是一些大数据方面的顶级开源工具,分为四个领域:数据存储、开发平台、开发工具和集成、分析和报告工具。  数据存储: Apache
  • 中文文字校对和文档对比合并开源工具调研 针对中文文字错别字校对和word,ppt等文档对比合并需求,调研现存的一些开源工具。 一. 中文文字纠错: pycorrector (开源 python3.6) 中文文本纠错工具。 音似、形似...
  • 最棒的60个DevOps开源工具

    千次阅读 2017-06-16 13:14:23
    最棒的60个DevOps开源工具 你喜欢免费的东西吗?获得开发者社区支持的自动化,开源的工具是大家梦寐以求的。这里列举了 60+ 款最棒的开源工具,可以帮助你很好的实行 DevOps。 开发工具 版本控制&协作...
  • 大数据平台最常用的30款开源工具

    千次阅读 2019-08-12 17:13:28
    大数据平台是对海量结构化、非结构化、半机构化数据进行采集、存储、计算、统计、分析处理的一系列技术平台。...本文整理出了大数据平台常见的一些开源工具,并且依据其主要功能进行分类,以便大数据...
  • 大数据生态之开源工具简介

    千次阅读 2016-06-16 19:23:09
    大数据生态之开源工具简介说是搞大数据,其实只能叫做水大数据,也水了两年多了。个人对大数据的理解主要简单地分为两个大方向吧,一个是算法(机器学习,深度学习),另外一个就是开发工具,从hadoop到yarn到hbase...
  • 误解1:开源性能测试工具还不够成熟如果您要花费时间和精力进行性能测试,则很可能会在意从中获得的结果。您将依靠这些结果,因此您将不得不依靠该工具。因此,必须确保该工具是您可以信任的工具。...
  • 物联网时代的35款开源工具

    千次阅读 2016-04-15 10:56:31
    物联网时代的35款开源工具 refer:http://os.51cto.com/art/201409/451092.htm  开源物联网正在迅猛发展。本文介绍的这些软硬件项目可以帮助公司企业和DIY爱好者体验与互联网连接的设备。  要是近些年来...
  • 不过最近给其 Review 代码的时候,小黑哥发现小师弟有些代码逻辑有些繁琐,有些代码小黑哥看来可以用一些开源工具类实现,不需要自己重复实现。 不过这也是正常的,小黑哥刚入行的时候写的代码也是这样,这几年慢慢...
  • 本文是《JVM 性能调优实战之:一次系统性能瓶颈的寻找过程》 的后续篇,该篇介绍了如何使用 JDK 自身提供的工具进行 JVM 调优将 TPS 由 2.5 提升到 20 (提升了 7 倍),并准确...本文将介绍如何使用阿里开源工具 TP...
  • 使用go-mysql-elasticsearch开源工具同步数据到ES go-mysql-elasticsearch是用于同步mysql数据到ES集群的一个开源工具, 项目github地址:https://github.com/siddontang/go-mysql-elasticsearch go-mysql-elastic...
  • CAD设计你需要以下几款开源工具

    千次阅读 2016-12-05 13:53:33
    随着各行各业的发展,CAD已经广泛应用于工业、服装、建筑以及电子产业等设计领域,下面为大家介绍几款CAD设计开源工具,希望对大家有所帮助。

空空如也

空空如也

1 2 3 4 5 ... 20
收藏数 98,399
精华内容 39,359
关键字:

开源工具