知识图谱可视化工具免费杭州市西湖区教育装备保障服务中心
除了知识图，图还能做什么？编者注：作者的高级解决方案顾问包汉林。本文将集中在三个方面，侧重于图数据库和图分析的价值，并列举图分析应用程序的一些方案，工具和路径。提及图表，您可能了解不多，但是提及知识图表()绝对是当前的热门话题。近年来，各行各业涌现了大量垂直应用程序和服务提供商，从技术到业务线的各种企业已经学习了知识图的概念，技术和构造方法。知识图是现实世界的抽象，它通过点和边描述实体之间的关系，形成一个大型的语义网络，并提供了一种从关系的角度观察世界的方式。但是，就其本质而言，知识图实际上只是图的应用之一。除了知识图，图还能做什么？ 1.该图直观地反映了实体之间的连接。当提到新事物时，我们必须首先知道它是什么。我相信一个了解图形的小伙伴可以立即告诉图形的概念：图形由一组或多组点以及点与点之间的关系(也称为边)组成。例如，知识图实际上是在提取知识以进行连接。如果仅用于连接数据，则可能只是数据图。但是，在与客户进行实际沟通的过程中，我们发现仅了解图的概念就无法真正转向图思维，图思维对于重新思考业务具有重要的价值。关于图的思考方式是什么？让我举一个例子，这个场景中的每个人都必须熟悉它。白板是公司最常用的工具之一。当我们遇到问题并需要共同努力时，我们将在会议室聚集一些朋友并集思广益。首先，提出一些主题，每个人都有自己的想法，并在白板上写任意数量的内容。然后，对某些信息进行分类，排序或映射。在努力思考并陷入僵局时，我们将密切关注白板上的信息并快速运行我们的大脑，以期提出一些新想法。突然，灯光闪烁了，也许是白板上的某些东西与他大脑中的信息相撞，或者可能是白板上的某些信息之间有了新的联系。这样，一个新的想法应运而生。现在，我们可以对此想法进行新的讨论并重复该过程。并解释这个想法，
并重新组织关系。听起来有点熟？是的，这实际上是我们的自然思维方式，即关于图形的思维方式。在此示例中，最重要的是连接。我们需要将每个人大脑中的信息联系起来，以发现新事物。同样，当我们向他人解释我们的想法时，我们使用图表来解释信息的方式。连接在一起形成一个想法，其他人则更容易被接受。在侦探电影中，我们经常看到侦探将案件的所有信息粘贴在墙上以发现内部的一些隐藏关系，因为这很可能是解决案件的关键。如果家里有各种各样的实体书，散布在各处，那么在我们思考时，我们可能会偶然看到一本书，想到其中的一些内容，并将它们与思考的内容结合起来，从而产生一些新的想法。 。跨学科思维实际上将一些似乎与产生新想法或解决方案无关的内容联系起来。其次，图思维实际上是发现联系的过程。因此，图思维的核心是联系。当我们思考的重点是如何联系事物时，或者当我们想通过联系事物产生一些新的思想时，我们实际上已经使用了图思维。 。意识到这是一种图形思维，这意味着什么？例如，这实际上为我们提供了解决问题的另一种方法。这是斯坦福大学的数学逻辑和人工智能中的一个问题。看到对此问题的第一反应，您可能会考虑使用纯逻辑推理来解决此问题。但是，如果使用图思维，我们将专注于解决情况之间的联系上的问题。我们可以先构造一个认知图()，列出所有可能的情况，通过不确定的边连接可能的情况，查看每个人的认知与可能的情况之间的联系，然后根据条件组合每个节点点的相邻边继续缩小图中节点的范围，最后得出结论。这种方法将使问题更简单。图是一个高度抽象的模型，并且数据中的各种关系可以用图表示。图中的点和边可以非常灵活，并且不仅限于现实生活中的实体。当然，最直接的想法是人可以是点，产品可以是点，人与人之间的联系是边缘。交叉路口是一个点，连接交叉路口和该交叉路口的道路是一条边。但是，您可以将产品的某个特定特征完全抽象为一些要点，例如颜色和重量。道路抽象为点，交叉路口也抽象为点，
它甚至可以扩展到某些虚拟实体。例如，可能是一个点，一个交易是一个点，一个订单是一个点。即使当某些分子是点时，分子之间的连接也是边(是的，该图可用于化学生物学和其他学科)。该图由您自由定义，并且可以连接人员，对象，知识，数据，连接规则，连接过程，抽象实体和实际实体。 3.图的实际应用和价值图可以为企业带来什么价值？以上两个示例可能给了您一些启发。图非常擅长通过联系发现数据中的隐藏价值。实际上，在国外，许多行业的客户都将地图用于实际应用，包括金融，电信，电子商务，能源，医疗，供应链，制造业，政府和其他行业。图形本身不是垂直行业技术，而是通用技术。在金融行业中，地图可用于反欺诈，反盗窃，信用卡逃避和洗钱团伙。事先发现潜在风险，然后减少损失。在电信行业中，地图可以与机器学习结合使用，以帮助客户进行电信对策。欺诈，实时识别欺诈电话，广告电话，骚扰电话，普通电话，并及时向公安部门报告；在电子商务行业中，地图可以构建用户头像，以帮助客户提出实时个性化产品推荐；在能源行业中，可以构建电网图以进行潮流分析，以实现超实时计算；在医疗行业中，该图可以向用户推荐实时护理路径；在供应链行业中，客户可以使用图表了解何时某个因素发生变化，上游和下游以及发现总成本，产品延迟，运输状态以及其他质量控制和风险问题的影响；在制造业中，地图可以找到复杂生产过程的最佳途径；在政府行业中，地图可以改善社会福利服务管理。在一般行业中，图可以在数据治理中执行数据沿袭分析，实体分析和网络资源优化，从而为机器学习提供图特征。国内应用场景主要集中在金融行业。当然，图片非常适合于反欺诈，反洗钱等。这些也是非常成熟的应用程序。为什么其他行业不大规模应用图形呢？实际上，因为对图形有很好理解的人基本上都集中在学术和计算机领域。而要带出图形的价值，就需要业务人员的参与和思考，因为业务人员最了解业务。了解并使用图表的思维方式，
4.图分析的条件和工具我们通常将这种图分析问题的方法称为图分析()。我们相信，如果您想应用图形分析为企业带来真正的价值，则需要一种图形化的思维方式(生成需求问题)，企业数据(解决问题的数据基础)，解决方案(解决问题的方法)，工具(选择正确的工具解决问题)。图形的思维方式是由于历史原因(感兴趣的合作伙伴可以了解数据库的历史并浏览数据库关系数据库数据库)。当我们考虑业务和数据的组合时，我们通常会考虑技术的局限性并应用关系类型。数据库的方式，就是用表的思想来思考，将极大地限制我们的思想。现在有了一个新的工具图数据库，该数据库可以更直接地将我们的想法与工具结合起来，而无需将原始想法分解为表格，然后通过表格来表达实际的业务。让我们以企业的防羊毛羊毛的实际情况为例。羊毛是指为新俱乐部举办一些促销活动的商人或金融机构。例如，每次邀请新用户注册时，他们都可以获得某些积分奖励，可以将其兑换为现金或优惠券。或奖品。该活动的启动将吸引来自三合会的团伙，这已经给推广者造成了很多资金浪费。坪羊毛和防毛刺羊毛已经成为三合会帮派和晋升党之间的一场比赛。对于这种促销，关系数据库中最简单的存储方法被分为两个表，即邀请登记表和积分交换表，这些表用于通过统计方法(例如数量，数量)来识别黑人行业的帮派。每个独立设备登录的帐户。登录帐户的数量等。但是，黑社会黑帮可以通过组控制设备，虚拟化和其他技术来规避这些检测。但是，如果您将思维变成图表，并专注于从关系角度进行分析，您会发现一些非常有趣的模式。这些受用户邀请注册的新用户，既没有产生新的交易，也没有邀请新的人，甚至没有根据时间形成有序的安排。毫无疑问，这也是羊毛的典范，纯粹通过统计很难找到。 (有关详细信息，请参阅它。)因此，第一步需要业务人员转而使用图思维来重新考虑业务，找到过去难以解决或无法解决的复杂业务问题，尝试使用图思维来解决，以及甚至找到一些新的。商业价值点。企业数据我们的想法经常需要通过数据分析进行验证或实施。当我们的数据很大时
简单的统计分析已无法满足我们的需求。当商人进行探索性分析时，他们需要进行多方面的思考。当它们进入关系数据库时，它们会反映在多表关联中。当数据量巨大时，这对于关系数据库是一场灾难。使用数据仓库和大型表的方案并不令人满意。本质上是因为这些技术的重点不在数据之间的关系上。应用程序图分析平台，业务人员和数据分析师可以从数据的角度进行一些探索，以找到一些隐藏的连接。尝试从关系的角度发现新的价值。解决方案当您有要解决的问题以及解决问题的数据基础时，就需要解决该问题的方法。我们可以将行业经验与图算法结合起来。您可以从简单的关系查询开始，例如，查看新客户是否已连接到现有黑点，根据现有规则进行更深入的探索，并通过子图确定两个客户是否相似。同时，我们还可以使用一些图算法来协助，例如，我们想要找到一些隐藏的洗钱团伙，欺诈团伙，我们可以使用该图来衡量分组算法的程度-鲁汶算法();我们希望找到所有客户中最多的人。有影响力的人可以使用该算法来衡量图形页排名算法中的中心性。找到一些模式后，您可以通过图形上的模式匹配找到所有相似的客户，并通过一些目标值进行重复验证和迭代。业务人员，数据分析师和人员都可以参与其中，包括一些经验丰富的解决方案提供商，他们都是我们的有力帮助者。从业务探索到最终应用，都需要安全，易于使用，稳定和可靠的工具来支持工具。更重要的是，选择正确的工具。首先，如何使用图形，它们是图形的纯粹可视化？还是做图形计算？还是用于制图的数据和业务探索？其次，传统的关系数据库是否可以解决这个问题，还是图数据库可以解决这个问题，仍然需要多种工具的组合。最后，关于工具本身的功能。业务人员可能会更加注意探索和交互的易用性；开发人员可能会更加注意开发的便利性以及该语言是否功能强大；运维人员可能会更加注重系统管理和资源监控。不同的角色有不同的关注点，这些都是工具需要解决的问题。阅读以上四个步骤后，您肯定会遇到很多问题，例如，
图解决方案？是否可以满足不同角色对工具的关注？由于篇幅所限，我们将在后续内容中逐一回答这些问题。总而言之，除了知识图之外，该图还能做什么？

1. 前言
正在作知识图谱 ，之前可视化用的是D3，由于D3不是太会，并且D3学习成本比较高，因此改用Echarts，Echarts作出来的关系图仍是挺好的。javascript
2. 关系图实例
样例代码以下：html
ECharts 关系图
var myChart = echarts.init(document.getElementById('main'));
var categories = [];
for (var i = 0; i < 2; i++) {
categories[i] = {
name: '类目' + i
};
}
option = {
// 图的标题
title: {
text: 'ECharts 关系图'
},
// 提示框的配置
tooltip: {
formatter: function (x) {
return x.data.des;
}
},
// 工具箱
toolbox: {
// 显示工具箱
show: true,
feature: {
mark: {
show: true
},
// 还原
restore: {
show: true
},
// 保存为图片
saveAsImage: {
show: true
}
}
},
legend: [{
// selectedMode: 'single',
data: categories.map(function (a) {
return a.name;
})
}],
series: [{
type: 'graph', // 类型:关系图
layout: 'force', //图的布局，类型为力导图
symbolSize: 40, // 调整节点的大小
roam: true, // 是否开启鼠标缩放和平移漫游。默认不开启。若是只想要开启缩放或者平移,能够设置成 'scale' 或者 'move'。设置成 true 为都开启
edgeSymbol: ['circle', 'arrow'],
edgeSymbolSize: [2, 10],
edgeLabel: {
normal: {
textStyle: {
fontSize: 20
}
}
},
force: {
repulsion: 2500,
edgeLength: [10, 50]
},
draggable: true,
lineStyle: {
normal: {
width: 2,
color: '#4b565b',
}
},
edgeLabel: {
normal: {
show: true,
formatter: function (x) {
return x.data.name;
}
}
},
label: {
normal: {
show: true,
textStyle: {}
}
},
// 数据
data: [{
name: 'node01',
des: 'nodedes01',
symbolSize: 70,
category: 0,
}, {
name: 'node02',
des: 'nodedes02',
symbolSize: 50,
category: 1,
}, {
name: 'node03',
des: 'nodedes3',
symbolSize: 50,
category: 1,
}, {
name: 'node04',
des: 'nodedes04',
symbolSize: 50,
category: 1,
}, {
name: 'node05',
des: 'nodedes05',
symbolSize: 50,
category: 1,
}],
links: [{
source: 'node01',
target: 'node02',
name: 'link01',
des: 'link01des'
}, {
source: 'node01',
target: 'node03',
name: 'link02',
des: 'link02des'
}, {
source: 'node01',
target: 'node04',
name: 'link03',
des: 'link03des'
}, {
source: 'node01',
target: 'node05',
name: 'link04',
des: 'link05des'
}],
categories: categories,
}]
};
myChart.setOption(option);
运行截图以下：java
点击 类目 0 ， 以下所示：node
点击 类目1，以下所示：jquery

目录
一、引言
二、从Neo4j导出数据
三、前端实现
1. 初始化D3并读取本地数据
2. 分离出节点和关系数据
3. 可视化效果展示

一、引言
好久没用D3库作可视化了，现在主要是用百度的echarts库，在项目中做简单的图表太方便了。但像是做关系图其实用echarts也很方便，这次用D3实现主要是复习一下以前做的东西，顺便记录一下。
以下是我参考到的实例代码：

D3官方图实例参考
echarts做关系图实例参考

二、从Neo4j导出数据
我们先通过Cypher查询将数据从Neo4j中查询出来，Neo4j构建和查询可以参考我上篇博客 基于Neo4j的外贸企业关系图谱做企业相似度查询
由于原Cypher语句比较长，通过下面的查询导出的格式也是一样的，根据自己的关系查询进行修改即可：
MATCH p=(n:Enterprise)-[]->() RETURN p limit 20

查询后的结果如下，点击右上角下载图标，导出为JSON格式


可以进入JSON在线解析，查看导出的JSON格式：


三、前端实现
1. 初始化D3并读取本地数据
新建好一个Web项目后，先把D3的JS库导入进来，再通过d3.json()来读取我们的json文件。
可以通过本地方式导入
<!-- 增加D3元素库 -->
<script src="js/d3.v4.min.js"></script>

如果不想下到本地，也可以通过CDN方式直接导入
<!-- 增加D3元素库 -->
<script src="https://cdn.bootcdn.net/ajax/libs/d3/4.9.1/d3.min.js"></script>

导入D3后，就可以通过d3.json方法读取本地的json文件：
var graph;
//d3.json获取数据
d3.json("data/records.json", function(error, data) {
	if(error) throw error;
	graph = data;
	console.log(graph[0].p);
}

先运行结果，查看控制台打印的结果如下：

`
2. 分离出节点和关系数据
还是先去D3官方图实例参考分析一下标准数据格式，从下图可以看到 data 分为 nodes 和 links 两部分，因为在D3中节点和关系是分开渲染的，渲染过后会自动在各个部分内生成位置坐标的属性。



此时我们需要将neo4j导出的数据做标准化，使数据格式符合D3标准。

（需要注意一个坑：要对json数据做去重处理，不然D3在渲染时无法将节点关系弄出来，原理其实就是节点的唯一标识产生了冲突，我们要保证节点的唯一性）

以下是标准化的代码，将json数据分离到nodes和links两部分，为数据绑定打好基础：
// 图数据
var graph;
let nodes =[];
let links = []; // 存放节点和关系
let nodeSet = []; // 存放去重后nodes的id
//d3.json获取数据
d3.json("data/records.json", function(error, data) {
	if(error) throw error;
	graph = data;
	console.log(graph[0].p);
	for (let item of graph) {
		// console.log(item.p.start instanceof Array)
		// console.log(item.p)
		// 重新更改data格式
		if(nodeSet.indexOf(item.p.start.identity) == -1){
			nodeSet.push(item.p.start.identity)
			nodes.push({
				id: item.p.start.identity,
				label: item.p.start.labels[0],
				properties: item.p.start.properties
			})
		}
		if(nodeSet.indexOf(item.p.end.identity) == -1){
			nodeSet.push(item.p.end.identity)
			nodes.push({
				id: item.p.end.identity,
				label: item.p.end.labels[0],
				properties: item.p.end.properties
			})
		}
		links.push({
			source: item.p.segments[0].relationship.start,
			target: item.p.segments[0].relationship.end,
			type: item.p.segments[0].relationship.type,
			properties: item.p.segments[0].relationship.properties
		})
	}
	console.log(nodes)
	console.log(links)
}

3. 可视化效果展示
数据处理好之后，只需要把数据绑定到D3上即可，至于展示部分官网参考代码已经有了，在此不再做详细展开，后面也可以参考我的代码注释理解。
最终展示出的效果如下：




从二图中可以看到可视化还做了一些事件处理，目前完成了拖拽事件、鼠标进入、鼠标离开三个事件。当鼠标放到节点上时，在右边会展示节点信息，并隐藏与该节点无关的其他节点。
最后，加了个节点文字切换和搜索功能，之前的节点全挨在一起，于是又加了个碰撞检测模型，最终效果如下：


像这种力导向关系图可以结合多个力学模型自行扩充，其他的效果可以自行拓展：（官方参考的力模型）

Centering(向心力)
Collision(碰撞检测)
Links(弹簧力)
Many-Body(电荷力)
Positioning(定位力)

个人实现代码（仅供参考）：

github地址：https://github.com/CoderWanp/neo4j-d3-graph
直接看页面效果：

Demo展示：https://coderwanp.github.io/neo4j-d3-graph/

你好，欢迎收听极客视点。
自 2012 年谷歌提出 “知识图谱” 的概念并运用到搜索引擎后，知识图谱的构建技术与应用引起了学术界和工业界的广泛关注。近几年，AI 技术的发展和大数据时代的到来令知识图谱的自动化构建成为可能，尽管现阶段还面临着一些挑战，但已有不少企业在积极探索和尝试自动化构建技术。近日，“AI 前线”采访了来自明略科技和国双数据科学团队多位专家，他们分享了实现大规模自动化知识图谱建设的技术与应用实践。
人工构建还是机器构建？
从构建技术看，知识图谱经历了由人工构建到群体智慧构建到自动获取、构建的过程。人工构建和自动化构建各有优缺点，而现阶段要兼顾效率和精度，最合理的方式是半自动化结合人工。 目前业内构建知识图谱很少见纯人工和全自动方法，采用的主流方式是半自动结合人工方式，约占 80% 以上。
知识图谱自动化构建流程与技术
实现全面自动化构建知识图谱还有很长的一段路要走，不过已有不少企业在积极探索降低人工参与度，提升自动化构建水平，例如国双通过自研的知识抽取算法设计平台完成知识抽取流程设计。其自动化构建流程主要包括本体创建 –> 数据标注 –> 模型训练 –> 知识抽取 –> 知识融合 –> 知识推理 –> 知识更新等环节。
具体而言，数据标注和模型训练环节，通过知识抽取算法设计平台完成。
在知识抽取环节，以相对复杂的非结构化知识抽取为例，国双运用的技术是将标注数据清洗扩增，使用基于 Encoder 和 Decoder 的端到端三元组联合抽取模型进行知识抽取。针对没有标注数据的冷启动知识抽取需求，构建了一套利用依存句法分析算法实现无监督情况下抽取三元组的系统。
在知识融合环节，国双构建了一套结合传统字符串相似度和图卷积网络的融合系统，将知识图谱经过 GCN 编码后得到表示向量，通过计算表示向量相似度和实体的字符串相似度，并结合 Sieve 模式高效筛选出融合结果。
在知识推理环节，在基于规则和基于算法的知识推理方面做了一些尝试，例如通过业务本体框架中的相关约束来做相关推理。
在知识更新环节，使用知识抽取实验平台把新的增量数据去重新训练模型，且依靠知识抽取算法 API 来实现自动的知识更新。
明略科技科学院知识工程实验室负责人张杰表示，知识图谱自动构建的过程中主要运用到了自然语言处理、小样本训练、领域迁移等关键的 AI 技术。自动化构建知识图谱有四大技术重点：如何自动化的从结构化数据库映射为知识图谱并做知识融合；如何通过小样本学习和领域知识迁移的技术减少人工标注成本；如何从非结构化文本中做篇章级的事件抽取和多事件关联；基于深度学习的知识表示在各个构建的环节的应用。
针对结构化和半结构化数据，明略科技提出了 HAO profiling 技术，对来自不同数据源的结构化 / 半结构化数据进行汇聚、组织，试图理解数据，解决数据冗余、冲突等问题，对数据进行标准化、连接，形成数据的知识图谱，进行可视化展示，并以统一视图服务查询、计算等应用需要。
针对非结构化数据，明略科技设计、开发了一套算法工具包：HAO 图谱。HAO 图谱包括关系抽取、事件抽取、实体对齐、网络结构嵌入式表示、时空序列数据表示、图谱摘要、基于图谱的短文本生成等算法。
构建挑战
目前，知识图谱在构建过程中面临着诸多挑战，主要的技术挑战点有三项：
信息丢失：指应该抽取出来的信息没有抽全；
信息冗余：指在输入文本中不存在但在背景知识中存在的额外概念和关系；
信息重叠：指能否将原文中距离跨度较大的属性归结到正确的实体上，并对动态变化的属性进行适当存储。
此外，知识图谱构建成本高昂，小样本的抽取和构建问题，也是业界公认的难题。
明略科技认为，降成本需要做到行业经验复用和技术工具复用。
国双认为，构建知识图谱的成本需要考虑三大因素：人、模型、数据。首先由人来创建正确有效的本体，标注少量数据，利用数据增强等方式来训练机器学习模型，再利用模型处理有标注和无标注数据。最后人工查验，在保证标注精度的情况下最大程度减少人工干预，最终实现控制成本，做大规模，同时保证知识图谱的质量。
以上就是明略科技和国双团队应对自动化知识图谱构建挑战的方法，你也可以点击原文链接了解更多内容。