知识图谱算法岗位招聘总结
 
作为一名知识图谱方向的研一的菜鸟，不知道将来该走向哪里，一直是我的困惑。闲来无事逛了逛拉钩网，总结了一些知识图谱算法岗位的招聘要求，算作对自己未来方向的一个初探，也是研究生生涯对自己的一个激励。
 


 
文章目录
 
知识图谱算法岗位招聘总结
Position Description
Position Requirements
   
  
 

 
Position Description
 
负责知识图谱核心算法研究与应用开发;
负责开拓知识图谱应用场景，并推动大规模应用落地；
主要工作内容为运用自然语言处理，机器学习，知识建模等方法，构建知识图谱库。负责相关的知识图谱构建，研发和优化； 
  
构建企业知识图谱和通用知识图谱，并将知识图谱运用到智能设备和智能服务中;负责知识图谱产品迭代及创新；
负责领域知识图谱的架构设计和开发, 利用信息抽取技术半自动化或自动化的从非结构化数据中构建知识图谱；
负责医疗健康领域知识图谱的构建，从结构、半结构及文本数据中抽取医学健康领域核心实体及关联关系，支持关系推理；
运用知识图谱相关技术构建通用知识图谱、领域知识图谱，并对不同数据源的同领域知识图谱数据进行融合；
 
负责领域知识的定向爬取、深度提取和挖掘和知识图谱的大规模存储与管理；
基于知识图谱的高效查询与挖掘分析；
根据知识图谱构建用户画像、企业画像、行业画像等应用；负责图数据库中间件研发和优化；负责实现知识融合和图论算法；负责海量非结构化，半结构化和关系数据的知识抽取工作；
负责知识图谱在**人工智能系统(**典型如对话系统、智能问答等)中的应用技术;知识图谱相关系统应用开发，包括智能辅助决策、问答系统、推荐系统等；
追踪知识图谱前沿技术，结合业务需求，探索并应用于实际业务
算法岗 
  
参与相关算法的核心代码实现；
参与公司底层智能算法引擎设计与平台搭建；
负责算法研究，包括决策自然语言、语音、搜索、推荐等，侧重于深度学习；
负责模型的设计和训练调优与项目把控，包括线上ABTest、性能优化、效果分析方案设计等；
基于现实遇到的各种问题，探索自然语言处理、机器学习、深度学习等技术解决方案的可能性。
针对特定应用场景的完善和优化算法，包括数据预处理、训练及测试等；
编写相关的开发文档。
 
 
Position Requirements
 
自然语言处理/数据挖掘/计算机/数学等相关专业，本科及以上学历， 
  
熟悉知识图谱核心算法，如实体以及关系抽取，实体链接，schema matching， ontology design，有相关学术背景和实践经验；
熟悉知识图谱实体融合、实体链接的关键技术；
熟悉RDF、OWL等知识表示框架，熟悉NLP知识抽取、融合、推理的常用算法、流程及工具；
熟悉常用数据库或知识图谱数据库；
熟悉常用的公开知识图谱如DBpedia, Freebase, Yago，Openkg等；
熟悉知识图谱、NLP、数据挖掘、机器学习等相关技术；熟练掌握NLP的基础理论和方法，熟悉基于深度学习的NLP方法和技术，扎实的机器学习技术基础；
精通数据结构与基础算法; 对数据结构和算法设计有较深理解
精通机器学习算法，丰富的数据分析、挖掘、建模经验，有NLP经验更佳；
熟悉最优化的基础理论，能够将业务问题转化成相关的优化问题并求解，深刻理解并独立实现过相关算法（回归、决策树、分类问题、深度神经网络、图模型，概率统计，最优化方法等）
 
有过知识图谱构建开发经验者优先；
有较强的算法基础和编码能力、算法设计能力；
熟练掌握Java或C/C++语言，熟悉linux平台、shell编程 ;
熟悉大数据数据处理方法和优化方法;熟练使用Hadoop、Hive、SQL、Spark进行数据处理和分析;
对机器学习算法，分布式迭代程序的设计有深刻的理解和丰富的实战经验；
在深度学习方面有较深入的研究，熟练运用及掌握至少一种深度学习框架Tensorflow, Pytorch, Keras, Mxnet等；
具备大规模语料数据处理经验者优先；
逻辑清晰，抗压能力强，心里素质佳，团队合作意识，良好的沟通能力以及团队协调能力；很强的分析和解决问题的能力，思路清晰，学习能力强，善于归纳、总结、推理； 优秀的业务理解、目标制定、沟通能力；
编码和团队协作能力强，能够独立支撑一个研究方向，勇于挑战和创新，工作主动性强;
较强的团队及项目管理能力及沟通能力，能有效设定阶段性目标，并带领团队有序推进；
扎实的数理统计基础，能理解并熟练运用常用的数据挖掘、机器学习算法和工具
热爱创新并以产品为导向
有顶级赛事参赛经验或顶级论文发表经历等优先；发表过领域知名会议或期刊文章优先。
良好的技术文档撰写能力
英文技术文献阅读无障碍

 设计和实现基于Map-Reduce框架的家族图谱算法
 
1、核心算法（只有一个类，并且有大量注释）
 
package com.ss.test;

public class Test {
	public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
		Configuration config = new Configuration();
		config.set("fs.defaultFS", "hdfs://192.168.43.128:9000");
		config.set("yarn.resourcemanager.hostname", "192.168.43.128");

		FileSystem fs = FileSystem.get(config);

		Job job = Job.getInstance(config);

		job.setJarByClass(Test.class);

		// 设置所用到的map类
		job.setMapperClass(myMapper.class);
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(Text.class);

		// 设置用到的reducer类
		job.setReducerClass(myReducer.class);
		job.setOutputKeyClass(Text.class);
		job.setOutputValueClass(Text.class);

		// 设置输入输出地址
		FileInputFormat.addInputPath(job, new Path("/15200141115/input/Test.txt"));

		Path path = new Path("/15200141115/output2/");

		if (fs.exists(path)) {
			fs.delete(path, true);
		}

		// 指定文件的输出地址
		FileOutputFormat.setOutputPath(job, path);

		// 启动处理任务job
		boolean completion = job.waitForCompletion(true);
		if (completion) {
			System.out.println("执行成功!");
		}

	}

	// map过程，按行读入，每行都会执行一次map函数，以split分割，按以下规则输出map键值对，找准key是关键
	public static class myMapper extends Mapper<Object, Text, Text, Text> {
		// 实现map函数
		public void map(Object key, Text value, Context context) throws IOException, InterruptedException {
			String temp = new String();// 用来标识关系
			// 如tom(子女),lucy(父母)，可转化为以当前父母为key的map (lucy,1Tom),表示为tom是lucy的孩子
			// 再取lucy(子女),mary(父母v), 可转化为以当前子女为key的map
			// (lucy,2mary),表示为lucy是mery的孩子
			// 这样做有什么好处？使得在shuffle的过程中，自动转化为(lucy,[1tom,2mery]),使得tom（孙子）与mery(爷奶)联系在一起了
			// shuffle过程，系统自动完成，不需要写函数。它的作用是使得相同key的键值对，转化为新的键值对，键依然为之前的key，
			// value为之前所有vaue的集合，即values
			// 举个例子 map后形成（lucy,1tom） (lucy,2mery) shuffle后 形成 （lucy
			// ,[1tom,2mery]）

			String values = value.toString();
			String words[] = values.split(" ");

			// Tom Lucy

			temp = "1";
			context.write(new Text(words[1]), new Text(temp + words[0]));
			// (Lucy,1Tom)
			// 表示Tom为Lucy的子女

			temp = "2";
			context.write(new Text(words[0]), new Text(temp + words[1]));
			// (Tom,2Lucy)
			// 表示Lucy为Tom的父母
		}
	}

	// reduce过程，将shuffle后形成的数据value数组进行处理，
	// 有多少不同的key,那么调用reduce多少次
	// 比如wordcount里就是遍历values,求和，即由（hello,[1,1]）变成（hello,2）
	public static class myReducer extends Reducer<Text, Text, Text, Text> {
		// 实现reducer函数
		public void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException {
			List<String> grandchild = new ArrayList<String>();
			List<String> grandparent = new ArrayList<String>();
			// 遍历values数组
			// 比如当前key为lucy,则此时values为[1tom,2lucy]
			for (Text value : values) {
				// 获取关系标识符
				// 即1tom 取1
				char temp = (char) value.charAt(0);
				// 获取标识符右面的节点
				// 即1tom 取tom
				String right = value.toString().substring(1, value.getLength());
				
				// 等于1时，说明右方节点是key的孩子，即（lucy,1tom） tom是lucy的孩子
				// 那么把当前孩子加入到孙子list中
				if (temp == '1') {
					grandchild.add(right);
				}

				// 等于2时，说明右方节点是key的父母，即（lucy,2mery）mery是lucy的父母
				// 那么把当前父母加入到爷奶list中
				if (temp == '2') {
					grandparent.add(right);
				}
			}

			// 求笛卡尔儿积
			// 比如此时孙子有{tom,jone}
			// 爷奶有{lucy,jack}
			// 则输出为（tom,lucy） (tom,jack) (jone,lucy) (jone,jack)
			// 也就是笛卡儿积的结果
			for (String gc : grandchild) {
				for (String gp : grandparent) {
					context.write(new Text(gc), new Text(gp));
				}
			}
		}
	}
}
 
2、选择测试文本
 
Tom Lucy
Tom Jack
Jone Lucy
Jone Jack
Lucy Mary
Lucy Ben
Jack Alice
Jack Jesse
Terry Alice
Terry Jesse
Philip Terry
Philip Alma
Mark Terry
Mark Alma
 
3、运行结果
 
 
可见算法是正确的

作者最近研究人物关系图谱，准备发表相关的文章，原本是用Python Networkx库绘制，但效果不太理想；故改为Gephi软件，发现其非常好看，特分享几篇文章供大家交流学习，希望对您有所帮助，尤其是引文分析、社交网络、主题分布等方向的同学。后续的文章将尽可能的使用Markdown语法撰写了。
 参考文章：【python数据挖掘课程】十七.社交网络Networkx库分析人物关系（初识篇）
 
 
PSS：2019年1~2月作者参加了CSDN2018年博客评选，希望您能投出宝贵的一票。我是59号，Eastmount，杨秀璋。投票地址：https://bss.csdn.net/m/topic/blog_star2018/index
 
 
  
 五年来写了314篇博客，12个专栏，是真的热爱分享，热爱CSDN这个平台，也想帮助更多的人，专栏包括Python、数据挖掘、网络爬虫、图像处理、C#、Android等。现在也当了两年老师，更是觉得有义

 
论文阅读笔记：知识图谱补全算法综述
 
论文：丁建辉, 贾维嘉. 知识图谱补全算法综述[J]. 信息通信技术.
概念
表示学习相关理论
知识图谱表示学习
静态知识图谱补全(static KGC)
动态知识图谱补全(Dynamic KGC)
   
  
 

 
论文：丁建辉, 贾维嘉. 知识图谱补全算法综述[J]. 信息通信技术.
 
概念
 
 
目的：预测出三元组中缺失的部分， 从而使知识图谱变得更加完整。
 
 
描述：对于知识图谱G，假设G中含有实体集E={e1， e2，…， eM}(M为实体的数量)、 关系集R={r1， r2，…， rN}(N为关系的数量)以及三元组集T={(ei， rk， ej)|ei、 ej属于E， rk属于R}。 由于知识图谱G中实体和关系的数量通常是有限的， 因此， 可能存在一些实体和关系不在G中。 记不在知识图谱G中的实体集为E*={e1*， e2*，…， es*}(S为实体的数量)，关系集为R*={r1*， r2*，…， rT*}(T为关系的数量)。
 
 
补全任务分类：
 根据三元组中具体的预测对象， 知识图谱补全可以分成3个子任务：
 
  
头实体预测
尾实体预测
关系预测
 
 
分类：
 根据三元组中的实体和关系是否属于知识图谱中原有的实体和关系，我们可以把知识图谱补全分成
 
  
静态知识图谱补全(static KGC)
 所涉及的实体以及关系均在原始的知识图谱G中出现
动态知识图谱补全(Dynamic KGC)
 涉及的是不在原始知识图谱中出现的关系以及实体。从而通过知识图谱的补全，可以扩大原有的知识图谱的实体以及关系的集合。
 
 
表示学习相关理论
 
为什么？
 为了进行知识图谱补全， 首先得给知识图谱中的实体和关系选择合适的表示， 即构建出合适的特征对实体和关系进行编码。
怎么做？ 
  
 
手工构建
 
    
适合简单任务
人工干预、可解释性好
例如，计算机视觉领域的HOG特征、 SIFT特征
 
 
表示学习：通过机器学习算法自动地从数据中学得新的表示， 能够根据具体的任务学习到合适的特征。
 
    
可解释性差、过拟合
 
 
手工构建+表示学习
 例如：知识图谱补全上利用了规则、 实体类型、 多跳路径等信息构造出高质量的先验知识， 并将这些先验知识融合到表示学习
 
 
  
！！问题 如何融合？
 
 
知识图谱表示学习
 
静态知识图谱补全(static KGC)
 
目的：给知识图谱中不同的结点寻找潜在的有向边(关系)
挑战：知识图谱规模扩大， 数据稀疏问题加重， 算法的效率降低
方案：多种**基于知识图谱结构特征(三元组)**的表示学习算法：
 将知识图谱中的实体和关系嵌入到低维稠密空间[1]， 然后在这个空间计算实体和关系的关联， 从而进行Static KGC
算法： 
  
transE：利用 h+r=t
 模型简单、高效
 不适合复杂关系建模
 
TransH:将实体投影到由关系构成的超平面上
 考虑实体在不同关系下应该拥有不同的向量
TransR:关系投影矩阵， 将实体空间转换到相应的关系空间
 认为实体和关系存在语义差异
TransD:
 认为头尾实体的属性通常有比较大的差异， 因此它们应该拥有不同的关系投影矩阵
 考虑矩阵运算比较耗时， 将矩阵乘法改成了向量乘法， 从而提升了运算速度
 
改进： 
  
基于实体描述的主题分布来构造实体的语义向量， 并且将实体的结构向量投影到对应的语义向量上， 从而增强了模型的辨别能力
考虑了实体多语义的性质， 认为实体应该拥有多个语义向量， 而语义向量则是根据实体所处的语境动态生成的
通过实体类型构造了关系的类型信息， 并将实体与关系、 实体与实体之间的相似度作为先验知识融合到表示学习算法中
将规则、 路径等信息融入到表示学习中通过更加细致的建模以及引入先验知识， 在静态知识图谱补全任务上取得了一定的提升
 基于共享memory的网络架构IRNs(Implicitly ReasonNets)， 在向量空间中进行了多跳推理
 
 
动态知识图谱补全(Dynamic KGC)
 
静态知识图谱最终补全的关系也是知识图谱中存在的关系。
 而动态知识图谱补全的任务中，我们所涉及的会是没有在知识图谱中出现的关系和实体。
 
 
分类场景：
 
  
新实体拥有丰富的文本信息， 例如实体名称、 实体描述以及类型
新实体与知识图谱中的实体以及关系有显性的三元组关联， 这些三元组通常被称为辅助三元组。 辅助三元组不会参与模型的训练过程， 它们的作用在于借助训练好的模型推理出新实体的向量
 
 
对场景1：
 相关工作是建立实体与额外关系的映射类挖掘以及增强源域和目标域之间的关联。
 如对于A的描述包括“人口总量”，“国土面积”等等，那么说明A可能代表的是一个国家。如果对于B也存在这些描述，那么很可能说明B也是一个国家的实体。
 根据实体与词汇之间的映射关系，当实体B的描述中也出现这些词汇时， 表明实体B很有可能也是一个国家， 那么实体B应该具备实体A的一些属性。
 早期的模型主要通过将知识图谱中的结构信息(实体、 关系)与额外信息统一到同一个空间来建立两者的关联。
 
  
联合对齐模型L， 该模型分为3个子模型： 知识图谱模型K、 文本模型T以及对齐模型A（联合对齐模型L， 该模型分为3个
 子模型： 知识图谱模型K、 文本模型T以及对齐模型A）
将额外信息替换成实体的描述信息
张量神经网络, 用实体名称中所有词的词向量的平均作为该实体的向量， 从而让拥有类似名称的实体能够共享文本信息
使用了两种表示学习方法， 连续词袋模型(CBOW)以及卷积神经网络模型(CNN)来建立基于实体描述的语义向量
结合了知识图谱的结构信息以及实体的描述信息， 并提出了基于门机制(Gate-based)的联合学习模型
注意力机制来计算实体描述中的词在不同关系下的权重， 使得实体在不同关系下拥有不同的语义向量
 
 
对场景2：
 
  
基于图神经网络(Graph-NNs)的模型
 该模型分为两部分： 传播模型以及输出模型。 其中， 传播模型负责在图中的节点之间传播信息， 而输出模型则是根据具体任务定义了一个目标函数。 对于知识图谱补全任务，将图谱中相邻(头/尾)实体的向量进行组合， 从而形成最终的向量。 对于输出模型， 本文使用了经典的翻译模型—TransE。 为了模拟场景构造了3组测试集： 仅三元组的头实体是新实体， 仅尾实体是新实体以及头尾实体都是新实体。 此外， 给每个新实体设计了相应的辅助三元组(头尾实体中仅含有一个新实体)，用于获得新实体的向量。
在线(online)知识图谱表示学习模型—puTransE (Parallel Universe TransE)
 更好的鲁棒性以及扩展性， 并且对超参数不太敏感
 利用分而治之的思想， 通过生成多个向量空间， 将语义或结构相似的三元组放在同一个空间中进行训练。 此外， 每个空间中的超参数均是在给定范围下随机生成， 因此， 不需要进行大规模的超参数调优