学习笔记，仅结合个人需求针对报告进行提炼，必有不详细的地方，欢迎评论区留言讨论

---

---

知识图谱发展报告（2018）（1~2章）

Reference:
知识图谱发展报告(2018) 前言[A]. 中国中文信息学会、语言与知识计算专委会.知识图谱发展报告（2018）[C].:中国中文信息学会,2018:8.

---

前言

知识图谱的研究目标与意义

知识图谱以结构化的形式描述客观世界中概念、实体及其关系，将互联网的信息表达成更接近人类认知世界的形式，提供了一种更好地组织、管理和理解互联网海量信息的能力。知识图谱技术是指知识图谱建立和应用的技术，是融合认知计算、知识表示与推理、信息检索与抽取、自然语言处理与语义 Web、数据挖掘与机器学习等方向的交叉研究。知识图谱在知识融合、语义搜索和推荐、问答和对话系统、大数据分析与决策系统中凸显出重要的应用价值。

知识工程的发展历程

知识工程的发展分为5个阶段：

1. 1950——1970：图灵测试：这一时期的知识表示方法主要有逻辑知识表示、产生式规则、语义网络等
2. 1970——1990：专家系统：这一时期知识表示方法有新的演进，包括框架和脚本等。80 年代后期出现很多专家系统的开发平台，可以帮助将专家的领域知识转变成计算机可以处理的知识
3. 1990——2000：万维网 Web1.0：使得知识从封闭知识走向开放知识，从集中知识成为分布知识
4. 2000——2006：群体智能 Web2.0：维基百科、RDF（资源描述框架）、OWL（万维网本体表述语言）
5. 2006——：知识图谱：将万维网内容转化为能够为智能应用提供动力的机器可理解和计算的知识

具有代表性的知识图谱：DBpedia，Freebase，KnowItAll，WikiTaxonomy，YAGO，BabelNet，ConceptNet，DeepDive，NELL，Probase，Wikidata，XLore，Zhishi.me

知识图谱技术

知识图谱技术分为三个部分 : 知识图谱构建技术、知识图谱查询和推理技术，以及知识图谱应用。

知识图谱构建

• 知识表示与建模：知识表示将现实世界中的各类知识表达成计算机可存储和计算的结构
• 知识表示学习：知识表示学习将实体和关系表示为稠密的低维向量，实现了对实体和关系的分布式表示，可以高效地对实体和关系进行计算，缓解知识稀疏，有助于实现知识融合
• 实体识别与链接：实体识别是识别文本中指定类别的实体。实体链接是识别出文本中提及实体的词或者短语（称为实体提及），并与知识库中对应实体进行链接
• 实体关系学习：实体关系学习就是自动从文本中检测和识别出实体之间具有的某种语义关系，也称为关系抽取
• 事件知识学习：将非结构化文本中自然语言所表达的事件以结构化的形式呈现

知识图谱查询与推理

• 知识存储和查询：当前目前知识图谱多以三元存在的RDF形式进行存储管理，对知识图谱的查询支持SPARQL查询
• 知识推理：知识推理从给定的知识图谱推导出新的实体跟实体之间的关系。知识图谱推理可以分为基于符号的推理和基于统计的推理

知识图谱应用

• 通用和领域知识图谱
• 语义集成：语义集成的目标就是将不同知识图谱融合为一个统一、一致、简洁的形式。常用技术方法包括本体匹配(也称为本体 映射)、实例匹配(也称为实体对齐、对象共指消解)以及知识融合等
• 语义搜索：当前基于关键词的搜索技术在知识图谱的知识支持下可以上升到基于实体和关系的检索，称之为语义搜索
• 基于知识的问答

知识表示与建模

基于符号的知识图谱表示方法

目前大多数知识图谱的实际存储方式都是以传统符号化的表示方法为主。大多数开放域的知识图谱都是基于语义网的表示模型进行了扩展或删改。
RDF是最常用的符号语义表示模型。RDF的基本模型是有向标记图(Directed Labeled Graph)。图中的每一条边对应于一个三元组(Subject-主语,Predicate-谓语,Object-宾语)

基于向量的知识图谱表示学习模型

依据知识图谱嵌入表示模型建模原理将基于向量的知识表示模型划分为翻译模型、组合模型、神经网络模型。

• 翻译模型：
  翻译模型的灵感来自word2vec中词汇关系的平移不变性，典型的方法包括基于向量的三角形法则和范数原理的TransE模型，通过超平面转化或线性变换处理多元关系的TransH、TransR和TransD模型，通过增加一个稀疏度参数向量解决异构多元关系的TranSparse模型等
• 组合模型：
  组合模型采用的是向量的线性组合和点积原理，典型特征是将实体建模为列向量、关系建模为矩阵，然后通过头实体向量与关系矩阵的线性组合，再与尾实体进行点积来计算打分函数。经典成员包括采用普通矩阵的RESCAL、采用低秩矩阵的LFM、采用对角矩阵的DistMult和采用循环矩阵的HolE
• 神经网络：
  神经网络模型采用神经网络拟合三元组，典型模型包括采用单层线性或双线性网络的SME、采用单层非线性网络的SLM、NTN和MLP，以及采用多层网络结构的NAM

常见的知识库

早期知识库

• Cyc是在1984年由 Douglas Lenat 开始创建。最初的目标是要建立人类最大的常识知识库
• WordNet是最著名的词典知识库，主要用于词义消歧。WordNet由普林斯顿大学认识科学实验室从1985年开始开发。WordNet的表示框架主要定义了名词、动词、形容词和副词之间的语义关系。例如名词之间的上下位关系（如：“猫科动物”是“猫”的上位词），动词之间的蕴含关系（如：“打鼾”蕴含着“睡眠”）等。WordNet3.0已经包含超过15万个词和20万个语义关系
• ConceptNet是常识知识库，库以三元组形式的关系型知识构成

语义网与知识图谱

• Freebase是一个开放共享的、协同构建的大规模链接数据库，其主要数据来源包括：维基百科、世界名人数据库、开放音乐数据库等。Freebase基于RDF三元组模型，底层采用图数据库
• DBPedia是早期的语义网项目。DBPedia意指数据库版本的 Wikipedia，是从Wikipedia 抽取出来的链接数据集。DBPedia采用了一个较为严格的本体，包含人、地点、音乐、电影、组织机构、物种、疾病等类定义
• Schema.org是 2011 年起，由 Bing、Google、Yahoo 和 Yandex等搜索引擎公司共同支持的语义网项目
• WikiData的目标是构建一个免费开放、多语言、任何人或机器都可以编辑修改的大规模链接知识库

总结

围绕知识图谱表示的一个重要的研究趋势和动态是：把符号逻辑与表示学习结合起来研究更加鲁棒、易于捕获隐含知识、易于与深度学习集成、并适应大规模知识图谱应用的新型表示框架。

---

知识表示学习

知识表示学习定义

人们通常以网络的形式组织知识库中的知识，网络中每个节点代表实体（人名、地名、机构名、概念等），而每条连边则代表实体间的关系。然而，基于网络形式的知识表示面临诸多挑战性难题：计算效率和数据稀疏（长尾分布）。
知识表示学习面向知识库中的实体和关系进行学习，优点包括：提升计算效率、缓解数据稀疏和实现异质信息融合。

知识表示学习内容

复杂关系建模

现有知识表示学习方法无法有效地处理知识图谱中的复杂关系。这里的复杂关系定义如下。按照知识库中关系两端连接实体的数目，可以将关系划分为1-1、1-N、N-1和N-N四种类型。例如N-1类型关系指的是，该类型关系中的一个尾实体会平均对应多个头实体，即我们将1-N、N-1和N-N称为复杂关系。

多源信息融合

现有的知识表示学习模型仅利用知识图谱的三元组结构信息进行表示学习，尚有大量与知识有关的其他信息没有得到有效利用

关系路径建模

在知识图谱中，多步的关系路径也能够反映实体之间的语义关系。关系路径蕴含着丰富的信息。如何突破知识表示学习孤立学习每个三元组的局限性，充分考虑关系路径信息是知识表示学习的关键问题

知识表示技术与研究现状

结构表示 => 单层神经网络 => 语义匹配能量模型 => 隐变量模型 => 张量神经网络模型 => 基于矩阵分解的RESACL
此外，Bordes 等人受到词向量空间对于词汇语义与句法关系存在有趣的平移不变现象的启发，提出了TransE模型

复杂关系建模

Trans系列模型：

TransH模型让一个实体在不同的关系下拥有不同的表示。TransR模型对每个三元组，首先应将实体利用矩阵投影到对应的关系空间中，然后再建立从头实体到尾实体的翻译关系。TransD模型和TranSparse模型对TransR 模型中的投影矩阵进行了进一步的优化。TransG模型和KG2E模型提出了利用高斯分布来表示知识库中的实体和关系，可以在表示过程中考虑实体和关系本身语义上的不确定性。

多元信息融合

在融合上述信息进行知识表示学习方面，已经有一些研究工作，但总体来讲还处于起步状态。DKRL模型提出在知识表示学习中考虑Freebase等知识库中提供的实体描述文本信息。在文本表示方面，DKRL 考虑了两种模型：一种是 CBOW，将文本中的词向量简单相加作为文本表示；一种是卷积神经网络，能够考虑文本中的词序信息。

关系路径建模

Path-based TransE

技术展望

• 多源信息融合的知识表示学习
• 复杂推理模式的知识表示学习
• 面向大规模知识库的在线学习和快速学习
• 基于知识分布式表示的应用

---

知识图谱发展报告2018（2）——知识图谱系列

待更
[知识图谱发展报告2018（3）——知识图谱系列]()
[知识图谱发展报告2018（4）——知识图谱系列]()
[知识图谱发展报告2018（5）——知识图谱系列]()
[知识图谱发展报告2018（6）——知识图谱系列]()