什么是Linked Data?相比于传统的知识库,它有那些优势
linked data 按字面的意思是被连接起来的数据。Tim berners-lee的一篇博客的介绍,从网络的发展上来看,“Net”或是“internet”是计算机直接通过网线形成的远距离通信网路,“Web”或是“world wide web”是计算机里的文件直接互联。而网络发展的下一步就是实现文件中的数据的直接互联,也就是所谓的“linked data”。 Tim认为这就是他构想中的web 30中的基础环节之一。也就是说数据的直接互联能够让计算机“理解”文件中的语义。对于如何实现,不同的流派有提出过不同的方法。目前一种通用的做法简单来说是把网页文件中的每一个实体用元数据做标记(好理解的例子是一篇文章的“标题”部分用title标注,“作者”部分用author标注),然后通过建立RDF和ontology(RDF理解成一种主谓宾之类的句式关系模型就好,至于ontology我的理解是跨数据系统间的通用关系模型,可能理解的不对,不过不要试着去百度这个词,我试过。。)将不同的元数据标注下的实体的关系表现出来 (我真的不是学技术的,再细化解释不下去了)。
这对于构建“semantic web”(即 语义网)甚至是现在非常热的“the Internet of thing” (即物联网) 有着重要的意义。这样又扯出了很多新的概念,比如语义网,比如物联网,不过这与题主的问题有点远,我下面用一个语义搜索的例子来稍微帮助下阐述。我们知道现在主流的搜索引擎都是关键字搜索引擎,这种引擎的实现思路在核心上可以说是受到早期的图书馆管理中的索引检索的启发,搜索引擎事先遍历,抓取网上的网页,将网页中的内容做为索引连同url等信息一并存入数据库中。
举个例子,在用户输入搜索语句,比如“苹果”时,因为机器无法判断这个“苹果”是指水果还是苹果公司,所以会将数据库中含有“苹果”两字的网页都返回给用户。如果输入的检索是一个句子, 比如“苹果手机”,现阶段的搜索引擎仍然无法判断“苹果手机”是特指苹果公司的手机,返回的结果里会有很大一部分是含有“苹果”,“手机”这样的关键词的网页(含有“苹果手机”这个关键词的网页一样会出现在结果里,并可能因为一些优化算法被集中靠前显示,这样看上去就好像搜索引擎知道你在检索“苹果手机”一样)。
当用户的检索变得复杂的时候,比如上面说的“苹果手机” (其实还不算复杂,真正复杂的是:我的朋友中谁适合做我女朋友。。。),linked data的作用就显现了。对,通过前面提到的元数据标注,RDF关系模型,机器能够了解当“苹果”和“手机”一齐出现的时候,很大程度上是指“苹果手机”。当连接的数据多了之后,就会形成巨大的一个知识图谱,现实中的例子就是google 的knowledge graph,建议搬个梯子看下。如果我们在其中加入人的社会关系和她在社交网络中的分享,就可以对搜索结果做进一步的优化(判断自己和好友的兴趣,爱好并以此作为依据筛选结果等等),成功帮我找到一个女朋友。恩,这才是我写毕业论文的初衷,不过离题主的问题有点偏了。
总之,linked data 是一种实现机器智能的基础手段,相比于传统知识库的一个优势是能够执行更精确智能的检索。欢迎讨论,补充和纠正。
元数据(Metadata),又称中介数据、中继数据,为描述数据的数据(data about data)。
元数据作用是:
1、描述数据属性(property)的信息,用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。
2、元数据算是一种电子式目录,为了达到编制目录的目的,必须在描述并收藏数据的内容或特色,进而达成协助数据检索的目的。
元数据的应用举例:
1、数据结构:数据集的名称、关系、字段、约束等;
2、数据部署:数据集的物理位置;
3、数据流:数据集之间的流程依赖关系(非参照依赖),包括数据集到另一个数据集的规则;
4、质量度量:数据集上可以计算的度量;
5、度量逻辑关系:数据集度量之间的逻辑运算关系;
6、ETL过程:过程运行的顺序,并行、串行;
7、数据集快照:一个时间点上,数据在所有数据集上的分布情况。
扩展资料:
元数据的优点:
1、自描述:元数据自动提供 COM 中 IDL 的功能,允许将一个文件同时用于定义和实现。运行库模块和程序集甚至不需要向操作系统注册。结果,运行库使用的说明始终反映编译文件中的实际代码,从而提高应用程序的可靠性。
2、设计:元数据提供所有必需的有关已编译代码的信息,以供用户从用不同语言编写的 PE 文件中继承类。用户可以创建用任何托管语言(任何面向公共语言运行库的语言)编写的任何类的实例,而不用担心显式封送处理或使用自定义的互用代码。
下图描述了语义Web的七层体系结构: 自描述
文档 数据 数据 规则 信任 证明 数
字
签
名 逻辑 本体 RDF+RDF Schema XML+NS+XML Schema 名称空间 Unicode URI 第一层:Unicode和URI。
Unicode是一个字符集,这个字符集中所有字符都用两个字节表示,可以表示65536个字符,基本上包括了世界上所有语言的字符。数据格式采用Unicode的好处就是它支持世界上所有主要语言的混合,并且可以同时进行检索。URI(Uniform ResourceIdentifier),即统一资源定位符,用于唯一标识网络上的一个概念或资源。在语义Web体系结构中,该层是整个语义Web的基础,其中Unicode负责处理资源的编码,URI负责资源的标识。
第二层:XML+NS+xmlschema。
XML是一个精简的标准通用标记语言,它综合了标准通用标记语言的丰富功能与HTML的易用性,它允许用户在文档中加入任意的结构,而无需说明这些结构的含意。NS(NameSpace)即命名空间,由URI索引确定,目的是为了避免不同的应用使用同样的字符描述不同的事物。XML Schema是文档类型定义(外语缩写:DTD)的替代品,它本身采用XML语法,但比DTD更加灵活,提供更多的数据类型,能更好地为有效的XML文档服务并提供数据校验机制。正是由于XML灵活的结构性、由URI索引的NS而带来的数据可确定性以及XMLSchema所提供的多种数据类型及检验机制,使其成为语义Web体系结构的重要组成部分。该层负责从语法上表示数据的内容和结构,通过使用标准的语言将网络信息的表现形式、数据结构和内容分离。
第三层:RDF+rdfschema。
资源描述框架(外语缩写:RDF)是一种描述WWW上的信息资源的一种语言,其目标是建立一种供多种元数据标准共存的框架。该框架能充分利用各种元数据的优势,进行基于Web的数据交换和再利用。RDF解决的是如何采用XML标准语法无二义性地描述资源对象的问题,使得所描述的资源的元数据信息成为机器可理解的信息。如果把XML看作为一种标准化的元数据语法规范的话,那么RDF就可以看作为一种标准化的元数据语义描述规范。Rdfschema使用一种机器可以理解的体系来定义描述资源的词汇,其目的是提供词汇嵌入的机制或框架,在该框架下多种词汇可以集成在一起实现对Web资源的描述。
第四层:“本体词汇”(Ontology vocabulary)。
该层是在RDF(S)基础上定义的概念及其关系的抽象描述,用于描述应用领域的知识,描述各类资源及资源之间的关系,实现对词汇表的扩展。在这一层,用户不仅可以定义概念而且可以定义概念之间丰富的关系。
第五至七层:Logic、Proof、Trust。
Logic负责提供公理和推理规则,而Logic一旦建立,便可以通过逻辑推理对资源、资源之间的关系以及推理结果进行验证,证明其有效性。通过Proof交换以及数字签名,建立一定的信任关系,从而证明语义Web输出的可靠性以及其是否符合用户的要求。
1、数字图书馆资源组织框架
2 元数据开发应用框架
元数据的基本意义 Metadata(元数据)是“关于数据的数据”;
元数据为各种形态的数字化信息单元和资源集合提供规范、普遍的描述方法和检索工具;
元数据为分布的、由多种数字化资源有机构成的信息体系(如数字图书馆)提供整合的工具与纽带。
离开元数据的数字图书馆将是一盘散沙,将无法提供有效的检索和处理。
3 元数据应用环境
31 Metadata的应用目的
(1)确认和检索(Discovery andentification),主要致力于如何帮助人们检索和确认所需要的资源,数据元素往往限于作者、标题、主题、位置等简单信息,Dublin Core是其典型代表。
(2)著录描述(Cataloging),用于对数据单元进行详细、全面的著录描述,数据元素囊括内容、载体、位置与获取方式、制作与利用方法、甚至相关数据单元方面等,数据元素数量往往较多,MARC、GILS和FGDC/CSDGM是这类Metadata的典型代表。
(3)资源管理(Resource Administration),支持资源的存储和使用管理,数据元素除比较全面的著录描述信息外,还往往包括权利管理(Rights/Privacy Management)、电子签名(Digital Signature)、资源评鉴(Seal of Approval/Rating)、使用管理(Access Management)、支付审计(Payment and Accounting)等方面的信息。
(4)资源保护与长期保存(Preservation and Archiving),支持对资源进行长期保存,数据元素除对资源进行描述和确认外,往往包括详细的格式信息、制作信息、保护条件、转换方式(Migration Methods)、保存责任等内容。
32 Metadata在不同领域的应用 根据不同领域的数据特点和应用需要,90年代以来,许多Metadata格式在各个不同领域出现
例如:
网络资源:Dublin Core、IAFA Template、CDF、Web Collections
文献资料:MARC(with 856 Field),Dublic Core
人文科学:TEI Header
社会科学数据集:ICPSR SGML Codebook
博物馆与艺术作品:CIMI、CDWA、RLG REACH Element Set、VRA Core
政府信息:GILS
地理空间信息:FGDC/CSDGM
数字图像:MOA2 metadata、CDL metadata、Open Archives Format、VRA Core、NISO/CLIR/RLG Technical Metadata for Images
档案库与资源集合:EAD
技术报告:RFC 1807
连续图像:MPEG-7
33 Metadata格式的应用程度
不同领域的Metadata处于不同的标准化阶段:
在网络资源描述方面,Dublin Core经过多年国际性努力,已经成为一个广为接受和应用的事实标准;
在政府信息方面,由于美国政府大力推动和有关法律、标准的实行,GILS已经成为政府信息描述标准,并在世界若干国家得到相当程度的应用,与此类似的还有地理空间信息处理的FGDC/CSDGM;
但在某些领域,由于技术的迅速发展变化,仍然存在多个方案竞争,典型的是数字图像的Metadata,提出的许多标准都处于实验和完善的阶段。
34 Metadata格式“标准化”程度问题
Metadata开发应用经验表明,很难有一个统一的Metadata格式来满足所有领域的数据描述需要;即使在同一个领域,也可能为了不同目的而需要不同的但可相互转换的Metadata格式。
同时,统一的集中计划式的Metadata格式标准也不适合Internet环境,不利于充分利用市场机制和各方面力量。
但在同一领域,应争取“标准化”,在不同领域,应妥善解决不同格式的互操作问题。
4 元数据结构
41 总体结构定义方式 一个Metadata格式由多层次的结构予以定义:
(1)内容结构(Content Structure),对该Metadata的构成元素及其定义标准进行描述。
(2)句法结构(Syntax Structure),定义Metadata结构以及如何描述这种结构。
(3)语义结构(Semantic Structure),定义Metadata元素的具体描述方法。
42 内容结构
内容结构定义Metadata的构成元素,可包括: 描述性元素、技术性元素、管理性元素、结构性元素(例如与编码语言、Namespace、数据单元等的链接)。
这些数据元素很可能依据一定标准来选取,因此元数据内容结构中需要对此进行说明,例如MARC记录所依据的ISBD,EAD所参照的ISAD(G),ICPSR所依据的ICPSR Data Preparation Manual。
43 句法结构
句法结构定义格式结构及其描述方式,例如元素的分区分段组织、元素选取使用规则、元素描述方法(例如Dublin Core采用ISO/IEC 11179标准)、元素结构描述方法(例如MARC记录结构、SGML结构、XML结构)、结构语句描述语言(例如EBNF Notation)等。
有时,句法结构需要指出元数据是否与所描述的数据对象捆绑在一起、或作为单独数据存在但以一定形式与数据对象链接,还可能描述与定义标准、DTD结构和Namespace等的链接方式。
44 语义结构 语义结构定义元素的具体描述方法,例如 描述元素时所采用的标准、最佳实践(Best Practices)或自定义的描述要求(Instructions)。
有些元数据格式本身定义了语义结构,而另外一些则由具体采用单位规定语义结构,例如Dublin Core建议日期元素采用ISO 8601、资源类型采用Dublin Core Types、数据格式可采用MIME、识别号采用URL或DOI或ISBN;
又如OhioLink在使用VRA Core时要求主题元素使用A&AT、TGM和TGN,人名元素用ULAN。
5 元数据编码语言与制作方式
51 元数据编码语言
元数据编码语言(Metadata Encoding Languages)指对元数据元素和结构进行定义和描述的具体语法和语义规则,常称为定义描述语言(DDL)。
在元数据发展初期人们常使用自定义的记录语言(例如MARC)或数据库记录结构(如ROADS等),但随着元数据格式的增多和互操作的要求,人们开始采用一些标准化的DDL来描述元数据,例如SGML和XML,其中以XML最有潜力。
52 元数据制作方式
(1)专门编制模块(例如对MARC、GILS、FGDC等)
(2)数据处理时自动编制(例如对Dublin Core等)
(3)数据物理处理时自动编制(例如数字图像扫描时的某些元数据参数)
(4)共享元数据(例如OCLC/CORC、IMESH
6 元数据互操作性
61 元数据互操作性问题
由于不同的领域(甚至同一领域)往往存在多个元数据格式,当在用不同元数据格式描述的资源体系之间进行检索、资源描述和资源利用时,就存在元数据的互操作性问题(Interoperability):
多个不同元数据格式的释读、转换和由多个元数据格式描述的数字化信息资源体系之间的透明检索。
62 元数据格式映射
利用特定转换程序对不同元数据元格式进行转换,称为元数据映射(Metadata Mapping/Crosswalking)。
已有大量的转换程序存在,供若干流行元数据格式之间的转化,例如
Dublin Core与USMARC; Dublin Core与EAD
Dublin Core与GILS; GILS与MARC TEI
Header与MARC FGDC与MARC
也可利用一种中介格式对同一格式框架下的多种元数据格式进行转换,例如UNIverse项目利用GRS格式进行各种MARC格式和其它记录格式的转换。格式映射转换准确、转换效率较高。不过,这种方法在面对多种元数据格式并存的开放式环境中的应用效率明显受到限制。
63 标准描述框架
解决元数据互操作性的另一种思路是建立一个标准的资源描述框架,用这个框架来描述所有元数据格式,那么只要一个系统能够解析这个标准描述框架,就能解读相应的Metadata格式. 实际上,XML和RDF从不同角度起着类似的作用。
XML通过其标准的DTD定义方式,允许所有能够解读XML语句的系统辨识用XML_DTD定义的Metadata格式,从而解决对不同格式的释读问题。
RDF定义了由Resources、Properties和Statements等三种对象组成的基本模型,其中Resources和Properties关系类似于E-R模型,而Statements则对该关系进行具体描述。
RDF通过这个抽象的数据模型为定义和使用元数据建立一个框架,元数据元素可看成其描述的资源的属性。
进一步地,RDF定义了标准Schema,规定了声明资源类型、声明相关属性及其语义的机制,以及定义属性与其它资源间关系的方法。另外,RDF还规定了利用XML Namespace方法调用已有定义规范的机制。
64数字对象方式
建立包含元数据及其转换机制的数字对象可能从另一个角度解决元数据互操作性问题。
Cornell/FEDORA项目提出由内核(Structural Kernel)和功能传播层(Disseminator Layer)组成的复合数字对象。
内核里,可以容纳以比特流形式存在的文献内容、描述该文献的元数据、以及对这个文献及元数据进行存取控制的有关数据。
功能传播层,主功能传播器(PrimitiveDisseminator)支持有关解构内核数据类型和对内核数据读取的服务功能,还可有内容类型传播器(Content-Type Disseminators),它们可内嵌元数据格式转换机制。
例如,在一个数字对象的内核中存有MARC格式的元数据,在功能传播层装载有请求Dublin Core格式及其转换服务的内容类型传播器。当数字对象使用者要求读取以Dublin Core表示的元数据时,相应的内容类型传播器将通过网络请求存储有Dublin Core及其转换服务程序的数字对象,然后将被请求数字对象中的MARC形式元数据转换为Dublin Core形式,在输出给用户。
7 几点建议
跟踪元数据发展、积极参与制定元数据标准、加快元数据应用、注意国际接轨。
加快研究有效利用元数据进行检索(包括异构系统透明检索)、相关性学习、个性化处理等的机制。
加快研究元数据与数字对象和数字化资源体系有机整合的途径与方法。
推进研究利用元数据进行基于知识的数据组织和知识发现。
什么是Linked Data?相比于传统的知识库,它有那些优势
本文2023-11-20 18:53:51发表“资讯”栏目。
本文链接:https://www.lezaizhuan.com/article/516926.html