信息抽取
信息抽取(Information Extraction,简称IE,又译信息截取技术)主要是从大量文字资料中自动抽取特定消息(Particular Information),以作为数据库访问(Database Access)之用的技术。
信息抽取的一个广泛目标是允许对以往非结构化的资料去做计算,具体来说就是要允许逻辑推理能对输入资料的逻辑内容可以举一反三。其意义在于决定了例如在互联网上其非结构化(例:不包含元数据)形式中有用信息数量的成长。在这方面的技术上是透过转换到关系形式或是经由XML标签的标记来达到更多的可访问性──一个智能代理程序,监督一新闻资料馈流,需要信息截取技术来转换非结构化资料到某种可推论的方式。
起源
编辑信息检索技术又称为“消息理解”(Message Understanding),其主流研究起源于1987年消息理解会议(Message Understanding Conference, MUC),这个会议主要提倡利用自然语言处理技术,对文字信息作更深度的剖析,以提高信息检索的认知程度。从1987年第一届会议迄今,MUC已经举办过六次会议,每年会中皆会提供文字资料以及标准问题,供与会者以所发展的系统自动抽取消息,这种竞赛方式对于整个领域的技术提升有很大的助益。
目的
编辑信息抽取的基本任务包含了:
- 命名实体识别(Named entity recognition,又译“专名识别”)
- 共指消解(Coreference)
- 术语抽取(Terminology_extraction)
在自然语言处理范畴,信息截取技术是雷同于信息检索领域的一种类型,它的目的是要以自动化的方式来截取结构化信息,例如:在某一个特定领域或是从非结构化机器可读的文件中,对明确的资料进行分类、判断上下文以及语义化的分析。
模板分类
编辑信息截取技术一般借助事先准备的模板(Template)以截取特定新闻事件包括人(Who)、事(What)、地(where)与时间(When)等事实(Fact)。因为截取事实必须对所分析的文件有某种程度的剖析理解能力,在各种信息检索研究课题中,信息截取技术一直相当仰赖自然语言处理技术,因此是传统上最典型的智能检索技术之ㄧ。
判断文句
编辑一般信息截取技术的做法包括具备文件过滤程序(Text Filter),借此从大量文件中过滤出较相关的文字片段,其作法与信息过滤技术(Information Filtering)较为类似。接着利用剖析程序(Parser),将文件片段转化成剖析树(Parsing Tree)。剖析树类似我们阅读英文时的文法结构,是对文句做语法的分析(例如找出动词、主词、受词),之后再将这些剖析树与原先欲抽取的模板比对,截取出有关人事地物的事实出来。
语义化分析
编辑信息截取的研究,主要还是针对特定领域的文件进行深度分析,因此过程中还包括词汇语义标定(Semantic Tagging)、重要名词词组抽取(Noun Phrase Extraction),文句部分剖析(Partial Parsing)、产生语义格框(Semantic Frame)等相关技术,因此开发一个信息截取系统必须事先建立很完整的领域知识,包括相关词汇、词组、文法规则、语义规则等。
参考资料
编辑《图书信息检索技术》卜小蝶著:文华,台北市,民85