《基于贝叶斯模型.docx》由会员分享，可在线阅读，更多相关《基于贝叶斯模型.docx（6页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、基于贝叶斯模型(北京北大方正软件技术学院 软件技术系，河北 廊坊 065000)摘 要：针对传统的信息检索方法采纳基于关键词匹配的 模式，导致查询效率低下的问题，利用同义词对查询术语进行扩展，提出了一种用于信息检 索的贝叶斯网络模型扩展，并引入词共现的方法挖掘术语之间的相关关系。试验结果表明， 新模型能够有效地提高检索效率。关键词：贝叶斯网络；信息检索；同义词；词共现中图分类号：TP391 文献标识码：A 文章编号：10176921(2022)22009002贝叶斯网络检索模型可以计算术语与术语，术语与文档之间的条件概率，但是网络拓扑结构 显得很困难，没有层次性。文献1给出了一种贝叶斯网络检索
2、模型，该模型提出 了一种新的可以称为传播+估计的推理技术，能够提高一定的检索速率。为了更好地利用贝 叶斯网络，利用同义词扩展查询术语，并引入词共现的方法对基本的贝叶斯网络检索模型进 行扩展，有效地提高了检索效率。1 相关学问1.1 同义词介绍同义词的概念并不等同于语言学和日常生活中的同义词，它不考虑感情色调和语气，主要是 指能够相互替换、表达相同或相近概念的词汇2。同义词能从概念语义上表达用 户的查询意图，如“电脑”“计算机”，“重构”“重组”等。由于自然语言中存在大量的同义词和近义词，用户检索时很难全部列举出表示同一概念的不 同词汇，因而造成了检索效率低下。为此，引入同义词扩展查询，可以检索
3、到更多的文档。 1.2 词共现方法 在信息检索中，假如两个词常常共同出现在文档的同一窗口单元（如章、节、段），就认为 两个词在意义上是相互关联的，并且共现的概率越高，其相互关联越紧密3。一 般状况下，选择整篇文档作为窗口单元。这里采纳的词共现方法是基于统计学的理论，在文档经过处理后，用公式（1）计算文档中 随意两个术语和之间的相关系数。740)this.width=740 border=undefined 其中c(ti,tj)表示术语ti与tj共同出现的频率，c(ti)表示术语ti出现的频率 ，c(tj)表示术语tj出现的频率。2 用于信息检索的贝叶斯网络模型扩展2.1 模型的网络拓扑结构文档
4、集合d表示为d=d1，d2，dn；这些文档的索引术语集合t表示为t=t1，t2， ，tm。 图1给出了贝叶斯网络模型扩展的拓扑结构，其中q被定义为查询术语节点，d k定义为文档节点，tj定义为索引术语节点，tj有一条指向被它索引的文档dk的弧。 采纳两个术语层来挖掘文档索引术语之间的关系，完740)this.width=740 border=undefined740)this.width=740 border=undefined 2.2 同义词的获得在贝叶斯网络模型扩展中，每个查询术语的同义词都用来扩展查询，即假如从查询术语节点 q有一条指向术语节点ti的弧，则表示ti是查询术语q的同义词。对
5、每个查询术语q ，通过同义词词典的方法找出其同义词，并存入集合R(q)中。2.3 术语之间关系 的挖掘与tj最相关的术语集合R(tj)用词共现方法来确定，因为术语tj和ti的相关系数与 它们在文档中的权重有亲密的联系，所以对公式（1）进行改进：740)this.width=740 border=undefined其中tfijk表示文档k中术语ti和tj同时出现的频率，dfij表示同时出现术 语ti和tj的文档数目，mtitj表示术语ti和tj所包含的单词个数。 wjk表示术语tj在文档k中的权重，用公式（4）进行计算：740)this.width=740 border=undefined其中a
6、是参数，满意0a1，用来限制考虑术语之间的 相关关系对tj的相关概率的影响程度。2.4.1.3 术语tj的同义词或者相关词有可能是同一个术语，那么采纳加权求均值的方 法计算。2.4.2 索引术语和文档之间的条件概率计算：740)this.width=740 border=undefined对给定的查询q，计算文档dk的最终后验概率p(d+kq)：740)this.width=740 border=undefined依据以上推理，计算文档节点dk的后验概率P(d+kq)，完全的信息检索过程就完成 了，最终将文档根据概率大小降序返回给用户。3 试验结果与分析试验所用的文档来源于中国学术期刊网全文数
7、据库，从该数据库中下载了300篇文档作为测 试集合，经过处理后得到437个代表文档主要内容特征的索引术语，并针对这些文档构造了3 个查询。在以上试验数据的基础上做基于贝叶斯网络模型的信息检索，表1中列出了采纳不 同方法得到的检索结果。方法1是基本贝叶斯网络模型的检索方法，方法2是基于查询扩展的贝叶斯网络模型的检索方 法，方法3为本文设计的贝叶斯网络扩展模型的检索方法，当参数的取值为0.6时可以得 到比较志向的检索效果。 740)this.width=740 border=undefined从表1可以看出，采纳基于扩展的贝叶斯网络模型的方法都要优于方法1；方法2仅从单一的 查询扩展方面考虑，导致
8、查准率不高；方法3要优于方法2，因为在查询扩展的基础上，又考 虑了术语之间的相关关系，所以本文设计的检索策略能够达到更好的检索效果。参考文献1 L.M. DE CAMPOS， J.M. FERNANDZE-LUNA， J.F. HUETE. The BNR model: fo undations and performance of a Bayesian network-based retrieval modelJ. Inte rnational Journal of Intelligent Systems， 2003， 18(2):251265.2 陆勇，侯汉清. 用于信息检索的同义词自动识
9、别及其进展J.南京农业高校 学报，2004， 4(3): 8792.3 吴光远，何丕廉，曹桂宏等. 基于向量空间模型的词共现探讨及其在文本分类 中的应用J.计算机应用，2003，(23):138140.4 C. FABIO， L. M. DE CAMPOS， J. M. FERNANDEZ-LUNA， et al. A multi-l aye red Bayesian network model for structured document retrievalJ. Lecture Notes in Computer Science，2003，(2711):7486.5 L.M. DE CAMPOS， J.M. FERNANDZE-LUNA， J.F. HUETE. Clustering term s in the Bayesian network retrieval model: a new approach with two term-layersJ . Applied Soft Computing，2004，(4):149158. 第6页 共6页第 6 页 共 6 页第 6 页 共 6 页第 6 页 共 6 页第 6 页 共 6 页第 6 页 共 6 页第 6 页 共 6 页第 6 页 共 6 页第 6 页 共 6 页第 6 页 共 6 页第 6 页 共 6 页