《多民族语言农业生产管理专家系统与决策支持解决方案.docx》由会员分享,可在线阅读,更多相关《多民族语言农业生产管理专家系统与决策支持解决方案.docx(11页珍藏版)》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、多民族语言农业生产管理专家系统与决策支持解决方案针对民族地区群众在应用农业信息技术过程中的特殊 性和薄弱性,通过模块构件集成应用,利用农业领域翻译模板抽 取技术、汉民语料库技术、即时翻译技术、翻译模型构造技术、语 言模型训练即时、统计机器翻译的编/解码器技术、民族语言显 示和编码转换技术、软件工程技术、多民族语言知识获取与推 理技术等,对现有“农业信息处理与知识管理平台”进行多民族语 言知识获取、多语言文字适应、系统强壮性、平台可扩展性等几 个方面的改造和提高,构建了多民族语言农业智能信息处理系统。 本文以汉/蒙、汉/藏、汉/傣、汉/维和汉/彝双语农业智能信息专家系统为例,介绍具体实现与应用,
2、 获得构建多民族语言农业智能信息专家系统的一般方法。3.4.1 多民族语言智慧农业即时翻译系统结构针对民族地区对民语即时翻译的需求,考虑到多种民族语 言的不同特点,采用了“有限词汇”和“动态翻译”的技术路线,以 基于统计的机器翻译方法,开放性的结构设计思想研制了多民族图3-6汉蒙马铃薯智能专家系统推理结果多民族语言农业智能信息处理系统中的自动翻译系统,不仅可 以用于汉蒙翻译,同样还可以应用在其他双语(如汉/藏、 汉/傣、汉/维和汉/彝等)的翻译,在此基础上配合其他民文的 农业领域语料库,以及相应的字库和显示方法,开发形成多民 族语言的农业智能信息处理即时翻译系统。目前以同样的方法, 已经成功开
3、发出汉/维、汉/彝、汉/藏、汉/傣等多语言农业智能 信息处理即时翻译系统。基于此多民族语言农业智能信息处 理平台,开发了水稻、玉米、小麦、马铃薯、青棵、茶叶和 橡胶等汉/维、汉/彝、汉/藏、汉/傣双语农业智能系统,如图3-7、3-8、3-9、3-10所示。.rzrnrfcmL., 4 , 一 U 1痣 Kc,.8n. x,2. | 匚. w r“rM M. WaJVA.S*!1 ,4yw*. t .an.IS-t、 .,. 74京 t: Ittk*.图3-7汉维番茄智能专家系统推理结果 图3-8汉藏马铃薯智能专家系统推理结果o*i1 力口”,, !契, wte-l ft - atji,):叫、
4、i 1, 3 itm + Hff , c Ml* Kk-xmqm a tlurAT* A 1 T / 44 F - aiC,”工,*A”. M a tf 乂. Ac 、v 一1 一, GOT8。QMk 图3-9汉傣水稻智能专家系统推理结果*Y W-*Y W-*1 Iftrr 0 h Wiw .MV抬0小M2HI叱ua。”&皖Zs/Z)XQQOTXV*HS3XX&ZFE鼻 意一多共日二四三共TN W4kth %Z)a4X0f Tt Mtb sziowsgiax.努h?f *rf 买回7 H9三兴昌幻*C图3-10汉彝水稻智能专家系统推理结果目前这些多民族语言农业智能系统,在内蒙谷自治 区赤峰市的
5、巴林左旗地区、新疆维吾尔自治区、云南迪 庆藏族自治州、楚雄彝族自治州、版纳傣族自治州等地开展了示范应用,取得了良好的社会效益和经济效益。 语言即时翻译系统。开放结构分为三个局部:一是将“有限”范围 限制在农业领域内,建立多民族平行专业词典和语料骨架,供不 同民族语言的使用者进行对应翻译,作为基础语料使用;二是在 知识获取阶段,采用统计机器翻译思想,利用不同民族地区的农业 知识库构造了语言模型局部、翻译模型以及解码器;三是在知识推 理阶段,首先对每一条汉语 语句进行断句、分词处理,然后通过 解码器对应民族语言进行翻译处理,最后显示处理,针对未被翻 译的词条进行未登陆词学习。多民族语言智慧农业即时
6、翻译系统结构如图3-3所示,系 统由六个模块组成,各个模块及其功能如下:(1)显示界面模块,利用网页中表格设置的技术,分别 显示汉语和民族语言的推理结果。其中民族语言的结果按民族 语言的显示习惯以弹出对话框的形式出现。(2)推理机模块,采用Agent技术基于模型知识表示和案 例推理的方法,把用户在多种编辑器下写好的专业领域知识 (也称知识库) “转变”成计算机应用软件,这个应用软件将模拟专家思维过程, 提出专家咨询意见。(3)翻译请求模块,利用客户机服务器技术,主要是完 成翻译的前期工作和后期的多语言显示可能需要的工作。前期 工作主要是对源语言(汉语)进行文本断句,然后进行汉语分 词,再进行相
7、应的预处理,把结果发送给服务模块。(4)翻译服务模块,利用客户机服务器技术,主要完成 解码的工作,由解码器构成。解码器就是把客户端发送来的预处 理的结果进行解码,解码成所需的目标语言。(5)多民族语言显示模块,根据各个民族语言的特点并 以网页的形式显示其推理结果。(6)知识库模块,主要存储农业领域的专家知识。北 二图3-3多民族语言智慧农业即时翻译系统结构图3.4.2 多民族语言农业智能信息处理系统机器翻译流程农业智能信息处理系统知识推理过程中的汉/民机器即时翻译,采用改进的基于短语的统计机器翻译方法。翻译请求模块发送请求民族语言接受转换 端图3-4多民族语言农业智能信息处理系统机器翻译流程图
8、如图3-4所示,翻译流程主要可分为以下六个步骤:(1)首先把咨询工作中所用的汉语知识进行文本断句;(2)把进行文本断句的结果进行汉语分词;(3)分词后的结果交给发送请求模块,然后发送请求模块对分词后的结果进行打包。建立客户端,通过客户端向翻译服务模块发送要翻译的文件;(4)翻译服务器端响应翻译请求,把应答的结果返回给接收端。应答的结果即为翻译后的拉丁转写形式的民族语言;(5)接收端接收到翻译后的结果进行民族语言的编码转换,即把民族语言拉丁转写形式转化成民族语言传统的书写形式;(6)民族语言转换后以网页的形式显示在推理机界面上,获得推理后的最终咨询结果。3.4.3 多民族语言农业信息平台中的翻译
9、关键技术农业领域翻译模板抽取技术以农业术语为枢纽,借鉴土耳其Bilkent大学 Guvenir&Cicekli 的 TTL(Translation Template Learner)启发式 方法,从两对互译的汉民双语对齐实例中,通过比拟两个实例 句子中的相同局部和不同局部,将相同局部作为常量,不同局部 作为变量,再建立源语言和目标语言变量之间的对应关系,构建 农业领域词汇的短语模板。3.432 翻译模型构造技术在知识获取阶段,增加语言模型构造局部,利用统计机器翻 译思想,对不同民族农业语料库对齐训练以及语言翻译模型的构 造;配套开发了词语对齐的提炼工具、词语评分工具、短语抽取和 短语评分工具。
10、3.433 语言模型训练采用统计机器翻译领域公认的成熟开源语言模型训练工具SRILM进行N-gram语言模型的训练;训练开始时选择了各种不 同的平滑算法,这样训练结束后,就可以生成不同的语言模型; 同时训练开始时还选择了生成的目标语言模型的文本和二进制文 件两种格式。3.434 基于统计机器翻译的解码器根据学习得到的模型信息寻找汉语语句中最可能的民族语 言目标译文。在常用的柱搜索解码算法基础上,增加了短语空 间中搜索过程中的动态剪枝、预剪枝和改进的位置重排限制策 略,提高了搜索速度和精度。此外,针对农业领域术语翻译唯一 性问题提出“领域翻译模型”的概念,通过构建术语翻译表的方法, 对农业领域术
11、语的目标短语进行唯一指定,同时忽略该术语对应 的翻译模型信息,保证了在搜索过程中领域术语只存在唯一的 翻译选择,提高了领域术语翻译的准确性。343.5民族语言显示和编码转换技术根据民族语言文字的特征,并结合已公布的少数民族语言文 字相关国家/国际标准,以统一规范的民族语文形式显示(如, 蒙文以从上到下,竖显;维文、藏文、傣文和彝文以从右到 左,横显)编码转换主要是针对传统民文到拉丁民文的显 示以及拉丁民文到传统民文之间的转换。3.436基于词平面的现代汉语高效分词技术词平面分词系统以词为基础,针对目前分词系统中存在的 问题,提出了以多元融合的词典结构、一体化全切分分词框架、 局部歧义词网格、基
12、于斐波那契堆的最优路径生成算法,解决了 词检索速度、碎词过滤、歧义分析、最短路径等问题。343.7模板和统计的双层翻译技术在基于短语的统计机器翻译方法的基础上,结合使用基于 模板的翻译方法,每一个输入的源语言句子的翻译流程有三层: 第一层为基于模板的翻译处理过程;第二层为基于模板和统计两 者相结合的翻译处理过程,即首先调用基于模板的翻译处理,对 剩余局部的处理采用基于统计的方法;第三层是传统的基于 短语的统计机器翻译处理过程,解决了农业常用语的翻译 问题。多民族语言农业智能信息处理系统机器翻译结果在上述系统结构和关键技术研究基础上,以汉/蒙机器翻译 为例,构建了汉蒙农业智能信息处理系统机器翻译
13、平台,在此 平台中开展了汉/蒙农业咨询即时翻译系统的实验,针对蒙文 的特点,该平台前期语料库的预处理中,增加了蒙文语料库、拉丁蒙文词性标注工具,汉蒙双语词语对齐工具,拉丁蒙文语料库词性标注采用改进的基于转换的错误率驱动算法实现。平台界面由三大模块构成,分别是推理路径显示窗、交互 视图和最终推理结果视图,如图3-5所示。最终的推理结果包 括两局部,一是汉语的推理结果,以网页的形式显示;二是蒙 文的推理结果,采用对话框的形式,对话框中的蒙文也是以网页 的形式显示。推理结束时汉语和蒙文的推理结果同时显示。对话框 中显示蒙文的推理结果,对话框下面覆盖的是汉语的推理结果,移 动对话框即可以看到。a a 9图3-5多民族语言农业智能信息处理平台此外,两种语言的推理结果分别有保存和打印的功能。汉蒙语言农业智能信息处理系统推理结果如图3-6所示。