《基于规则的中文分词和地址匹配市公开课一等奖百校联赛获奖课件.pptx》由会员分享，可在线阅读，更多相关《基于规则的中文分词和地址匹配市公开课一等奖百校联赛获奖课件.pptx（16页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、基于规则汉字地址分词与匹配方法 计算机技术 第1页研究背景及意义研究背景及意义 伴随地理信息系统（GIS）不停发展和其在各行业广泛应用，人们对信息共享要求也越来越迫切。比如在城市管网、交通导航、工商管理、公共卫生、灾害管理等领域，地理信息系统作为信息共享平台，其应用越来越广泛。城市各行业数据库都保留着大量和地理位置相关非空间数据。不过这些行业建设 GIS 系统并没有足够空间位置数据进行支撑，因为地址数据并不能够批量、准确地转化为空间化信息。这些数据大多都没有空间位置坐标，无法对应到电子地图上，也就无法进行空间分析和管理决议。地址匹配技术正是这一问题处理方法。地址地址匹配匹配技术就是把自然语言描
2、述地理技术就是把自然语言描述地理位置信息转换成地理坐标过程。位置信息转换成地理坐标过程。经过地址匹配技术，能够把城市各个行业非空间信息数据进行空间化，进而利用到 GIS 实际应用中，实现信息集成与数据共享。GIS 比如，baidu地图第2页引入一些地址组成基本概念：(1)地址串：就是普通地址，日常通信地址。比如：青岛市黄岛区前湾港路 579 号。(2)地址要素：组成地址串若干词组，如上面地址就是由 4 个地址要素组成，分别是“青岛市”、“黄岛区”、“前湾港路”和“579 号”，每个地址要素相对独立。(3)地址通名：顾名思义，就是地址要素中通用那些字段。比如：地址要素“黄岛区”中“区”为地址通名
3、，“前湾港路”中“路”为地址通名。(4)地址专名：比如：“黄岛区”中“黄岛”为地址专名。地址要素中去掉地址通名后剩下部分就称为地址专名。第3页 Key technologies on Address matching第4页Standard address model第5页标准地址模型举例第6页汉字分词方法：1.基于字典分词方法 （1）正向最大匹配正向最大匹配法法 （2）逆向最大匹配法 （3）最少切分词方法 （4）逐词遍历法2.基于了解分词方法3.基于统计分词方法在人工智能自然语言处理（NLP）领域也会用到汉字分词技术。第7页正向最大匹配法:它基本思想是：首先创建一个用于自动分词汉字词典，能够得
4、知词典中最长词条汉字个数，假设个数为 n。然后，取待切分句子前 n 个字符作为匹配字段，在分词词典中进行字段查询匹配。假如词典中有这么字段，则匹配成功。这么，由 n个字符组成字段被切分出来，作为一个词。假如词典中不存在这么字段，则匹配失败，将字段末尾去一个汉字，剩下 n-1 个字符作为新字段，再进行匹配，如此重复，直到匹配成功为止。比如句子“我们是中华人民共和国公民”，假设字典最长词长为 7，它正向最大匹配法分词流程以下表 所表示。第8页分词过程实例Process of segmentation第9页标准数据库创建：标准数据库创建：建立地址标准数据库系统是地址匹配前提工作，需要将采集城市地址按
5、照确定标准地址模型标准地址模型进行标准化。在创建标准地址库中，分别存放地址行政区划部分和详细街道地址部分。第10页 汉字地址组成复杂多样，对比标准地址模型，可能存在地址表示不完整、残缺情况。（设定：1道路名，2门牌号，3住宅小区，4楼牌号，5建筑物。）比如地址址武汉市青山区工业一路21号，是1（道路名）+2（门牌号）模式，没有3、4、5三种地址要素。所以需要定义规则方便于后面地址匹配进行。以下表所表示。第11页地址匹配规则树Geocoding rule tree第12页 对于存在语义歧义含糊存在语义歧义含糊地址，能够利用栈存放全部歧义情况，并构建一棵歧义地址树，按照深度优先标准遍历该树，直至查
6、询到满足规则地址统计为止。当查询失败时，能够读取栈中上一层歧义地址继续查询。即使一定程度上加大了查询复杂度，但能够比很好应对歧义含糊地址匹配问题。第13页 比如，地址“江汉墨水湖东侧12号楼B座301室”，首先，行政区划部分应该是“江汉区”，缺乏地址通名“区”；“墨水湖”表述有歧义，可能是墨水湖路，也可能是墨水湖小区；另外，“东侧、B座301室”为多出信息，应该去掉。以此地址为例，算法详细步骤如下：（1）判断字符串中是否存在行政区划。经过搜索标准地址库中行政区划表，查找到“江汉”一词与统计“江汉区”含糊匹配，将其分割出来。（2）对剩下字符串“墨水湖东侧12号楼B座301室”进行地址分词匹配。经
7、过匹配规则树，限定了搜索字段为1（道路名）、3（住宅小区名）、5（建筑物）。调用最大正向匹配算法，查询到“墨水湖”分别与1墨水湖路和3墨水湖小区两个字段含糊匹配，所以产生语义歧义。并将1与3先后入栈，栈顶为3，故先将“墨水湖”匹配到3，查询规则库，没有满足条件规则，故对“东侧12号楼B座301室”继续进行分词匹配。经过规则树，3后面只有4。继续调用最大匹配算法，在标准地址库中4字段中查询剩下子串“东侧12号楼B座301室”，无匹配结果。第14页 故重新选取栈顶元素，将“墨水湖”匹配到1，查询规则库无满足规则，故继续分词匹配。查询规则树并确定备选字段为2、3、4、5。搜寻字符串“东侧12号楼B座301室”，查找到“12号楼”，与4字段有一条匹配统计，将该词记入分词结果词组。此时查询规则库，找到规则三规则三满足条件。分词匹配算法完成。运算结果：对于含糊地址“江汉墨水湖东侧12号楼B座301室”，分词结果为“墨水湖、墨水湖、12号楼号楼”，在标准地址库中找到了地址统计“墨水湖东路墨水湖东路15号号12号楼号楼”。第15页谢谢第16页