《矿山数字化技术现状与发展方向.pdf》由会员分享,可在线阅读,更多相关《矿山数字化技术现状与发展方向.pdf(19页珍藏版)》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、http:/ 矿山数字化技术现状与发展方向矿山数字化技术现状与发展方向1陈建宏,古德生,周智勇 中南大学资源与安全工程学院,长沙(410083)E-mail:摘摘 要:要:本文对我国“九五”、“十五”期间我国矿山数字化和信息化研究成果和存在的问题进行了分析;对目前具有一定争议的“数字矿山”建设的目标、内容、思路和方案进行了讨论;对数字矿山和矿业 ERP 的概念进行了解释和界定;对矿山信息化发展的模式和阶段进行了分析;对我国矿业信息化项目建设的优先顺序进行了论述;对国内外矿山数据仓库技术的发展方向和应用前景进行分析。全文试图对我国矿山数字技术的现状与发展趋势作简要评述,期望对新世纪我国矿山数字化
2、和信息化发展理出一个指导性思路和基本框架。关键词:关键词:矿山数字技术,数字矿山,矿山信息化,建设目标,发展趋势 1 前前 言言 矿产资源的开发对人类赖以生存的环境造成了极大的污染和破坏。因此,如何在有限的资源条件下,在生态系统包容能力允许的条件下,探讨矿产资源开发与环境保护,实现经济的可持续发展是 21 世纪人类面临的重大课题。如果继续沿袭旧的外延扩张式经济发展模式,而不是转向寻求一种变革性力量,将难以解决矿产资源开发中的诸多矛盾。强化信息资源开发利用,加强矿山数字技术运用是这种巨大变革性力量的主力军。信息化建设已成为我国的一项重要的战略国策,国家“十五规划”中明确指出:“信息化是当今世界经
3、济和社会发展的大趋势,也是我国产业升级和实现工业化、现代化的关键环节。要把推进国民经济和社会信息化放在优先位置。”并提出“坚持以信息化带动工业化、以工业化促进信息化,走出一条科技含量高、经济效益好、资源消耗低、环境污染小、人力资源优势得到充分发挥的新型工业化路子”的战略方针。因此,充分利用现代信息技术,实现矿业的可持续发展,达到资源开发与环境保护和谐统一,是“十一五”矿业发展规划要解决的重要任务之一。矿山企业作为资源开发的主体,其信息化是矿业信息化的重要组成部分之一。矿山信息化即是挖掘先进的管理理念,应用先进的信息技术去整合矿山现有的生产、经营、设计、管理,及时地为矿业“三层决策”(战术层、战
4、略层、决策层)系统提供准确而有效的数据信息,以便对市场需求做出迅速反应,进而提升矿业经济核心竞争力的过程。矿山信息化不仅是矿山信息技术的延伸,更重要的是矿业管理、组织结构、业务流程的变革和延伸1-7。近年来,随着我国矿业经济的繁荣以及信息技术的发展,我国矿山企业对信息化软件产品的需求大量增加。上世纪 90 年代,由于我国矿业经济不景气,矿山企业、高等学校及研究院所在相当长的时间内,对矿业软件产品的研发速度缓慢,除了经济因素外,其中主要原因是矿山行业难以留住高水平的软件开发和管理人员。面对新世纪迅速繁荣的矿业经济和快速发展的采矿工业,目前我国矿山信息化发展存在二大矛盾:一是矿山信息化产品需求空前
5、增加与国内矿山软件产品研发能力相对滞后的供需矛盾;其次是矿山企业领导对“数字矿山”的高期望值与矿山IT人才流失严重,IT技术力量的严重不足,操作维护培训跟不上,难以保证系统良好实施和运行的矛盾1-3。与此同时,面对中国巨大的矿业软件市场,国外矿业软件商的将主要力量转向中国,在 1 本课题得到全国优秀博士论文专项基金((200449)的资助。-1-http:/ 经济利益的驱动下,国内相继出现大量的国外矿业软件代理商(如 Surpac、Micromine、Datamine、MineSight 等),他们利用自己在国内的客户关系与国外软件厂家密切合作,使得目前国内矿业软件市场正在迅速被外商占领,这种
6、发展趋势必须引起我国政府和矿山企业决策层的高度重视。本文试图对我国矿山数字技术的现状与发展趋势作简要论述,期望对我国新世纪矿山数字化和信息化发展思路理出一个指导性的基本框架。2 矿山数字技术现状矿山数字技术现状 2.1 中国矿山信息化概况中国矿山信息化概况“九五”、“十五”期间,我国矿山企业在应用推广信息技术中进行了较大投入,打下了一定的基础,取得了明显的效益,也促进了矿山安全生产。煤炭行业比非煤矿山投入的力度大,煤炭行业广泛应用先进适用的信息技术,有效提升全行业的生产效率和管理水平,成为我国煤炭行业实现跨越式发展的历史性契机,非煤矿山近几年也在迎头超赶,像中铝、宝钢、首钢等大型企业集团信息化
7、水平已经相当高。总体上,我国矿山信息化有以下特点:(1)以信息流为主要特征的煤矿机电一体化产品已在煤炭生产作业中得到普遍应用。以计算机为核心的电牵引采煤机、全数字直流提升机成为国内市场主导产品。(2)煤矿安全生产监控系统得到迅速推广。目前国产的煤矿安全监测系统已在 400 多个煤矿得到使用,基本上占领了国内市场。(3)煤炭企业信息系统的开发建设从单项应用走向系统集成,成为煤炭信息化建设新趋势。据统计,“九五”末国有重点煤炭企业用于生产经营管理的计算机约有 5.4 万多台,普遍应用在财务、销售、计划、统计、劳资、物资、固定资产等重要管理环节。据原国家经贸委全国企业信息化建设现状和十五规划情况调查
8、报告调查显示,煤炭行业 60%的企业信息化装备水平较高,硬件投入大,但全面实现信息化管理的企业寥寥无几。矿山行业的信息化,明显存在重投入、轻管理,重局部、轻整体,重硬件、轻软件的问题,重项目建设,轻 IT 人才培养。主要有以下几点:(1)矿山行业信息化的整体水平不高;(2)矿山行业信息化发展不均衡,主要表现在企业管理信息化相对进展迟缓,企业之间的信息化差距很大;(3)“信息孤岛”问题严重制约着矿山行业信息化整体效益的实现;(4)行业专用软件研发相对滞后,研发力量薄弱,从现有市场情况分析,适合矿山行业特点和需求的专用软件比较缺乏,难以充分满足矿山生产发展和技术升级的需要。2.2 矿山数字技术的新
9、进展矿山数字技术的新进展 二十世纪 80 年代,一些矿山企业与科研院所、大专院校开始合作探索计算机技术在矿山设计和生产中的应用,并开发了一些应用系统软件,如:矿山资源储量计算软件、矿井通风系统软件等等,为推动我国矿山信息化建设起到了积极的作用。九十年代后,随着国家信息化的快速发展和市场环境的变化,矿山信息化进入快速发展阶段,围绕着如何提高矿山生产效率和管理效率、降低开采成本、提高矿山开采的技术水平和生产能力等开展了大量的研究,并取得了丰硕的成果,主要成果概述如下4-8:1、矿床可视化建模和储量计算得到推广、矿床可视化建模和储量计算得到推广 随着数字地球、数字中国等概念的不断涌现,“数字矿山”的
10、概念也逐步得到推广和实施。通过矿山地质数据的获取、输入与管理,建立矿床地质模型,实现矿山地质图件编制及地质-2-http:/ 统计学品位与储量计算。国际著名的数字建模软件如:澳大利亚的 SURPAC、MICROMINE、美国的 MINESINGHT 和英国的 DATAMINE 等在我国许多矿山得到广泛运用。2、计算机辅助矿山规划与设计大幅度的提高、计算机辅助矿山规划与设计大幅度的提高 在矿床三维模型的基础上,进行地质储量计算,运用计算机辅助矿山规划与设计软件,优化开采境界,编制矿山的长、短期计划,动态、快速地调整生产计划,从而实现矿山的最大净现值班、最大资源利用率,并提高工作效率,降低生产成本
11、。如:江西铜业公司在全国矿山率先采用了国际上普遍应用的矿山规划与设计软件MinSight 软件,能够根据矿业市场行情快速优选出最具有市场竞争力的采掘方案,以降低剥离费用和减少采矿设备及维修设施的投入。安徽铜都铜业股份公司的狮子山铜矿作为其深部冬瓜山铜矿床开采的配套技术引进了英国全套 DATAMINE 矿业管理软件,采用线性规划技术实现矿山长、中、短采掘计划编制,能实现现在适当的时间、适当的地点开采出的矿石数量和质量,使矿山企业投资效益最佳。3、矿山生产调度和生产控制广泛采用微电子与计算机技术、矿山生产调度和生产控制广泛采用微电子与计算机技术 矿山积极采用新工艺、新技术、新方法开展创新改造工作,
12、使企业的生产过程自动化、设备智能化的水平有了较大的提高;特别是大型企业的整体素质提高较快、效益明显。如德兴铜矿于 1998 年开始采用美国模块公司的 DISNTCH 系统,系统由调度中心、通信网络、车载系统等部分组成,可对车辆的运行状态、安全状态、技术状态进行自动化统计、分析、调度,极大地提高了露天矿的生产效率和安全性。据统计,设备使用率提高了 7%以上,年采矿成本减低 1500 万元。德兴铜矿大山选厂引进选矿自动控制系统,该系统以 Windows NT为平台,采用现场总线系统,并可通过 Internet 实现生产过程监控。金川有色金属公司的龙首矿井下皮带运输系统按照 ABB 公司的 MP20
13、0 分布式控制系统,充填工区分别安装了HONEYWELL 公司的 MICOTDC3000 和 SCAN3000 分布式控制系统,选厂二期工程安装了 OMRON 公司的 C20 可编程逻辑控制器,磨浮系统安装了 AB 公司的 S100 可编程逻辑控制器,基本上实现了生产过程的自动控制。4、矿山、矿山 MIS/ERP 软件及网络硬件环境得到改善和提高软件及网络硬件环境得到改善和提高 大中型矿业企业已建立起不同层次的管理信息系统,随着企业体制与机制的改革,由传统的 MIS 系统向现代企业的集成 MIS 系统转型。计算机网络由共享式基带网络建设向交换式综合信息应用的高速网发展,有局域网向 INTERN
14、ET 转型。像江西铜业公司、中铝已投巨资建立了 ATM 网和 ERP 系统,达到了国内外先进水平。云南铜业公司信息系统建设的一期工程,建立了 NOVELL 网应用了 ORACLE 数据库,并先后开发了一些应用系统,如:生产管理系统、计划管理系统、财务管理系统等,这些系统的应用极大到提高了生产效率,规范了企业管理。铜陵公司的“三网合一”综合信息网建成及运行给企业带来显著效益,代表了目前网络建设方向。5、电子信息技术应用与信息资源的开发成绩显著、电子信息技术应用与信息资源的开发成绩显著 有色大型矿山企业在信息化建设中,电子信息技术应用与信息资源的开发,已从单项开发应用向集成化、综合化发展,向管/控
15、一体化、CIMS、ERP 方向推进,向电子商务初级阶段迈进。像金川公司、中金岭南集团、中铝广西分公司等都是应用好的先进单位。2.3 矿山信息化的新问题矿山信息化的新问题 我国有色矿山信息化建设取得巨大成就。应该看到,同我国信息化建设的整体趋势和先进矿业国家相比,我国矿山信息化总体水平还很低,还存在不少问题,具体表现在:-3-http:/ 1、“信息孤岛信息孤岛”日显突出日显突出 随着矿山企业计算机技术应用的不断深入,不同类型的业务系统和大量的业务数据分散在企业内不同部门、不同系统,由于缺乏数据交换机制,数据需要重复多次输入,是数据一致性无法保证,信息及时反馈难、共享差,产生所谓的“信息孤岛”,
16、造成信息资源和设备资源的极大浪费。2、信息系统建设出现、信息系统建设出现“断层断层”现象现象 目前矿山企业的信息化投入和应用的分布很不均衡企业的中间层,如设计部门和财务部门等已经初步实现了计算机管理;但企业决策部门的信息化建设依旧很薄弱,基本停留在“形象工程”上,相关的报表满天飞。目前矿山信息化建设处于“战术层”的居多,而企业的“决策层”和“决策层”是相当薄弱。3、矿山数据丰富但知识贫乏、矿山数据丰富但知识贫乏 随着数据库技术的迅速发展以及数据库管理系统在矿山广泛应用,矿山积累的数据越来越多。激增的数据背后隐藏着许多重要的矿山生产经营信息,人们希望能够对其进行更高层次的分析,以便更好的利用这些
17、数据。但目前的信息系统可以高效的实现数据的录入、查询、统计等功能。却由于缺乏有效的数据分析和挖掘工具,无法发现数据中存在的关系和规则,无法根据现有的数据预测矿山的发展趋势,从而导致“数据爆炸但知识贫乏”的现象。4、矿山信息的标准化工作滞后、矿山信息的标准化工作滞后 大部分大中型矿山企业已经建立了企业内部网(Intranet)和 Internet 网站,但是绝大多数企业起到的作用仅仅是停留在媒体的简单扩充上,没有充分利用网络进行网络深层的信息资源挖掘,缺乏共享的、网络化的信息资源,企业的产品编码、管理编码和统计指标等技术标准、规范不一,不能使企业内部、企业与客户、供应商、业务伙伴的信息流畅通。谈
18、不上电子商务的运用。5、缺乏合适矿山特点的应用软件平台、缺乏合适矿山特点的应用软件平台 矿山企业由于所处的行业及历史背景与一般的制造企业不同,矿产资源开发是一个复杂的巨系统,矿山管理信息系统的开发需要“量身定制”,以工具化、构件式设计出来实现矿山的不同需求,同时考虑信息系统的集成性和开放性。但由于缺乏既成熟矿山业务有精通信息系统开发的复合型人才,同时我国自主进行矿山应用软件开发的力度不足,导致适合矿山业务特点的应用软件溃乏,严重阻碍了矿山信息化的发展。产生这些问题的原因是多方面的,主要可归纳以下几方面:1、企业信息资源规划存在误区、企业信息资源规划存在误区 长期以来,不少矿山企业在进行 MIS
19、(Management Information System)开发时,对企业信息资源规划存在误解。例如 20 世纪 80 年代中后期,一些矿山把“总体规划”搞成计算机选型规划;90 年代初中期,把“总体规划”搞成局域网配置与设备选型规划;90 年代后期至今,企业网配置方案的论证,成为“总体规划”的主要内容。矿山很少将总体数据规划列为总体规划的主体,没有考虑对企业多少年来所分散开发的结构不合理、数据繁杂混乱的“数据库”进行规范化,取消或减少数据接口,实现高档次数据环境的信息集成。2、对、对 MIS 的认识误区的认识误区 企业信息化建设中有句老话:“三分技术,七分管理,十二分数据”,信息系统的实施
20、是建立在完善的基础数据之上的,而信息系统的成功运行则是基于对基础数据科学管理。“三分技术”中的数据组织技术尤为重要,“七分管理”中的人员组织管理、管理制度是关键,“十二分数据”是指数据的准确、及时和完善,基础代码、统计指标的统计、规范是保证,必须-4-http:/ 以数据中心进行 MIS 的设计与开发。但许多企业在信息系统开发中,轻视数据组织技术,忽视组织的制度管理,从而导致不少 MIS 开发和运行失败。3、对信息系统集成存在误区、对信息系统集成存在误区 信息系统集成,是就将那些孤立运行的计算机系统变为集成化的信息系统的过程,不仅包括计算机和网络环境的集成,还包括更重要的数据环境和人文环境的集
21、成。就是信息技术方面而言,建设企业集成信息系统的基础与核心任务是数据集成,或者说是标准化、规范化的信息资源管理,只有在这个基础上才能建立和运行集成化的信息系统。但是许多企业认为,分散开发的应用系统可以通过建立数据接口实现系统集成。这些接口的数目和复杂性,随着新的应用系统增加按几何数增加。最终,增加新应用系统的花费和现有系统的集成,靠增加接口的方法,变得可望而不可及。4、信息技术人才严重缺乏、信息技术人才严重缺乏 近 10 年来,各行各业都在吸引信息化人才,不失时机地建立其行业、部门、企业的信息化队伍。实践证明:IT(Information Technology)人才是产业信息化的重要保证。但在
22、矿业领域,信息人才溃乏,特别是既熟悉矿山实际情况又精通企业信息系统建设的复合型人才更是非常缺乏。有的矿山领导人错误地认为:MIS 只是一种技术系统,没有看到人在系统中的作用,不重视开发队伍、业务人员培训。有些领导甚至认为,信息系统开发一切都可以交给开发商完成,企业自己就不需要 IT 人员。这种想法是非常错误的因为在开发期间开发商需要企业 IT人员配合,并且即使系统正常运行后,也需要企业的 IT 人员对系统进行管理和维护。3 矿山信息化发展阶段和模式矿山信息化发展阶段和模式4美国著名的信息系统专家查德诺兰(Richard Nolan)在 20 世纪 80 年代初根据对企业具有 10-20 年的计
23、算机应用历程的总结,提出了企业计算机应用发展的六阶段(起步、扩展、控制、集成、数据管理、成熟)模型,是信息系统的发展规律早期研究的重要成果。诺兰指出企业计算机应用发展的历史是一个波浪式发展的过程,前三阶段具有计算机特征,后三阶段具有信息时代的特性;其转折点是信息的集成管理,如图 1 所示。但诺兰模型把系统集成和数据管理分为前后两个阶段,似乎可以先搞集成后搞数据管理,后来的实践表明这是行不通的。20 世纪 90 年代以来,米歇(Mische)根据信息技术的集约化管理的发展趋势,对诺兰模型进行了修正,指出信息系统集成与数据管理密不可分,集成阶段的重要特征就是搞好数据组织,或者说信息系统的实质是数据
24、集成,并提出了综合信息技术应用的连续发展模型,如图 2 所示。综合信息技术应用的连续发展可分为四个阶段,各阶段的特征不只在数据处理工作方面,还要设计知识、哲理、信息技术的综合运用水平及其在企业的经营管理中的作用,以及信息技术服务机构提供成本效益和准时性好的解决方案的能力。-5-http:/ 1.起步增长缓慢2.扩展随应用开发的扩张快速增长3.控制加强控制改造,应用发展缓慢4.集成基于数据环境建设,应用开发加快5.数据管理加强集成,增长减慢6.成熟数据处理发展跟上企业的发展计算机时代转折点信息时代图1 企业信息系统建设阶段模型(诺兰模型)这四个发展阶段是:、起步阶段(60 年代,70 年代);、
25、增长阶段(80 年代);、成熟阶段(80 年段,90 年代);、更新阶段(90 年代中期,21 世纪初期)。决定这些阶段的特征有五个方面,包括:技术状况;代表性应用和集成程度。数据库和存取能力;信息技术组织机构和文化;全员文化素质、态度和信息技术视野。参照诺兰模型和米歇模型可以帮助矿山企业和信息系统开发商把握矿山信息系统的发展水平,了解矿山的 IT 综合应用在现代信息系统的发展阶段中所处的位置,是研究一个企-6-http:/ 业的信息体系结构和制定变革途径的认识基础,由此才能找准这个企业建设现代信息系统的发展目标。目前,我国许多矿山企业的信息化进程基本上处于诺兰模型的第三阶段向第四阶段的过渡期
26、,或是米歇模型的第二阶段向第三阶段的过渡期,要想进一步推动企业信息化的发展,就应该抓住过渡期的集成化特性进行信息系统集成建设。对于那些处于增长阶段中后期的矿山企业,已经建立了一些分散的信息系统,需要在数据集成上下大功夫,建设好高档次的数据环境,综合地利用好新一代的信息技术,从而进入成熟阶段,重建新一代的信息系统。新建矿山企业可以吸取他人的经验教训,不要再去经历起步和增长阶段,而是要抓住成熟阶段的特征,加强信息需求分析,搞好总体规划设计,综合地用好新一代的信息技术,开发集成化的信息系统;同时,还要重视业务人员的信息文化考核与培训,使之能用好新的信息系统。4 矿山信息化的任务和目标矿山信息化的任务
27、和目标 根据矿山企业信息化的现况和所处的阶段分析,我国矿山企业信息化现阶段的主要任务是以数据集成和信息资源开发为中心的集成化信息系统建设,即从矿山企业战略目标出发进行信息资源规划,在此指导下进行信息系统的集成开发和信息集成,大力开发利用矿山信息资源,逐步满足不同层次的管理与决策需求,是矿山信息化建设达到成熟阶段,直至更新阶段。随着计算机技术和管理信息系统的发展,数据仓库技术已经成为信息时代的主要数据管理技术,已成为企业信息集成、信息资源开发和决策支持系统的最佳解决方案。因此矿山企业信息化现阶段的具体任务就是运用最新的信息技术和管理技术,建立矿山数据仓库应用系统,实现企业级数据集成,有效解决“信
28、息孤岛”,开发利用矿山信息资源,服务于企业的生产经营和决策支持。5 矿山数据仓库矿山数据仓库 5.1 矿山数据仓库的作用矿山数据仓库的作用 1、有效解决矿山、有效解决矿山“信息孤岛信息孤岛”,实现信息系统的综合集成,实现信息系统的综合集成 当前,矿山信息化建设已经初具规模,但矿山现有的不同类型的业务系统和大量的业务数据分散在企业内部不同部门、不同系统,由于缺乏数据交换机制,数据需要重复多次输入,使数据一致性无法保证,信息及时反馈难、共享差,产生了所谓的“信息孤岛”,造成了信息资源和设备的浪费。通过矿山数据仓库的建设,形成企业内的数据中心,将企业的数据有机地关联起来,有效地解决企业各管理层之间,
29、各业务部门之间、各应用系统之间数据独立和相互隔离的问题,实现信息共享。2、规范矿业信息编码的标准化和信息系统建设规范化、规范矿业信息编码的标准化和信息系统建设规范化 随着矿山信息化建设的推进,信息化工作的中心应该从网络及信息系统的建设和维护向行业信息标准化、管理规定的制定、维护和监督转移。数据的交换、集中要基于标准的代码体系,数据的综合分析、决策应用要基于统一的指标体系。只有建立和制定企业统一的基础代码、标准的统计指标,企业内数据交换、集中和分析才可以顺利地实行。通过矿山数据仓库的建设,设立企业标准代码库,促进和规范矿山乃至整个矿业的信息标准化建设。-7-http:/ 3、强化矿山生产经营决策
30、的科学性、强化矿山生产经营决策的科学性 数据作为矿山不断积累的宝藏,要发挥其重要作用就必须深入应用数据的挖掘分析功能,服务领导的决策。现有的数据分散到企业的不同层次,不同部门,无法进行深入、系统的数据分析,更不能满足管理者的决策分析需求。矿山数据仓库的建立实现数据归口管理、数据双向流动、数据集成和交换、形成全企业内的数据共享,使管理者全面、及时、准确、掌握企业生产的资源、产品、成本、安全和市场需求等信息,实现生产经营决策的科学性、及时性。4、高效管理矿山价值链、高效管理矿山价值链 数据仓库为矿山建立一个矿山资源、内部生产经营、外部市场、客户管理之间关系的集成视图,这种视图有助于实现矿山价值链从
31、勘探、采矿、选矿、销售到矿山复垦在全矿范围的信息共享,从而改善矿体圈定,实现勘、采、选一体化和矿山智能规划,提高矿山生产质量和效益,保证生产安全,保障工人健康,降低开发风险和成本,提高矿山经济效益。5、全面支持企业战略决策、全面支持企业战略决策 矿山数据仓库的建立将实现矿山企业矿产资源、生产、销售、管理数据和外部市场数据的集成,使企业决策者能够全面、及时、准确的掌握企业的发展动态和市场需求,在市场竞争中更具竞争力。5.2 矿山数据仓库的目标矿山数据仓库的目标 1、建设矿山企业全局性、基础性数据集成环境,实现数据的统一、集中管理、建设矿山企业全局性、基础性数据集成环境,实现数据的统一、集中管理
32、通过建设矿山数据仓库,建立矿山企业全局性、基础性的中心数据库,实现对矿山数据的有效集成管理,将不同的管理系统、业务数据关联起来,实现全企业的数据共享和数据交流。2、建设矿山信息化基础代码库,实现矿山信息化、建设矿山信息化基础代码库,实现矿山信息化 通过建立矿山代码中心,制定、规范矿山基础代码和指标体系,重点建设 KPI(Key performance index)体系。通过基础性数据的建设,使矿山企业数据具有统一标准,达到指标规范、口径一致、数据字典标准,指标解释统一,最终促进和实现数据互动,管理集成。促进和规范矿山企业乃至整个矿业的信息标准化建设。3、建设矿山数据分析环境,为矿山生产经营管理
33、提供依据、建设矿山数据分析环境,为矿山生产经营管理提供依据 通过建设矿山数据仓库,为矿山高层次数据分析创造应用环境。数据仓库能够从事务型数据库大量的数据中提取出有用的数据,通过数据集成,形成统一的决策支持数据库的存储格式,为矿山管理者和决策者提供所需的数据,并通过对这些数据的深入挖掘和运用先进的分析模型,产生出有助于矿山生产经营管理的重要信息。5.3 数据仓库技术现状数据仓库技术现状 早在二十世纪九十年代,数据仓库在计算机技术领域就已经是非常热门的话题,经过了十几年的发展,其技术受到了普遍的拥护,现已成为信息时代的主要数据管理技术,成为企业信息集成、信息资源开发和决策支持的最佳解决方案。1、数
34、据仓库的基本特征、数据仓库的基本特征 1992 年,W.H.Inmon 在其里程碑式的Building the Data Warehouse一书中提出了“数据仓库 DW(Data Warehouse)”的概念,将数据仓库定义为:“数据仓库是面向主题的(主题是一个在较高层次将数据集合,主要用于支持经营管理中的决策制定过程”。数据仓库的基本-8-http:/ 特征为:(1)数据仓库是面向主题的)数据仓库是面向主题的 数据仓库中的数据是针对特定的客观分析领域组织的,这些特定的客观分析领域称之为主题(Subject),如资源利用率分析、采矿成本分析等。主题是进行数据归类的标准。数据仓库不是泛泛的、无序
35、的数据集合,而是为了支持高效的、按主题分析的特定的数据集合,否则就成为一堆无用的数据垃圾。(2)数据仓库是集成的)数据仓库是集成的 集成是指数据仓库中的信息不是从各个业务处理系统简单地抽取出来,而是经过系统加工、汇总和整理集成在一起的(称为整合),以保证数据仓库内的信息是关于整个企业的一致的全局信息。数据从原有的数据库中按一定的主题和规则抽取出来,在进入数据仓库之前,必须经过整合。主要原因有:数据仓库的每一个主题对应的源数据,在原来的各分散数据库中存在有许多重复和不一致性;来源不同的联机系统的数据都与不同的应用逻辑相关联,导致了更加复杂的异构性;数据仓库中的综合数据需要在源数据的基础上做进一步
36、的加工。(3)数据仓库的数据量是随时间不断变化的)数据仓库的数据量是随时间不断变化的 数据仓库的数据内容随时间不断的变化,表现在以下几个方面:数据仓库随时间演进不断增加新的数据内容;数据仓库随时间演进不断删除旧的数据内容;数据仓库中包含有大量的综合数据,它们很多与时间有关系,如按照时间段进行综合,或隔一定的时间片进行抽样等。这些数据要随时间不断地进行重新综合。所以。数据仓库中的每个键都包含时间项,以标明数据在时间流程中的属性。(4)数据仓库的数据是稳定的)数据仓库的数据是稳定的 数据仓库的数据主要是相当一段时间内的历史数据,用作企业决策分析,所涉及的数据操作主要是数据查询,几乎不更新。数据仓库
37、的数据反映的内容,是不同时间点的数据快照的集合,以及基于这些快照进行统计、综合和重组而导出的数据,而不是联机处理的数据。数据仓库是有数据库发展而来的,数据库技术以及数据库的书记组织方法等在数据库中也得到了充分的体现和应用。但数据仓与数据存在本质上的区别,如表 1 所示。表 1 传统数据库与数据仓库的区别 项目项目 传统数据库传统数据库 数据仓库数据仓库 数据仓库 与生产经营相关的细节数据 与决策支持相关的综合信息 数据模型 关系的、层次的或索引的 关系的/多维的 访问方式 经常是随机的读写操作 经常是只读操作 负载程度 事务处理量大,但每次操作数据量少查询量少,但每次操作数据量大 事务输出量
38、一般很少 可能非常大 操作需求 事先可知道 事先不知道 更新频率 非常频繁 几乎不更新 数据新鲜度 实时存取当前最新数据 只保存过去的数据 操作过程 面向应用的事务驱动 面向分析的分析驱动 2、数据挖掘技术数据挖掘技术 数据挖掘是一种决策支持的分析过程。数据挖掘定义为“从大量数据中提取正确的、非-9-http:/ 平凡的、未知的、有潜在应用价值并最终可为用户理解的模式”。数据挖掘主要基于人工智能(AI),机器学习,统计学等技术,高度自动化的分析企业原有的数据,做出归纳性推理,从中挖掘出潜在的模式,预测趋势,帮助企业的高层决策者调整策略,减少风险,做出正确的决策。数据挖掘是一种有效地从大量的数据
39、中发现潜在的数据模型(Patterns),做出预测的分析工具,它是人工智能、机器学习、数理统计学神经元网络等技术在特定的数据库领域中的应用。DM 的分析过程是自动的(这是与其他的分析工具的最大区别)。DM 的用户不必提出确切的问题,而只需 DM 去挖掘隐藏的模式并预测未来的趋势,这样有利于发现未知的事实。模式有很多种,按功能可分为两大类:预测型(Predictive)模式和描述性(Descriptive)模式。预测型模式是可以根据数据项的值精确确定某种结果的模式。预测型模式所使用的数据也可以是明确知道结果的。描述型模式不能直接用于预测。在应用实际中,往往根据模式的实际作用细分为以下 6 种:、
40、关联模式(Association Rules):发现关联规则就是为了挖掘出隐藏在数据间的相互关系,即在给定的事务集合中发现所有的关联规则。、序列模式(Sequential Patterns):序列模式分析和关联方法相似,其目的也是为了挖掘出数据之间的联系,但序列模式分析的侧重点在于分析数据间的前后(因果)关系。3、时间序列模式(Schedule Sequential Patterns):时间序列模式根据数据随时间变化的趋势预测将来的值。这里要考虑到时间的特殊性质,像一些周期性的时间定义如星期、月、季节、年等,不同的日子如节假日可能造成的影响,日期本身的计算方法,还有一些需要特殊考虑的地方如时间
41、前后的相关性(过去的事情对将来有多大的影响力)等。只有充分考虑时间因素,利用现有数据随时间变化的一系列的值,才能更好的预测将来的值。4、分类模式(Classification):分类规则的挖掘实际上就是从数据库对象中发现共性并对这些共性进行描述的过程。5、回归模式(Regression Analysis):回归模式的函数定义与分类模式相似,它们的差别在于分类模式的预测值是离散的,回归模式的预测值是连续的。6、聚类模式(Cluster Analysis):聚类分析的目的是把分类对象按一定的规则分成组或类,这些组或类不是事先给定的,而是根据数据特征而定的。3、数据仓库的主要研究内容、数据仓库的主要
42、研究内容 作为一个新兴的研究领域,数据仓库发展得很快,许多大学和科研机构都在这个领域进行着广泛深入的研究,数据仓库的主要研究内容包括数据仓库的建模方法、数据抽取清洗和加载、数据仓库的数据更新和性能优化、元数据的管理、数据立方计算以及基于数据仓库的数据分析技术等问题。数据仓库的建模一般是指为 OLAP 建模,即在数据仓库的基础数据之上,建立数据立方及数据集市的方法。比较常用的数据仓库的建模方法有如星型模式、雪花模式、星座模式等。数据仓库建模框架和从企业操作型系统的数据模型导出数据仓库模型的方法是大家比较关注的问题。元数据是用户存取和访问数据仓库的接口,是数据仓库管理员管理和维护数据仓库的技术依据
43、,因此是数据仓库系统中非常关键的部分。数据仓库多采用“星型(star schema)”或“雪片(snow-flake)”模式,其优点是可以方便的组织层次结构数据。在层次结构下,当基表方生变化时,如何传播变化,如何高效维护各级实现图的一致性,是实现“下钻”和“上翻”的关键。层次问题是数据仓库必须解决好的一个-10-http:/ 基本问题。数据仓库设计以及数据挖掘中的维度缩减或属性选择问题,也是学术界主要研究的问题之一。为了提高数据仓库系统的性能在设计数据集市时尽可能选择目前分析需要的变量或属性,对于与分析目标无关的属性尽量剔除。然而,设计者可能面对几百个甚至上千个的属性,如何自动地发现对于某个指
44、标需要那些属性,或者说他与那个属性有关,以便辅助设计者选择属性。联机分析处理(OLAP)和数据挖掘是基于数据仓库的两种重要数据分析技术。OLAP技术主要讨论数据立方建模技术的计算和以及对数据立方的各种查询操作(例如上卷、下钻、切片、切块)等。而数据挖掘技术主要研究如何从大量的数据中发现潜在的、有用的、未知的且是不平凡的模式,用于支持决策。数据挖掘中的主要问题是研究适合于大量数据的各种挖掘算法和数据挖掘过程等。数据仓库是一个庞大复杂的系统,如何对它进行有效而正确的管理已经成为数据仓库研究的重要课题。5.4 国内外矿山数据仓库应用现状国内外矿山数据仓库应用现状 随着信息技术在矿山企业的广泛应用,运
45、用数据仓库技术来实现矿山信息系统集成和开发矿山信息资源的研究日益受到关注,许多专家学者对此进行了大量的研究。智利天主教大学采矿中心 P.K.Knights、加拿大皇后大学矿机工程系 M.G.Lipsett 和G.J.Goddard 等均撰文指出矿山信息系统管理中的关键问题是各种信息系统的集成及彼此协调运行。为了解决矿山“信息孤岛”的问题,必须建立起矿山数据仓库,在数据仓库的基础上采用一个集成化的矿山管理系统来代替现有的多个应用系统;采矿业应该采用一个开放系统标准(Open System Standards)来定义数据格式和进行无缝数据交换的协议。加拿大学者Z.Luacs指出需要沿矿山经营价值链
46、的垂直方向和水平方向进行矿山信息系统集成。在垂直方向上,各供应商的传感系统可与在线控制系统、数据采集系统进行实时通信;在线控制系统还必须与调度系统、数据仓库交换信息。水平方向上,勘测、穿孔、爆破、装载运输等部门之间需要信息集成。矿山各级管理部门都能访问到详细的、操作级的成本信息。第三方系统(OEM,专业化软件)须与互联网系统集成,遗产(legacy)系统须纳入集成策略。矿山信息系统集成的关键是中央数据仓库,它能提供灵活的查询工具和报表工具来访问数据。图 5-3 所示为这种信息集成的概念模型。为了有效地进行信息集成,采矿业应借鉴石油行业和机械行业经验成立矿山开放系统协会MOCS(Mining O
47、pen System Corporation)或矿业开放系统联盟 MIOSA(Mining Industry Open Alliance)来制定矿山数据定义、数据模型、技术运用、软件集成平台、用户接口、硬件等的技术标准。美国学者 S.Dessureault 的也撰文指出,作为未来矿山劳动生产率提高的关键技术-信息技术,必须在矿山价值链上全面集成,形成勘测、采矿、选矿、销售和复垦链上的全矿范围信息共享。并探讨了目前矿山采取的两种主要集成方式-以技术供应商为主导的和以矿山生产主导的数据集成方法的优、缺点,提出了集两种方式于一体的混合式的数据集成方式;每种集成方式的关键都是数据仓库技术。-11-ht
48、tp:/ 南非学者A.Vorster也对矿山企业价值链管理进行了系统研究。B.Klein提出了采用集成化技术构建地下矿山的采矿-选矿一体化系统。此外,J.P.Peck、T.Z.Mugodi、D.J.Peterson、L.M.Scovell、H.L.Francis、S.B.Cheeseman等也进行了大量研究4。定位、传感、条件监测和控制系统勘探运输装载爆破穿孔道路施工排土场维护通信系统地质环境外部代理计划承包商岩土工程销售仓库采购卖主财务人力资源耗损控制作业加工垂直集成维护OEM数据仓库水平集成 图 3 矿山价值链信息集成的概念模型 数据仓库技术在国外矿山企业中也普遍受到关注,欧托昆普铬铁公司
49、凯米地下矿与芬兰赫尔辛基技术大学合作预算 800 万美元,施智能矿山计划,提高其矿山的劳动生产率,低矿山的总成本,并改善工作条件。该计划的主要内容之一就是运用数据仓库技术进行矿山的数据的继承和开发。加拿大渥太华的 Gemcom 软件国际公司设计了 Gemcom 企业采矿系统(Cemcom Enterprise Mining System)来集成现代矿山所需的所有应用程序,并把这些应用程序建立的数据库贮到一个中央数据库,并于 1999 年在南非的 De BeersVenetia 矿山开始运行。Noranda 公司则建立了一套基于数据仓库技术的数据管理体系,它成功地集成了 PC 和UNIX 的数据
50、平台,并在此基础开发了基于 Web 的数据浏览和分析决策工具。Highland valley copper 公司已将 OpenWorks 有计划地移植到集成平台上,其未来版本OpenExploer 就是一个以知识发现为目标的跨平台数据管理系统。在 Highland valley copper开展的一些技术服务中,一个重要的步骤就是数据集成,即建立中心数据仓库,在中心数据仓库上提供一些公共的、集成的信息服务。加拿大 Fording Coal 公司建立了全矿的钻爆系统 DABS(Drilling and Blasting System);采矿工程师通过该系统自动地收集矿岩资料(岩性、硬度等),正确