《工业互联网下的大数据平台建设.docx》由会员分享，可在线阅读，更多相关《工业互联网下的大数据平台建设.docx（9页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、工业互联网下的大数据平台建设摘要：随着信息技术和工业技术的迅猛发展，新型工业化道路应运而生，而工业大数据的平台建设对加快新型工业化道路具有特别重要的意义，本文通过对工业和互联网大数据进行比照分析，结合工业互联网与大数据的特点，阐述了二者之间的内在联络。基于此，提出了工业大数据平台架构以及相关的数据分级处理流程，最后指出了工业大数据平台的应用，包括资产管理、数据管理、数据分析和安全服务，为工业企业提供了平台支持和数据服务。关键词：工业互联网；大数据；平台建设1引言(Introduction)随着信息化和产业化进程的加快，新型工业化道路应运而生，以运用当代信息技术，用信息化带动工业化。工业4.0和
2、中国制造2025都以创新为共同发展理念，强调以信息技术为载体，加强创新驱动与智能化服务水平。因而强调建设工业化的网络平台，对数据进行整理、分析、总结，工业企业应当发挥工业互联网的作用，构成终端的服务信息系统。通过建设大数据的平台，为传统工业化的改造指明了方向，对新型工业化建设具有重要意义1。对工业互联网信息进行智能处理，实现数据同步、交换、集成、调用等功能，为工业企业提供数据平台服务和决策支持2。2工业大数据分析与应用(Analysisandapplicationofindustrialbigdata)2.1工业大数据分析大数据特征体如今量、速度、多样性、真实性四个方面，而工业大数据的特征在结
3、合大数据的基础上，附加了可见性和价值两个特点。工业大数据历经了三个阶段，如表1所示。工业大数据与互联网大数据相比，最大的区别在于工业大数据具有很强的目的性，而互联网大数据更多的是一种关联的挖掘，是愈加发散的一种分析，对数据的预测和解读显得尤为重要3，如表2所示。2.2工业大数据应用随着信息技术的迅猛发展，工业企业也相继进入了互联网工业的新的发展阶段，工业大数据在此背景下创新和变革，其应用范围很广泛。工业大数据通常应用在制造、航空、轨道交通、船舶、石油、建筑等方面4,5，如表3所示。3工业互联网与大数据(IndustrialInternetandbigdata)3.1工业互联网与大数据的联络工业
4、企业发展的动力来自工业互联网与大数据的融合，通过工业互联网，将来自数据操控平台中的信息汇总，根据相应的产品技术要求，实现数据的解读与分析，进而提炼出对企业有价值的信息。而大数据能够在跨学科技术融合的基础上，进行信息汇总与管理，提炼产品最具有价值的信息。通过互联网与线下的其他传播渠道，进而建立新投资目的、发现新趋势、提供解决复杂问题的新途径。3.2工业互联网与大数据的作用工业互联网是互联网与智能制造的穿插点，在融合大数据的前提下，提升了产品的智能性，并充分拓展了行业的相关应用。产品的智能化是把机器处理和导出系统浸透到产品的生产经过中，保证产品的感悟、存储等能力，实现产品的信息化定位、识别、复原。
5、目前互联网汽车、工程机械、智能家电等是产品智能化的热门领域。同时，工业互联网和大数据通过网络连接到企业管理平台。企业管理平台能够利用无线网络、视频远程故障诊断等信息服务系统对设备运行实现远程操控，及时播报预警6。3.3工业互联网与大数据的特点在工业互联网时代，通过纳入来自产业链上下游以及跨界的数据，实现工业从数据向大数据的转变。工业互联网与大数据主要呈现四个方面的特点，即：全要素、全经过、全方位、全融合。全要素是指为保证产品数据的完好性，其携带了产品全部的尺寸、工艺、制造、售后使用信息等；全经过是指为确保产品的最终质量，在数据设计和使用时，必需要考虑跨越不同的设计、制造阶段；全方位指详细到产品
6、的生产线，从设计、制造、采购等，全方位地关注相关信息，确保产品的实用性。全融合指在信息技术支持的背景下，关注企业各业务的全面关联及融合。4工业大数据平台建设(Constructionofindustrialbigdataplatform)4.1云平台总体架构工业大数据云平台通过寻找统一数据源、数据口径和数据的出入口，来实现对各种专业的合理分析，并最终统一和完善企业信息模型。云平台的总体架构包括PaaS环境层、PaaS业务层、PaaS服务层。PaaS环境层为业务应用提供支撑的软件组件、各种中间件和数据库等，以Hadoop为代表的大数据处理；PaaS业务层包含了应用的后合程序、数据处理算法以及业务
7、数据等实现业务能力的元素；PaaS服务层是指将业务层的业务、算法和数据以接口的形式提供应上层的前端应用直接访问。总体来讲，云平台总体架构面向一般数据中心典型的应用场景，提供对混合IT资源的统一接入，以构筑云形式下基础资源调度的最佳实践，同时以PaaS能力为核心，将应用系统的典型软件组件以服务形态提供，为业务系统提供统一环境支持，并进行统一管理和监控，将大数据平台作为典型服务组件整合到云平台中进行统一管理，以适应将来应用对大数据能力的普遍使用。为用户更好地提供面向DevOps的统一云服务业务流程，以统一平台提供传统的laaS和PaaS能力，并贯穿开发、测试和生产的全经过7。4.2大数据平台目的架
8、构大数据平台目的架构包括五个层面：应用层、能力层、数据层、获取层、数据源，如图1所示。其中Hadoop平台是大数据平台中的核心。通过建立分布式的文件管理系统，保证了大量数据安全存储，建立了数据分析处理框架。Hadoop集群能迅速扩展到顶级服务器，实现对大数据的批量处理。同时，Hadoop通过MapReduce可将任务分布并行运行在一个集群服务器中，实现大规模并行计算，同时考虑到设备的不稳定性，保证了计算的准确性和高效性。而Hadoop云平台以半构造化数据和非构造化数据为主，通过存储海量数据，确保使用时的时效性与高效性。4.3大数据平台中的数据分级存储数据分级存储应当知足一定的原则，即大数据平台
9、强调数据的生命周期性，随着数据生命周期的变化逐步向通用性能存储迁移，是分级存储管理的主线。同时数据分级存储在保证主线畅通的情况下，考虑到其他分级原则，确保数据迁移能够覆盖到各个层面。在知足相关原则的基础上，将核心模型改造，转化为现有主数据仓库的核心模型，减少了数据冗余。集成改造后，将主数据仓库中的关键性数据转移到一个低成本的分布式数据库中，降低了主数据库的存储压力。同时此存储系统也支持数据的深度分析。4.4大数据平台中的数据处理流程在知足相关技术的基础上，数据的采集工作通常包括构造化和非构造化的两种数据采集，数据的详细处理经过分为七个环节：源数据导入ETL，进行数据的清洗、转换和入库；基础数据
10、加载到主数据仓库，规划保存三年；清洗、转换后的ODS加载到分布式数据库规划保存两个月，详细数据分析和汇总在分布数据库中进行，规划保存两年；ODS数据和非构造化数据，如爬到的网页数据ftp到Hadoop平台做长久保存；非结化数据分析处理在Hadoop平台完成，产生的结果加载到分布式数据库；生成KPI和高度汇总数振加载到主数据仓库；业务应用通过数据访问接口获取所需求数据。5工业大数据平台应用(Applicationofindustrialbigdataplatform)5.1资产管理服务资产管理服务的重点目的是资产建模、连接资产和数据源，其服务范围分为三个板块：接口层支持资产分层、属性分类和自定义
11、建模对象，终端访问对象建模层，通过转换数据格式，以便于数据库存储和查询；相关查询引擎利用图形表达式语言检索数据；图形数据库中包含资产服务数据存储，并将原始数据描绘成数据模型。资产管理服务中的资产模型是工业大数据平台的关键，是连接平台所有服务的中枢，能帮助应用开发者更好的理解、分析和处理数据。5.2数据管理与服务大数据平台常用的数据管理与服务包括对各种类型数据进行接入、处理和储存。数据接入指支持多渠道、多类型的数据接入，包括实时数据接入和批量数据接入；数据处理包含对传感器数据进行标签处理、资产数据与ERP数据相结合等；数据储存是根据不同的需求选择相应的存储方式，类似时间序列存储传感器实时数据、B
12、LOB数据库存储图片式数据、关系型数据库存储其他数据等。5.3数据分析服务数据分析服务通常指通过分析实时数据检测设备状态、预防设备故障、优化生产经过等，并进行迭代提升，在对历史数据进行整合和分析，包括异常检测、事件流处理、分析运行环境、分析界面、分析日志等服务项目，建立工业级的预测模型，以进行更有效地生产和运营。相较于数据本身的特点，数据分析服务在涉及技术层面的基础上，更应当知足企业与客户的应用需求，将极度专业化的技术描绘，转化为更容易的商业需求。5.4数据安全服务数据安全服务的主要目的为建立企业互联网应用，解决安全性问题，进而知足企业互联网端对端的安全需求。其服务范围包括租户管理、用户账户和
13、身份验证、访问控制三个方面。租户管理指为租户提供特定服务实体及注册表，完成租户和服务实体间的完美映射，在确保客户数据信息安全的基础上，实现服务生命周期管理。用户账户和身份验证是在传统用户信息验证方法的基础上，增加多种验证方法完善身份验证系统。访问控制是指建立资源访问限制，加强用户账户信息验证的权威性，同时不断提升和优化网络访问信息安全，实现复杂条件下的访问控制。6结论(Conclusion)随着新型工业化道路的推进，传统的工业化道路已不能适应当前社会的发展需求，本文在结合信息化和产业化的手段，搭建了工业大数据平台，并应用于资产管理、数据管理、数据分析、数据安全服务等方面，将来工业发展的趋势应当在构建平台的基础上，实现产品智能化，确保产品生产的高效性。同时工业大数据平台也为工业企业提供了商业支持和服务。