《【精品】智慧电力大数据平台方案.pptx》由会员分享，可在线阅读，更多相关《【精品】智慧电力大数据平台方案.pptx（66页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、智慧电力大数据平台方案智慧电力大数据平台方案全面透视大数据平台的架构、能力与价值2大数据大数据应应用生命周期用生命周期大数据可视化大数据分析计算处理大数据存储数据获取和治理数据源（管理、交易、事务、传感、监控、文件）数据驱动决策数据提供服务3大数据生大数据生态态湖泊湖泊据据数据运数据运维维数据之源数据之源数据生产区（原始数据）结构化数据 文本文件多媒体数据描述类数据知识展现区知识交互区大数据可视化知识发现区数据台账信息发现区ODS数据多维报表关键索引数据魔方大数据操纵知识挖掘区大数据挖掘多维数据关联数据 APIS行业规则主数据机构内部数据互联网数据社会数据数据审计数据安全数据质量管理主数据管理
2、元数据管理数据标准数据治理流程元数据基于大数据的应用体系大数据检索 大数据关联大数据分析大数据预测数 数数据知 知知识 识识信 信信息 息息应用4电电力大数据概述力大数据概述发电发电输电输电配配电电售售电电特性一：不可存特性一：不可存储储能源能源电力是不可存储的能源，一旦生产则必须耗用，这就注定了电力生产、使用、销售的独特性。特性二：特性二：垄垄断性断性电力的大型基建特性注定了电力行业的垄断性，国家电网和南方电网公司是目前国内企业体量最大的存在。特性三：关注社会效益特性三：关注社会效益作为基础存在的电力供应是国计民生的大事，即便作为企业，也是将社会效益看重于经济效益的存在。特性四：新机遇挑特性
3、四：新机遇挑战战伴随着国家电网总经理刘振亚离职，以及国务院 2015 九号文的颁布，新的变化与机遇开始出现。国务院关于印发电力体制改革方案的通知【国发 20025 号】中国华能集团公司（217）中国大唐集团公司（376）中国南方电网（18）中国电力投资集团公司（408）中国国家电网（2）中国电力建设集团有限公司（200）中国能源建设集团有限公司（309）国务院关于印发电力体制改革方案的通知【国发 20159 号】中国华电集团公司（345）中国国电集团公司（299）5电电力大数据力大数据 电电力相关企力相关企业业信息化分析信息化分析国家电网信息化建设路径SG-186SG-ERP一平台一平台 一系
4、一系统统多多场场景景 微微应应用用2006-2010一体化企业级信息集成平台八大业务应用六个信息化保障体系2011-2015建立覆盖面更广，集成度更深，智能化更高，安全性更强，可视化更优的新型 IT 架构,纳入了电力应用的全过程，在数据集采基础上加强数据分析和辅助决策的功能2016-2020国网拆分背景，去 SOA（SAP、Oracle、Accenture）化需求，对过去大系统建设的反思和调整。强调自身 UAP 平台的应用。国家电网信息化建设套路业务业务部部门门提提报报可行性研究可行性研究报报告告 国网直属型单位 国网紧密型单位 甲方代写相关管理部相关管理部门门进进行初行初审审单位所属信息化科
5、室国家电网经济研究院国家电网信通部门电科院信息安全部门6电电力大数据力大数据 整体框架整体框架宏宏观观大数据大数据外部外部大数据大数据 电网改革的决策支撑；能源结构的调整改善；基于多维视角的决策分析；提供日常建设、运维的监管；实现对最末端消费的数据采集分析；对关联上下游产业提供战略性指导；改造提升经济效益目标的营销管理；配合国家产业调整目标，协助供给侧改造的实现7电电力大数据力大数据 细节细节关注内容关注内容售售电电配配电电输电输电发电发电今后工作的今后工作的重中之重重中之重分割后的分割后的新新领领域域传统领传统领域域的新突破的新突破急需支撑的急需支撑的先先锋领锋领域域售电业务全面开放后，对售
6、电、购电的内容都将产生天翻地覆的变化，迫切地需要大数据支持今后业务的方向与决策支撑，可以预见基于电信客户忠诚度、银行客户营销、电商策略支撑方面的大数据应用将会得到大规模应用。配电业务在今后将会一分为二，特高压高压配电继续由传统电网公司负责，高低压配电建设则可能由新诞生的售电公司负责，老树新花将会为配电建设工作带来新的活力。输电业务将会继续由电网公司负责，但是目前的用电发电端同时开放以后，输电关联的业务将会不可避免地带来影响，电网将会放下自身“老大”的地位，输电将会变更其经济效益和社会效益的权重，更多地“迁就”社会实际需要。国家开放了个人发电销售业务以后，出现了围观冷场的情况，如何让发电销售说服
7、大众和电网公司，成为国家一个新的创业增长点，再没有比大数据更具说服力的科学依据了。用电客户市场细分模型高价值工业用电客户分析模型居民用电忠诚度分析耗能电器用户画像节能智能家电推荐用电高峰时段区域分析变电站选址分析模型变电站建设舆情监控变电站检修项目风险监控变电站分时段负载分析及关联分析配电设备传感巡检数据分析及故障率分析输电线路规划分析模型输电线路环境影响及自然灾害评估输电负载分析管理输电线路建设资源预测模型输电建设承运商/承建商等级评估单体发电质量分布分析单体发电输配成本核算单体发电定价决策依据分析临时性用电高峰单体发电支持体系8电电力大数据力大数据 宏宏观观关注内容关注内容作为现代工业真正
8、的神经，社会正常运转的基本资源，国家一直十分关注电力与工农业、城市发展的关系，不管是特高压的论证审批，还是国家电网的拆分，以及水电站建设等各个方面应用，大数据将会为宏观决策提供科学的数据支撑和高效的分析模型。水电站选址论证 火电站环境污染分析 风力发电质量与气象分析 远程输电时段地域成本论证 用电调度能效评估 输电建设资源预测系统 变电站覆盖区域负荷分析 重点工业园区用电支撑调度平台 用电量与环保关联性分析 电量 GDP 关联分析 用电区域分布引导管理 核电站运转情况分析 电站持续型环境影响评估 重大灾害电站应急指挥平台 统一电价及电力营销行为分析 电力巡检模型分析 大型活动临时配电调度管理
9、变电站故障及处理平台 智能巡检机器人数据管理 错峰用电定价指导分析 异常灾害电力负载应急管理 电价舆情分析9电电力大数据力大数据城市耗城市耗电电量分析量分析 通过收集不同气候、不同时段期间以及其他关联的用电量情况，助力“智慧城市”应用的同时，有效预测用电需求，协助电力相关单位应对用电高峰期的电力调度和资源确保能力。10电电力大数据力大数据雅雅砻砻江流域水江流域水电电开开发发有限公司大数据案例分享（成果展示）有限公司大数据案例分享（成果展示）基于 3*12 的大屏展示以下内容：电站发电生产数据、水文气象观测数据、日常 KPI 指标、视频监控数据11电电力大数据力大数据四川四川电电力物力物资资公司
10、典型建公司典型建设设配送配送资资源源物物资调资调度度中心中心调度大厅建设在途信息集成监控信息集成传感信息集成视频传输集成GPS 信息集成采采购购部部门门合同招标管理需求预测管理平衡利库管理财务财务部部门门仓库仓库物流设备集成库位规划集成仓库物流规划辅助决策现场收发货入库管理出库管理库内管理资金支付深化财务结算财物一体化1+23+84 仓储仓储网网络络布局布局图图12电电力大数据力大数据物物资资需求模型需求模型应应用用13行行业业大数据大数据应应用面用面对对的挑的挑战战硬件无法跟进数据规模的指数级增长过于分散和原始成为大数据应用的障碍复杂数据算法与业务模型衔接诸多大数据并行计算架构的选择大数据应
11、用实现路径：从哪里开始？专业人才匮乏14CONTENT12 大数据大数据 应应 用生用生 态态大数据平台大数据平台数据共享开放与服务元数据管理数据台账数据治理流程主数据数据目录数据审计数据安全数据质量数据标准大数据门户展示移动数据可视化应用敏捷BI可视化大屏大屏显示控制模板15Data Discovery Family大数据交大数据交换汇换汇集平台集平台大数据存大数据存储储大数据治理平台大数据治理平台大数据大数据主主题应题应用用大数据大数据可可视视化化平台平台大数据智大数据智能运能运维维平平台台原生原生态态数据烟囱数据烟囱原始RDB原始FILE流媒体数据互联网数据分布式RDBHDFS流计算并行
12、批处理Map/Reduce资源监控系统智能部署系统政务大数据经济大数据财税大数据民生大数据旅游大数据数据适配框架ETL数据转换爬虫软件数据清洗比对数据迁移数据处理流程实时采集文件数据库MPP数据库RDB图数据库键值数据库列式数据库Spark其他 Hadoop生态政法大数据DAC 数据总线实时分析 环保 工业 商用大数据 大数据 大数据大数据大数据预测根因关系知知识认识认知知分析分析分析平台平台系统系统系统Hadoop运维管理机器学习大数据大数据应应用用驾驶舱驾驶舱大数据应用智能调度大数据基大数据基础础架构架构大数据应用门户系统算法库管理模型设计大数据智能分析平台大数据智能分析平台模型 模型 模
13、型训练 发布 管理选矿选矿捡矿捡矿洗洗矿矿储储运运冶冶炼炼成型成型铸铸模模16大数据交大数据交换汇换汇集平台集平台构造大数据的数据之源17大数据交大数据交换汇换汇集平台核心价集平台核心价值值开开发环发环境境用直观且以角色为基础的图形用户界面，管理数据处理，提供拖拽功能，源系统访问和可自定义的元数据树互互联联互通互通相较于其它解决方案，WYDC数据管理能够实时或批量地在更多的平台上链接更多数据源集成集成设计设计用可视化端到端的事件设计器，建立和编辑数据管理流程消息消息队队列列通过基于消息的连接整合异步业务流程ETL抽取、转换、加载，通过开箱即用的基于 SQL 的数据转换功能支持 ELT，获得更高
14、的灵活性管理与管理与监监控控跟踪作业状态和性能报告以及趋势信息的各项指标数据数据联联合合获得虚拟访问多种数据库结构、企业应用、主机遗留旧文件、文本、XML、消息队列和其它源的功能迁移与同步迁移与同步可以在多种数据库、企业应用、主机遗留旧文件、文本、XML、消息队列以及其它源之间，进行数据的迁移和同步.18ETL 概述概述数据源输出数据数据库库结结构化数据构化数据其它数据其它数据加加载载加工加工清洗清洗抽取抽取数据数据库库数据数据仓库仓库其它数据其它数据更多更多类类型的数据来源型的数据来源支持各种数据源，包括 DB2、Oracle、Mysql 等各种主流数据库，以及结构化文件系统、Excel、X
15、ml、LDAP、SOAP/WebServcie、CSV 文件和 RSS 等各种数据源。更广泛的更广泛的连连接方式接方式数据库连接支持集群，和数据库分区访问。数据库连接的方式支持 JDBC、ODBC 和JNDI 方式，提供了数据连接池功能，能够大大提高数据库的访问效率。更人性化的控制方式更人性化的控制方式提供了图形化界面的操作方式，开发人员只需拖动相应的组件到控制台即可。更更强强大的性能和大的性能和处处理速度理速度采用并行处理的方式实现数据的高效处理，支持 10 以内的大数据量的数据采集，并在网络断开后重新执行任务时，支持断点续传功能。ETL19ETL 服务器认证授权监控管理接口扩展接口ETL
16、资源库数据资源库文件资源库ETL 核心架构核心架构集成开发工具数据源接入数据源接入流程开流程开发发任任务务配置配置任任务务部署部署调试调试跟踪跟踪任任务执务执行行监监控控输输出出运行日志运行日志统一管理平台运行控制运行控制状状态监态监控控日志日志查查看看权权限管理限管理节节点管理点管理错误错误告警告警性能性能统计统计面板定制面板定制处处理流程理流程转换引擎转换转换组组件件元数据元数据适配器适配器组组件件ETL 引擎引擎任任务调务调度度转换转换 流程流程流程流程 控制控制性能管理性能管理任务引擎操作操作控制控制交交换换管理管理任任务务调调度度20丰富的丰富的 ETL 构件构件库库四方四方ETLE
17、TL产产品同品同类类ETLETL产产品品主机配置主机配置曙光640AMD6136*2(x8)2.4GHZ4G*16SASST91000640SS1T*12曙光A-620r-GAMD6136*2(x8)2.4GHZ4G*16SASST91000640SS1T*12DataNode数量数量5台67台每天数据每天数据处处理量理量1T8T数据数据处处理理时间时间9小时17.5小时单单服服务务器器计计算能力算能力22.756G/小时6.987G/小时对对比比结论结论ETL产品数据计算能力是同类ETL产品数据计算能力的3.257倍21强强大的大的处处理性能理性能22交交换汇换汇集平台特性集平台特性为为 数
18、据集成数据集成、数据整合数据整合、数据中数据中心建心建设设、基于、基于 复复杂杂数据流数据流 的数据的数据处处理提供理提供稳稳定高效的技定高效的技术术支撑支撑相关界面及效果相关界面及效果23 提高开提高开发发效率效率缩缩短周期短周期 图形化界面创建数据采集转换、抽取、清洗作业；支持智能采集；丰富的数据交丰富的数据交换换功能功能 支持多种数据库、实时接口及库表交换、文件交换；支持全量、增量方式的数据捕捉方式；实现实现复复杂杂数据数据处处理理 零编码的数据处理产品;零编码图形化拖拽方式，完成数据抽取、转化、清洗设计；支持多种存支持多种存储储架构架构 支持 hadoop、Mpp、传统数仓多多层层次安
19、全机制保障次安全机制保障 支持分级分域授权、三员分离；支持通道安全，支持 SSL 传输通道加密功能；支持数据加密，支持国密算法；支持交换全过程监控、审计，并提供邮件、短信预警功能；24网网络络爬虫功能概述爬虫功能概述网络爬虫是一个集成在数据模块下的自动下载网页的程序，它根据既定的抓取目标，有选择的访问网页与相关的链接，获取所需要的信息，无需安装任何软件，挖掘互联网数据、配置规则简单（支持循环翻页、集合、点击事件、模拟账号登录）支持分布式采集、定时循环采集、有效的防范 IP 被封，支持采集数据导出，并且能够对接各种主流存储结构的面向主题爬虫。25网网络络爬虫特点一爬虫特点一览览更更简单简单的的规
20、则设规则设置置支持异步支持异步AJAX简单配置出各种复杂的爬虫规则，大大缩短了脚本编写时间，而且更高效和更准确。支持鼠标点击事件（页面不跳转）的数据回调获取。分布式分布式抓取抓取利用 nginx 实现分布式抓取，提高爬取效率。多多线线程程爬取爬取反反监监控控单个节点采用多线程抓取（线程数量可配置）配合分布式部署抓取效率进一步提高。采用 IP 代理的模块，和一些反监控配置，能有效的确保爬虫平台IP 被网站封的可能性降低。分布式分布式监监管系管系统统能够实时监控各个节点上爬虫服务器的运行情况，并能够及时统计和发送异常信息给异常处理模块。26网网络络爬虫界面效果爬虫界面效果先先进标进标准的准的 SO
21、A 架构架构标准化技术架构规范化管理框架构件化业务模型高效灵活的开高效灵活的开发发体系体系方法论和最佳实践一体化可视工具平台组件化和图形化业务业务化的配置开化的配置开发发能力能力自动化流程表单设计灵活的业务权限丰富的构件丰富的构件库库27大数据大数据应应用用驾驶舱驾驶舱大数据高速飞行的驾驶舱28大数据大数据应应用用驾驶舱驾驶舱全方位的全方位的辅辅助分析能力助分析能力更低的更低的建建设设成本成本全景全景统统一管理一管理可信可信赖赖的的安全控制安全控制超超强强的的计计算能力算能力更低的更低的建模建模门槛门槛29大数据大数据应应用用驾驶舱驾驶舱30大数据治理平台大数据治理平台大数据治理实现数据内升3
22、1大数据治理的延伸大数据治理的延伸治理流程原始数据元数据数据标准字典行业业务规则数据接口数据接口共享开放共享开放数数据据检检索索数数据据服服务务32大数据治理平台核心价大数据治理平台核心价值值全景化信息全景化信息开放与开放与检检索索更全面的数据更全面的数据质质量保障量保障全全过过程程信息安全信息安全 提供数据标准梳理工具，使得元数据更合规 支持策略集的质量巡检方式，保障数据的完整性 支持主题的数据台账，基于元数据的信息管理，提供数据资源目录与导航 多渠道的数据访问机制（目录、API、Webservices）支持交换全过程监控、审计，并提供邮件、短信预警功能基于 oAuth 协议的第三方单点登陆
23、集成的模块支持通道安全，支持 SSL 传输通道加密功能支持数据及资源级别访问安全控制，可灵活对脱敏数据进行管理更低的更低的建建设设成本成本产品自主化量身定制适合应用的实践路线智能部署，比同类产品实施节省一半时间基于大量实践的，通用解决方案33大数据治理平台：大数据治理平台：ETL34大数据治理平台：元数据大数据治理平台：元数据标标准管理准管理35大数据治理平台：段大数据治理平台：段码码数据数据标标准管理准管理36大数据治理平台：信息大数据治理平台：信息类类管理管理37大数据治理平台：数据大数据治理平台：数据资资源目源目录录38大数据治理平台：信息大数据治理平台：信息类类授授权权39大数据治理平
24、台：大数据治理平台：质质量管理系量管理系统统 规则规则定定义义40大数据治理平台：大数据治理平台：质质量管理系量管理系统统41大数据治理平台：大数据治理平台：质质量管理系量管理系统统42大数据治理平台：大数据治理平台：质质量管理系量管理系统统43大数据治理平台：数据台大数据治理平台：数据台账账44大数据智能分析平台大数据智能分析平台大数据知识挖掘的核心引擎c1c2c3c4c5c6c7c8c945大数据分析平台关大数据分析平台关键键能力能力开放开放弹弹性性架构架构 真正无共享的海量并行真正无共享的海量并行处处理架构理架构 工工业标业标准的准的 X86 平台平台 服服务务器器资资源按需分配，按需搭
25、建集群，按需源按需分配，按需搭建集群，按需缩缩放集群放集群规规模模在在线线线线性性扩扩展展增加增加节节点可点可线线性增加存性增加存储储、查询查询和加和加载载性能性能支持在支持在线扩线扩容，容，扩扩容期容期间间保保证证系系统继续对统继续对外提供服外提供服务务拥拥有成本有成本可控可控保保证证用用户户不被不被专专有平台有平台锁锁定定企企业业初期投入和后初期投入和后续扩续扩容的成本可控容的成本可控海量并行海量并行处处理理r1r2r3r4r5支持支持 PB 级级的数据的数据处处理、存理、存储储和和访问访问在数据加在数据加载载、处处理、理、访问访问等各个等各个环节环节最大化并行最大化并行处处理能力理能力优
26、优秀混合秀混合负载负载平台持平台持续续可用可用按需分配按需分配资资源（源（CPU、内存、内存、IO）动态调动态调整整资资源源 数据数据镜镜像、硬件冗余等多种容像、硬件冗余等多种容错错技技术术保保证证系系统统高可用高可用 故障切故障切换换和恢复，和恢复，对对用用户户透明透明 扩扩容期容期间间可持可持续对续对外服外服务务易于管理易于管理维护维护直直观观的的图图形化界面，形化界面，实时实时的状的状态监态监控控最大限度降低管理最大限度降低管理员员的日常管理和的日常管理和维护维护工作工作46计计算算存存储储网网络络开源架构开源架构云平台管理云平台管理云平台安全云平台安全模型库 大数据资源开放共享平台大数
27、据分析架构（根据大数据分析架构（根据总总架构架构图图做一些做一些调调整）整）大数据应用体系大数据可视化与自服务平台Hadoop/YARN服服务务器虚器虚拟拟化化存存储储虚虚拟拟化化网网络络虚虚拟拟化化警警 务务 云云 接口接口vSphereXenServeriVirtualPowerVMNova分布式文件系统分布式对象存储分布式块存储SAN 存储网关OpenFlowvSwitch计算资源接口网络资源接口存储资源接口容灾资源接口云资源管理云运维管理通信安全数据安全访问安全vxLanvRouteSparkStormNoSQLkafkaMPP DB算法库自定义算法Mahout算法库算法审核Spark
28、Mlib模型训练模型评估模型管理模型发布数据挖掘统计分析MOLAPROLAPKylin预处理与评估数据探索知识库订阅管理知识分类管理知识库检索版本与发布管理R 集成Python集成数据源选择模型构建结果预测数据算法选择数据源选择业务场景导入数学分析建模大数据模型发布应用大数据应用大数据智能分析平台大数据应用驾驶舱大数据可视化平台大数据算法库47数据分析建模全生命周期数据分析建模全生命周期政务大数据应用工业大数据应用交通大数据应用旅游大数据应用 数据归集与预处理算法选择算法自定义分析建模设计模型训练模型调度运行管理知识库管理模型运行模型发布大数据运行服务大数据可视化展示知识库共享48大数据模型大
29、数据模型设计设计 算法算法设计设计49大数据可大数据可视视化平台化平台大数据展现50大数据可大数据可视视化平台功能支持化平台功能支持UI 编排组件库组件渲染事件联动容器监听模型数据过滤条件设置主题管理布局模板任务管理51大数据可大数据可视视化平台化平台软软件架构件架构52大数据可大数据可视视化平台化平台 数据数据编编排展排展现现53大数据可大数据可视视化平台案例体化平台案例体验验数据立体呈现，动静结合；展示有静态有动态54大数据可大数据可视视化平台案例体化平台案例体验验55大数据可大数据可视视化平台案例体化平台案例体验验56大数据可大数据可视视化平台案例体化平台案例体验验57大数据可大数据可视
30、视化平台案例体化平台案例体验验58大数据可大数据可视视化平台化平台 UI 编辑编辑体体验验59大数据可大数据可视视化平台化平台 UI 编辑编辑体体验验60UI 组组件的数据源件的数据源绑绑定定61大数据可大数据可视视化平台化平台带带来的价来的价值值利用丰富强大的 UI，快速搭建前端分析界面和分析流程完全可以在几天之内基本实现客户的大数据蓝图缩短周期，降低成本，最大限度提升成功率实时流状大数据动态呈现、智能分析适用于网络流量监控、交通疏导等对数据实时性要求较高的应用领域可通过轻量级解决方案实现灵活的大数据可视化数据展示、数据处理、元数据管理相互松耦合快速搭建部署立体数据动态呈现灵活搭配提升费效比
31、数据延伸至空间地理维度实现数据的空间分布展示数据保持动态实时性支持大数据可视化的移动端部署实现与后台的无缝对接实现离线数据分析轻松摆脱对固网的依赖基于 GIS 全方位呈现支持移动端数据62大数据大数据资资源源监监控控大数据平台健康运行的保障63智能智能监监控运控运维维业务业务运行运行监监控控 针对针对大数据各个大数据各个应应用平用平台的台的业务业务交易、交易、应应用用线线程、消息程、消息队队列、数据列、数据库库、等提供等提供业务业务运行运行监监控控 依据以往告警依据以往告警实现实现自自动动学学习习后后进进行行业务业务告警恢告警恢复复资资源运行源运行监监控控 针对针对大数据各个大数据各个应应用平用平台的台的业务进业务进程、服程、服务务器器使用状使用状态态、系、系统统的运行的运行状状态态、存、存储设备储设备等提供等提供资资源运行状源运行状态监态监控控 依据以往告警依据以往告警实现实现自自动动学学习习后后进进行行资资源告警恢源告警恢复复应应用智能部署用智能部署 针对针对大数据各个大数据各个应应用平用平台，通台，通过过可可视视化界面化界面实实现现一一键键安装安装 计计算算业务节业务节点根据点根据业务业务量智能量智能扩扩展相关展相关资资源，源，保保证证大数据运行大数据运行计计算正算正常运行常运行64大数据平台智能大数据平台智能监监控控