《能耗数据修复方案探究.pdf》由会员分享，可在线阅读，更多相关《能耗数据修复方案探究.pdf（7页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、1 引言引言目前，在能源管理系统中需要采集、传输的数据量很大，由于当前采集设备、通讯管理机及其他网络方面原因，导致在数据采集、传输过程中难免会出现漏采、误采、误传等现象，从而会产生一些空数据（缺失数据）、明显的坏数据，而数据的真实性直接影响其分析的可靠性，因此应引起足够的重视。2 产生能耗数据异常原因产生能耗数据异常原因1.通讯管理机通讯中断由于人为或是环境原因，导致某段时间某管理机与后台无法通讯，导致后台该前置所有数据无变化。2.统计服务假死/退出，导致缺失统计数据3.通讯管理机通讯正常，某些设备中断体现在某些设备某时间段无变化，设备通讯恢复后，能耗突增。4.某些设备中断之前，通讯管理机中断
2、在后5.管理机通讯中断，断点文件在切片时间处理时有缺陷，缺失断点文件，导致数据库无断点数据，后台数据缺失。(前置已解决)6.平台 SERVER 假死，导致采样缺失。7.通讯管理机和后台配置规约配置错误，选用没有支持断点的 UDP 转发规约，导致没有断点文件，后台缺失数据(配置文档有说明，后面可默认全部都是 TCP)8.管理机故障或人为原因未启动管理机管理机未启动（或采集器看门狗失效）或人为原因没有启动管理机，导致数据无法上传，数据丢失。9.网络故障通讯管理机附近有强电磁场干扰，会导致数据受干扰，传输不稳定。表现为数据突变。10.能源计量表计更换/损坏当能耗总量达到电表量程，电表读数跳回 0，造
3、成的累计量突变；仪表损坏造成累计量波动；3 数据异常修复当前现状及解决方案数据异常修复当前现状及解决方案3.1 数据异常修复当前现状数据异常修复当前现状能源管理系统属于时变系统，因此可根据采样值随时间递增的属性，对异常数据进行识别，并通过相关算法进行数据修改，更新统计数据。数据异常修复过程就是检测数据剔除其中的坏数据（负值、极大值、极小值、突变值）及检测是否数据缺失，并利用历史数据，并依据修补算法进行补全。当前公司对于异常的处理主要包括断点程序、数据修补工具。1.目前的断点续传功能只是实现对问题原因 1 的处理。2.数据修复工具只是针对平台采样数据齐全时，方能修复，对应于问题 2。其他问题可归
4、结于两种：1.缺失采样数据；2.采样数据异常。目前对于缺失采样，我司完全没有处理；对于采样数据异常，后台接收前置数据时做了初步过滤，但效果不明显，而现场这两类问题很突出，急需处理。3.2 解决方案解决方案3.2.1 方案方案 1对于统计而言，平台采样数据如果是齐全而且是有效数据，则所有的数据均可重新恢复，因此，如果能补齐/修补好采样数据，则通过断点服务程序可处理完缺失/异常数据。如下图所示，修补服务先建立设备 10 分钟基准能耗库，然后创建设备数据状态巡检线程、采样数据修补线程、设备能耗基准库补充。设备数据状态巡检线程的主要任务是巡检设备每天 10 分钟每个能耗点数据状态是否都写入（由能耗统计
5、服务写入状态）。当查到有设备某时间中断没有记录，查设备中断时间内采样数据有效位，并插入设备数据有效状态表。（保证 10 分钟 144 个点的状态都有，如缺失采样，默认状态是无效）采样数据修复线程是通过获取能耗增量叠加到相邻通讯正常的采样值上获取到下一次的采样值，并将记录插入到断点原始表，由断点程序完成相关区域的统计入库。设备能耗基准库线程功能主要是为了确保数据修复时有可靠的数据来源，数据库中所有点数据都是在通讯正常时存入，只做 10 分钟设备的能耗，其他的不需做（因所有区域都是由设备进行累计。其他补充说明其他补充说明1.基准能耗库切分 4 个时间类型，春夏秋冬，两个功能类型工作日与非工作日，每
6、个时间类型保留设备 7 天 10 分钟有效数据（周一到周日），基准库可定时更新（比如一周更新一次，通过读取配置文件）。区域和其他设备、区域颗粒不需做基准，所有设备、区域都是以设备 10 分钟做为基础。基准数据获取前提是系统稳定一段时间后（不小于 7 天，以设备状态通讯正常时的能耗数据作为基准）2.设备数据状态在设备数据状态表中存有所有设备每天的 10 分钟有效数据过程，以有数据从无效到有效时触发数据修补。修复算法说明修复算法说明基准中保留有每一个设备一个星期通讯正常的 10 分钟能耗。1.算法 1（同类型同时间段）根据修复时间所属季节、是周几从基准库中获取同一时间类型能耗（最简单方式根据修复时
7、间所属季节、是周几从基准库中获取同一时间类型能耗（最简单方式）。比如修复时间为 2016-5-12 15:00:00，属于夏季周四，则直接从基准库中获取该设备夏季周四 15 点的能耗。如果基准库没有存在则取相邻时刻能耗，再没有则取昨日同时刻能耗，否则暂不处理。2.算法 2（均值）根据修复时间所属季节、是工作日还是非工作日从基准库中获取同一功能类型能耗，根据修复时间所属季节、是工作日还是非工作日从基准库中获取同一功能类型能耗，并取其均值。并取其均值。如上面的做法，如是工作日取工作日对应时间均值，如是非工作日，去非工作日对应时间均值。如修复时间为 2016-5-12 15:00:00，属于夏季周四
8、工作日时间，则直接从基准库中获取该设备夏季周一至周五 15 点的能耗。如果基准库没有存在则取相邻时刻能耗，再没有则取昨日同时刻能耗，否则暂不处理。3.算法 3（均值增量法）3.2.2 方案方案 2与方案 1 区别在于直接用算法获取设备能耗数据（算法可配置），并同步更新与小时、天、月设备与区域的能耗。其他说明如方案 1 的描述。3.2.3 方案比较方案比较1.方案 1其实修复的是采样值，然后通过断点程序进行能耗数据修复，可确保数据完整性（配电/计费等数据保持一致），但断点程序处理效率是存在的风险点。2.方案 2修复的是能耗值，和采样、断点程序脱离，但会导致和配电、计费数据不一致。3.存在的风险点
9、1)所有的数据修复都是以设备通讯正常基础上进行的，但通讯正常并不意味着数据没有异常，如果在异常的数据上进行修复，就会导致这个时间段的修复都是错误的。现场出现数据突变的几率很小现场出现数据突变的几率很小，如果确实出现了如果确实出现了，也不会很多也不会很多，可让用户通过异常数可让用户通过异常数据修复工具，单个区域修改（林东东据修复工具，单个区域修改（林东东）。3.2.4 个人建议个人建议倾向于方案 1，通过修补采样值，然后通过断点程序进行相关区域能耗的统计（当然也可在修复 程序中实现部分断点功能），可保证数据一致性，开发工作量也相对较小，可快速运用于现场。另外，通讯正常时，数据突变问题，相关解决方案还在搜集整理中。