DEMO · 数据为模拟

暖枢 · 数据链路 demo

采集 → 清洗 → 归一化 → 聚合,四段依次跑通。下面是这一次运行的真实产出。

这一次跑了什么09-28 12:03 → 09-29 12:03

接入设备
5
3 家厂商 · 3 种协议
点位数
11
含 40001 / 40150 / 40032
原始记录
94,081
采集落地
清洗后有效
92,850
剔除率 2.30%
15 分钟聚合
275
条
小时能耗
75
条

第一段 · 采集点表:同一个物理量,三家厂商三个地址

设备厂商协议寻址 寄存器含义系数
CH-01A厂Modbus TCP192.168.1.1140001冷冻水供水温度×0.1
CH-01A厂Modbus TCP192.168.1.1140002冷冻水回水温度×0.1
CH-01A厂Modbus TCP192.168.1.1140003运行电流×0.1
CH-02B厂Modbus TCP192.168.1.1240150冷冻水供水温度×0.1
CH-02B厂Modbus TCP192.168.1.1240151冷冻水回水温度×0.1
CH-02B厂Modbus TCP192.168.1.1240152运行电流×1.0
CH-03C厂Modbus RTU从站 340032冷冻水供水温度×0.1
CH-03C厂Modbus RTU从站 340033冷冻水回水温度×0.1
CHWP-01D厂Modbus RTU从站 1140100运行频率×0.01
CHWP-01D厂Modbus RTU从站 1140101运行电流×0.1
CT-01E厂BACnet/IP192.168.1.31AI:1冷却水供水温度×1.0
看「冷冻水供水温度」这一行出现的三次:40001 / 40150 / 40032 —— 同一个物理量、三个不同地址、三种系数。这就是「点位表」存在的理由,也是下一段要抹平的东西。

第二 + 三段 · 清洗与归一化剔除 2190 条

坏点 bad
416
返回 -9999 / 超量程
跳变 jump
815
变化率超限
缺失 missing
959
该时刻无记录
剔除率
2.30%
占比很低,但足以毁掉报表
CH-01 · 冷冻水供水温度 · 全部 8640 个采集点
4℃ 6℃ 8℃ 10℃ 12℃ 14℃ 16℃ 12:03 16:03 20:03 00:03 04:03 08:03 12:03 绿线 = 清洗后的有效值(8470 个点) · 图底红色刻度 = 被规则剔除的点(170 个)

清洗规则的真实命中率这里有个值得看的东西

项条数
本次刻意注入的脏数据1941
清洗规则抓到1837
漏判104
这不是 bug,这是清洗的真实样子。 温度和电流的「合理变化率」本来就不一样:水温 10 秒最多变 0.3℃,跳 15% 必被抓; 而电流 10 秒允许变 15A,涨 15% 恰好卡在阈值内 —— 就漏过去了。
阈值定宽了会漏,定窄了会把真实的负荷波动误杀。清洗规则是要靠运行数据慢慢调的, 一次调不到完美。

归一化之后三家厂商的点位终于能放在一起比了

设备原始地址统一后点位名 平均最低最高
CH-0140001chw_supply_temp7.00℃6.80℃7.20℃
CH-0240150chw_supply_temp6.60℃6.40℃6.80℃
CH-0340032chw_supply_temp7.50℃7.30℃7.70℃
三台冷机来自三家厂商、三个寄存器地址,归一化之后都叫 chw_supply_temp —— 这才有了「横向对比」的可能。

第四段 · 聚合15 分钟粒度(前 8 条)

时间窗设备点位均值 最小最大完整率
09-28 12:00CH-01chw_return_temp9.989.7010.2099%
09-28 12:00CH-01chw_supply_temp6.996.807.2097%
09-28 12:00CH-01current111.02107.60113.50100%
09-28 12:00CH-02chw_return_temp9.579.309.9093%
09-28 12:00CH-02chw_supply_temp6.606.406.8099%
09-28 12:00CH-02current107.1494.00112.00100%
09-28 12:00CH-03chw_return_temp10.4810.2010.8097%
09-28 12:00CH-03chw_supply_temp7.507.307.7099%
注意「完整率」这一列 —— 一个 15 分钟窗口里只有 60% 的点有效, 这个均值就不可信。报表必须把数据质量一起带出来,否则看的人会被误导。

能耗聚合电流 → 功率 → 积分成电量,停机时段剔除

0 434 868 1303 1737 1732.4 CH-01 1684.1 CH-02 1736.9 CHWP-01 kWh
时间窗设备 电量 kWh运行分钟
09-28 12:00CH-0158.256
09-28 12:00CH-0255.956
09-28 12:00CHWP-0157.755
09-28 13:00CH-0160.158
09-28 13:00CH-0258.458
09-28 13:00CHWP-0161.259
09-28 14:00CH-0161.058
09-28 14:00CH-0258.858
09-28 14:00CHWP-0161.859
09-28 15:00CH-0161.159
09-28 15:00CH-0258.558
09-28 15:00CHWP-0161.159
电流不能直接平均 —— 要按 P=√3·U·I·cosφ 转成功率,再对时间积分才是电量。 而且停机时段(电流 < 5A)必须剔除,否则会把运行状态平均得看不出问题。

四段各跑在哪、挂了会怎样

段文件产出挂了会怎样
采集collector.pyt_raw立刻没数据
清洗cleaner.pyt_clean数据开始脏
归一化cleaner.pyt_clean不同设备对不上
聚合aggregator.pyt_agg_*报表空一块,原始数据还在
应用report.pyreport.html只是看不到,不影响数据
真实项目里这四段是四个独立服务(MyEMS 就是 myems-cleaning / myems-normalization / myems-aggregation 三个独立进程)。 拆开的意义就在最后一列 —— 坏的时候只坏一块,其余能继续跑。 这个 demo 用单进程串起来,是为了让你一次看明白顺序。
数据为模拟生成(random.seed 固定,可复现)· 无外部依赖 · 全部代码在 nuanshu-pipeline/ 目录