--- name: edge-data-quality-analyzer description: edge_collector 采集与上传数据质量分析规范。用于分析历史趋势、AI 分析输入、网关/设备/点位数据缺失、断点、不连续、重复值、时间戳异常、上传策略影响、离线缓存重传和云端展示差异,并输出可验证的数据质量结论。 --- # edge_collector 数据质量分析 ## 适用问题 - 云平台历史趋势看起来断续。 - AI 分析使用点数明显少于原始点数。 - 设备在线但云端显示离线。 - 点位长时间不变化、重复上传或缺失。 - 离线缓存重传后数据仍不完整。 - 用户质疑采集频率、上传策略或降采样结果。 ## 分析维度 1. 数据完整性:应有点数、实际点数、缺口时间段。 2. 时间连续性:相邻时间间隔、断点、乱序、重复时间戳。 3. 值质量:重复值、常量段、异常突变、空值、类型异常。 4. 上传策略影响:相同数据不上传、5 分钟强制上传导致的短时不连续。 5. 降采样影响:原始点数、展示点数、AI 分析点数、是否保留极值。 6. 云边一致性:边缘本地数据、上传队列、云端历史数据是否一致。 ## 排查流程 ### 1. 确认对象 明确: - 网关名称和 ID。 - 设备名称和 ID。 - 点位名称和 ID。 - 时间范围。 - 页面或接口来源。 ### 2. 查询链路 按真实链路分析: ```text 设备采集 -> collector 点位值 -> 边缘本地缓存/上传队列 -> 云端入库 -> 历史趋势接口 -> 图表降采样 / AI 分析输入 ``` ### 3. 统计指标 输出至少包含: - 原始记录数。 - 有效记录数。 - 展示/分析使用记录数。 - 最大采样间隔。 - P50/P95 采样间隔。 - 重复值比例。 - 缺口时间段 Top N。 ### 4. 解释结论 结论必须区分: - 正常策略导致:例如相同数据不上传、5 分钟强制上传。 - 展示降采样导致:图表为了性能减少点数。 - 采集异常导致:设备离线、驱动读失败、点位配置错误。 - 上传异常导致:网络断开、离线缓存未重传、云端接口失败。 ## AI 分析专项 当分析 AI 输入数据时: - 必须带上网关名称、设备名称、点位名称。 - 必须说明原始点数和用于 AI 分析点数的区别。 - 深度分析应提高采样点数、异常片段数量和上下文摘要,不只改变提示词。 - 给 AI 的提示词要说明上传策略:相同数据不上传,5 分钟强制上传,因此短时间不连续可能是正常现象。 ## 报告格式 ```markdown ## 数据范围 ## 关键统计 ## 异常片段 ## 原因判断 ## 建议动作 ```