cloud
94 lines
2.6 KiB
Markdown
94 lines
2.6 KiB
Markdown
---
|
|
name: edge-data-quality-analyzer
|
|
description: edge_collector 采集与上传数据质量分析规范。用于分析历史趋势、AI 分析输入、网关/设备/点位数据缺失、断点、不连续、重复值、时间戳异常、上传策略影响、离线缓存重传和云端展示差异，并输出可验证的数据质量结论。
|
|
---
|
|
|
|
# edge_collector 数据质量分析
|
|
|
|
## 适用问题
|
|
|
|
- 云平台历史趋势看起来断续。
|
|
- AI 分析使用点数明显少于原始点数。
|
|
- 设备在线但云端显示离线。
|
|
- 点位长时间不变化、重复上传或缺失。
|
|
- 离线缓存重传后数据仍不完整。
|
|
- 用户质疑采集频率、上传策略或降采样结果。
|
|
|
|
## 分析维度
|
|
|
|
1. 数据完整性：应有点数、实际点数、缺口时间段。
|
|
2. 时间连续性：相邻时间间隔、断点、乱序、重复时间戳。
|
|
3. 值质量：重复值、常量段、异常突变、空值、类型异常。
|
|
4. 上传策略影响：相同数据不上传、5 分钟强制上传导致的短时不连续。
|
|
5. 降采样影响：原始点数、展示点数、AI 分析点数、是否保留极值。
|
|
6. 云边一致性：边缘本地数据、上传队列、云端历史数据是否一致。
|
|
|
|
## 排查流程
|
|
|
|
### 1. 确认对象
|
|
|
|
明确：
|
|
|
|
- 网关名称和 ID。
|
|
- 设备名称和 ID。
|
|
- 点位名称和 ID。
|
|
- 时间范围。
|
|
- 页面或接口来源。
|
|
|
|
### 2. 查询链路
|
|
|
|
按真实链路分析：
|
|
|
|
```text
|
|
设备采集
|
|
-> collector 点位值
|
|
-> 边缘本地缓存/上传队列
|
|
-> 云端入库
|
|
-> 历史趋势接口
|
|
-> 图表降采样 / AI 分析输入
|
|
```
|
|
|
|
### 3. 统计指标
|
|
|
|
输出至少包含：
|
|
|
|
- 原始记录数。
|
|
- 有效记录数。
|
|
- 展示/分析使用记录数。
|
|
- 最大采样间隔。
|
|
- P50/P95 采样间隔。
|
|
- 重复值比例。
|
|
- 缺口时间段 Top N。
|
|
|
|
### 4. 解释结论
|
|
|
|
结论必须区分：
|
|
|
|
- 正常策略导致：例如相同数据不上传、5 分钟强制上传。
|
|
- 展示降采样导致：图表为了性能减少点数。
|
|
- 采集异常导致：设备离线、驱动读失败、点位配置错误。
|
|
- 上传异常导致：网络断开、离线缓存未重传、云端接口失败。
|
|
|
|
## AI 分析专项
|
|
|
|
当分析 AI 输入数据时：
|
|
|
|
- 必须带上网关名称、设备名称、点位名称。
|
|
- 必须说明原始点数和用于 AI 分析点数的区别。
|
|
- 深度分析应提高采样点数、异常片段数量和上下文摘要，不只改变提示词。
|
|
- 给 AI 的提示词要说明上传策略：相同数据不上传，5 分钟强制上传，因此短时间不连续可能是正常现象。
|
|
|
|
## 报告格式
|
|
|
|
```markdown
|
|
## 数据范围
|
|
|
|
## 关键统计
|
|
|
|
## 异常片段
|
|
|
|
## 原因判断
|
|
|
|
## 建议动作
|
|
```
|