异常检测与统计分析——Huginn 的 PeakDetectorAgent

异常检测与统计分析——Huginn 的 PeakDetectorAgent

学习目标

• 理解 PeakDetectorAgent 的均值-标准差异常检测算法
• 掌握事件流分组检测的实现方式
• 学会配置峰值冷却间隔和冷启动保护
• 了解滑动窗口内存管理与清理策略

前置知识

本章涉及滑动窗口异常检测的通用原理，建议先阅读：

• 滑动窗口异常检测

下文假设你已理解异常检测的基本算法，直接聚焦 Huginn 的具体实现。

项目实践

检测算法实现

核心检测逻辑：

def check_for_peak(group, event)
  # 冷却检查
  if memory['peaks'][group].empty? ||
     memory['peaks'][group].last < event.created_at.to_i - peak_spacing

    # 排除最后一个值（当前值），用历史数据计算基线
    average_value, standard_deviation = stats_for(group, skip_last: 1)
    newest_value, newest_time = memory['data'][group][-1].map(&:to_f)

    # 检测: 当前值 > 均值 + N × 标准差
    if newest_value > average_value + std_multiple * standard_deviation
      memory['peaks'][group] << newest_time  # 记录峰值时间
      # 清理过期峰值
      memory['peaks'][group].reject! { |p| p <= newest_time - window_duration }

      create_event payload: {
        'message' => interpolated(event)['message'],
        'peak' => newest_value,
        'peak_time' => newest_time,
        'grouped_by' => group.to_s
      }
    end
  end
end

分组检测

def group_for(event)
  group_by_path = interpolated['group_by_path'].presence
  (group_by_path && Utils.value_at(event.payload, group_by_path)) || 'no_group'
end

每个分组维护独立的：

• 时间序列数据（memory['data'][group]）
• 峰值历史记录（memory['peaks'][group]）
• 统计基线（均值和标准差）

实际应用：监控多个城市的 Twitter 讨论量，每个城市独立检测峰值。

可配置参数

参数	默认值	说明
std_multiple	3	标准差倍数（N）。越大越保守
window_duration_in_days	14	滑动窗口大小（天）
min_peak_spacing_in_days	2	峰值冷却间隔（天）
min_events	4	冷启动保护——最少数据点数
group_by_path	”filter”	分组字段的 JSONPath
value_path	”count”	检测值的 JSONPath

内存管理

def remember(group, event)
  memory['data'] ||= {}
  memory['data'][group] ||= []
  # 追加 [value, timestamp]
  memory['data'][group] << [Utils.value_at(event.payload, value_path).to_f,
                             event.created_at.to_i]
  cleanup(group)  # 清理过期数据
end

def cleanup(group)
  newest_time = memory['data'][group].last.last
  # 删除窗口外的数据
  memory['data'][group].reject! { |_value, time| time <= newest_time - window_duration }
end

内存使用量：每个分组 O(窗口内的数据点数)，总体 O(分组数 × 窗口大小)。

问题与规避

冷启动误报

数据点不足 4 个时不开始检测，避免基于极少量数据做出判断。

如果 min_events 设置过小：容易在刚开始积累数据时产生误报。 如果设置过大：检测延迟启动，可能错过早期异常。

非正态分布数据的误报

均值-标准差方法假设数据近似正态分布。对于 Twitter 提及量这类计数数据（泊松分布），高值端的误报率会上升。

规避方式：

• 对数值取对数后再检测
• 增大 std_multiple 降低灵敏度
• 增加 min_events 积累更多基线数据

峰值窗口内的数据清理

当 Agent 的 memory 累积过多数据时，会影响序列化性能。

Huginn 的防护：每次写入后自动执行 cleanup，删除超出窗口的数据。峰值历史记录也有类似的过期清理。

设计取舍

标准差检测 vs 其他方法

方法	Huginn 采用?	复杂度	适用场景
均值-标准差	✅	O(n)	近似正态分布
百分位阈值	❌	O(n log n)	任意分布
ESD	❌	O(k×n)	多异常值场景
Isolation Forest	❌	O(n log n)	高维数据

均值-标准差对于 Huginn 的目标场景（一维时间序列、近似正态）是性价比最高的选择——实现简单、计算快速、内存占用低。

参考来源

• Anomaly Detection: A Survey — Chandola et al., 2009