Unsuperised Model Selection For Time Series Anomaly Detection 解读

如有侵权或其他问题欢迎留言联系更正或删除。目录一 模型整体框架二 问题定义三 代理指标四 排名聚合五 实验结果六 实验结论来源ICLR SPOTLIGHT 2023立意更高而非堆砌模型结构代码mononitogoswami/tsad-model-selection: Code for Unsupervised Model Selection for Time-series Anomaly Detection, ICLR 2023.一 模型整体框架二 问题定义注意① 不同模型、以不同方式动机 所生成的时序异常分数不具备直接、简单的 “可比性”② 在时序异常检测内没有任何一种方法能在所有数据集上都表现最佳。不同数据集和异常场景通常需选择不同模型→ 给定未标记时序数据集 及 一组候选时序异常检测模型如何选择最佳的 detetor ?三 代理指标SurrogateMetrics of Model Performance三类不完美的、含噪音nosiy的代理指标① 预测误差Prediction Error原文内容If a model can forecast or reconstruct time-series well it must also be a good anomaly detector. → 个人见解不一定TSAD 领域内的训练材料含部分异常可能习得对 “异常时序” 的预测知识预测模型的性能瓶颈将干扰对 “时序异常” 的鉴别 ......② 异常注入Synthetic Anomaly Injection弊端(1) real anomalies might be of a different type compared to injected ones →真实的时序异常 与 注入的合成异常 相比域不同简言之注入合成异常的方式难以覆盖真实时序异常的所有情形(2) there may already be anomalies for which our pseudo-labels will be negative →伪标签有误将真正的时序异常错误地标记为 ” 正常 / negative /0 “③ 模型中心度Model CentralityThere is only one ground truth, thus models close to ground truth are close to each other. Hence, the most “central model is the best one.在时序背景下用 “异常分数” 近似 “模型中心度”虽然 “异常分数” 不能直接比较分数的分布、生成方式不同但模型借助 “阈值” 为时序添加标签 → 比较不同模型给出的、各时序点的 “异常分数排名”其具体公式如下弊端好模型可能产生集群坏模型也可能产生集群四 排名聚合本部分解读源于2023 ICLRUnsupervised Model Selection for Time-Series Anomaly Detection - 知乎五 实验结果UCR SMD 数据集的具体实验结果六 实验结论1. No single best surrogate metric.没有唯一的、最佳的 代理指标2. Minimum Influence Metric perform on par with Supervised Selection3. Robust variations of Borda outperform Borda证实了只关注 “好” 的代理指标能够提高排名聚合后的模型性能4. Robust variations of Borda minimizes losses to Oracle5. Synthetic anomaly injection metrics outperform other classes of metrics. We found synthetic anomaly injection to perform better than prediction error and centrality metrics (Appendix A.3). Among the three surrogate classes, centrality metrics performed the worst, most likely due to highly correlated bad rankings.6. Prior knowledge of anomalies might help identify good anomaly injection metrics. 针对特定数据集的、异常的先验知识有助于确定良好的 “异常注入” 指标。详见上文第三部份的②片段