基于LLM与三阶段推理的视频异常检测：从感知到认知的范式演进

1. 项目概述从“看”到“想”的智能视频异常检测最近在跟进视频异常检测这个领域发现一个挺有意思的趋势。传统的VAD模型说白了就是“大力出奇迹”靠海量的标注数据去“喂”出一个能识别异常的模式。但问题来了现实世界里的“异常”千奇百怪你永远无法穷举所有可能。比如一个工厂流水线上螺丝刀突然飞起来是异常但如果是工人操作失误导致产品掉落算不算异常这背后涉及到意图和场景理解光靠像素级的模式匹配很容易“误伤”或者“漏网”。所以当我看到“Glance, Scrutinize, and Think”这个标题时立刻就被吸引住了。它精准地描述了一条我认为非常关键的演进路径从依赖固定训练集的“训练依赖”模式走向一种更灵活、更具推理能力的“智能体”模式。这里的“Glance”可以理解为模型对视频的快速、全局感知提取基础特征“Scrutinize”则是针对可疑区域的精细化审视比如放大局部、分析时序关系而“Think”是最高级的意味着模型能结合常识、场景上下文进行逻辑推理判断某个事件是否“合理”。这个框架的核心驱动力无疑是大型语言模型所展现出的强大推理和知识泛化能力。我们不再需要为每一种特定的异常比如“打架”、“闯入”、“火灾”去收集成千上万的样本而是可以让一个具备基础视觉理解和世界知识的“智能体”像人一样去观察、分析并得出结论。这不仅仅是技术上的升级更是问题解决范式的转变——从“模式识别”转向“场景理解与推理”。对于安防监控、工业质检、智慧交通这些对异常定义复杂、且标注成本极高的领域来说这种“Agentic Reasoning”的思路可能才是打开通用、鲁棒视频异常检测大门的钥匙。2. 核心思路拆解三阶段推理框架的构建逻辑2.1 “Glance”阶段高效全局感知与候选区域生成“一瞥”阶段的目标不是做出最终判断而是快速、低成本地扫描整个视频筛选出值得进一步关注的“候选异常片段”或“候选异常区域”。这就像保安在监控大屏上快速扫视第一时间发现“不对劲”的画面。技术实现上这个阶段通常不依赖或仅轻度依赖特定任务的训练。一种常见的思路是利用预训练的、通用的视觉基础模型。例如基于运动显著性的方法利用光流估计算法如RAFT, FlowNet计算视频帧间的密集运动场。异常事件往往伴随着非常规的运动模式如突然的加速、逆向运动、无序运动。通过分析运动矢量的幅度、方向一致性可以快速定位运动异常的区域。基于外观重建的方法使用自编码器或生成模型如VAE在大量正常视频数据上预训练学习“正常场景”的表征。在推理时模型尝试重建输入帧重建误差高的区域很可能包含了模型未见过即异常的外观模式。这种方法对静态外观异常如多出来的物体、缺失的物体比较敏感。基于预训练视觉Transformer的特征差异使用在ImageNet等大数据集上预训练的ViT或Swin Transformer提取视频帧的深度特征。在正常视频中相邻帧的特征在特征空间中的距离通常比较平稳。如果某两帧之间的特征距离发生突变可能预示着场景内容的剧烈变化提示异常发生。注意“Glance”阶段必须追求极致的效率。它的计算开销要远低于后续阶段因为我们需要用它处理长时视频。因此模型通常设计得轻量化或者采用稀疏采样策略如每秒只处理1-2帧。实操心得在这个阶段我们往往不是追求高精度而是追求高召回率。宁可多标记一些“可疑”区域交给下一阶段去细查也尽量不要在第一步就漏掉真正的异常。阈值设置是关键通常需要在一个小的验证集上调整平衡召回率和传递给下一阶段的数据量。2.2 “Scrutinize”阶段多粒度精细化审视与特征增强经过“Glance”的初筛我们得到了一系列候选片段通常是几秒长的视频块或候选区域边界框。第二阶段的任务就是对这些“嫌疑人”进行“审讯”即深入、细致地分析。这一阶段的核心是“多粒度”和“上下文融合”。时间维度细化对候选片段不再稀疏采样而是以更高的帧率如原帧率进行处理。分析更精细的时间动态比如一个“摔倒”动作的起承转合或者一场“争执”的升级过程。空间维度细化对候选区域进行高分辨率裁剪或使用注意力机制聚焦。分析局部细节例如物体表面的破损、行人手中是否持有非常规物品、车辆部件的异常状态等。多模态特征提取与融合除了RGB帧同步提取并分析光流强调运动、深度图强调空间结构、甚至音频如果可用等信息。异常可能只体现在某一种模态中多模态交叉验证能提升可靠性。时序关系建模使用3D CNN、时序Transformer或LSTM等网络建模候选片段内长时间跨度的依赖关系。很多异常的本质是事件在时间线上的不合理顺序比如“在禁止区域停留后突然奔跑”。这个阶段可以引入一些特定领域的先验知识但模型主体仍可以是预训练的。例如可以使用在大型动作识别数据集如Kinetics上预训练的3D CNN作为特征提取器它已经学会了丰富的时空表示只需针对异常检测的“正常/异常”二分类任务进行轻量微调或者干脆作为特征提取器不微调。常见问题候选片段可能包含复杂的背景干扰或者异常主体很小。直接处理整个片段可能让关键信号被淹没。解决方案是采用“区域提议网络RPN”的变体或者在特征层面使用自适应池化、非局部注意力等机制让模型自动聚焦到最相关的时空区域。2.3 “Think”阶段基于LLM的智能体推理与决策这是整个框架最具革命性的部分也是实现“Agentic Reasoning”的关键。前两个阶段可以看作是“感知”而“Think”阶段是“认知”。它不再仅仅比较特征距离或重建误差而是尝试理解场景并基于常识和逻辑进行推理。实现路径通常是将前两个阶段提取的丰富视觉表征如场景描述、物体标签、动作标签、时空关系图“翻译”成语言或结构化提示输入给一个大语言模型LLM由LLM扮演“推理智能体”的角色。具体流程可以这样设计视觉信息到文本的转化Visual Grounding密集描述生成使用强大的图像/视频描述模型如BLIP-2, Video-LLaMA为“Scrutinize”阶段输出的关键帧或片段生成自然语言描述。例如“一个穿着蓝色工装的人在传送带旁突然转身快速跑向车间出口。”结构化信息抽取使用视觉模型检测场景中的物体、人体姿态、动作并构建它们之间的关系图。然后将这个图用文本形式表达出来。例如“人物-1 位置传送带左侧 动作行走 人物-2 位置控制面板前 动作操作 关系人物-1 正在接近 人物-2”。构建推理提示Prompt Engineering将上一步得到的场景描述与预先定义好的“场景规则”和“任务指令”组合形成给LLM的提示词。示例提示词结构你是一个经验丰富的安全监控分析员。请根据以下视频片段的描述判断是否发生异常事件并给出理由。 **场景背景规则工厂车间** - 工人应在指定工位操作。 - 未经许可不得在车间内奔跑。 - 非工作人员不得进入设备区。 **视频描述** “下午3点车间流水线正常运转。一名工人突然离开工位快速跑向消防通道门。” **请逐步推理** 1. 描述中的行为是否符合任何一条场景规则 2. 该行为在当前的场景上下文工作时间、流水线运转下是否合理 3. 综合以上这是否为异常事件LLM推理与决策LLM基于其庞大的世界知识包括物理常识、社会规范、场景特定知识对提示进行逐步推理Chain-of-Thought最终输出判断“异常”或“正常”以及支持该判断的解释性理由。例如“判断异常。理由1. 行为‘快速奔跑’违反了车间安全规则‘不得在车间内奔跑’2. 在流水线正常运转时无故离开工位并跑向出口不符合正常工作流程存在安全风险或紧急情况嫌疑。”这一步的优势是巨大的可解释性LLM提供的推理链让异常判断不再是“黑箱”满足了实际应用中对可解释性的强烈需求。灵活性要适应新场景或新类型的异常很多时候只需要修改提示词中的“场景背景规则”而无需重新收集数据和训练模型。常识利用LLM能利用训练中学到的常识。例如它能理解“在结冰的路面上滑倒”和“在干燥的广场上滑倒”的异常程度是不同的后者更可疑。核心挑战与注意事项LLM的推理严重依赖前序阶段提供的视觉描述是否准确。如果视觉描述模型漏掉了关键物体或错误识别了动作那么“Garbage in, garbage out”。因此“Scrutinize”阶段的准确性是基础。此外LLM的推理可能存在幻觉或对提示词敏感需要精心设计提示和可能的后处理校验。3. 从训练依赖到训练自由的实践路径3.1 传统训练依赖范式的瓶颈在深入新框架之前有必要看清我们想摆脱什么。传统的基于深度学习的VAD无论是重构型、预测型还是分类/回归型都严重依赖大规模、高质量、且标注一致的训练数据。数据瓶颈“异常”本质上是罕见事件获取大量真实的异常视频片段极其困难且昂贵。常用的数据集如UCF-Crime, ShanghaiTech规模有限且异常类别定义和标注存在主观性。泛化瓶颈在一个数据集上训练得非常好的模型换到另一个监控场景如从街道换到仓库性能往往大幅下降。因为模型学到的是特定数据分布下的“异常模式”而非通用的“异常概念”。语义鸿沟模型输出的往往是一个异常分数或二分类标签无法回答“为什么这是异常”。这限制了其在需要人机协同决策的高风险场景中的应用。3.2 训练自由Training-Free的初步尝试“Glance, Scrutinize, and Think”框架的前两个阶段为走向“训练自由”提供了可能。Glance阶段可以完全使用预训练的基础模型如光流模型、自编码器、ViT无需任何针对目标场景的微调。它们提供的是通用的低级线索运动异常、外观异常。Scrutinize阶段可以使用在大型通用视频数据集如Kinetics, HowTo100M上预训练的模型作为特征提取器。这些模型已经学习了丰富的时空表示能够很好地描述各种动作和场景。我们只需要利用这些通用特征进行比对或简单分类甚至可以尝试完全不微调仅通过特征空间中的距离度量如与“正常原型”的余弦距离来判断。实操方案示例训练自由版Glance:使用预RAFT模型计算视频光流计算每帧光流幅值的方差超过阈值的帧标记为候选关键帧。Scrutinize:以候选关键帧为中心截取前后N秒的片段。使用预训练的VideoMAE在Kinetics上训练模型提取片段的时空特征向量。决策简易版在部署初期收集一小段如几分钟完全正常的视频提取其VideoMAE特征并计算一个“正常特征簇”的中心。在线推理时计算每个候选片段特征到该“正常中心”的距离如马氏距离距离过大则判为异常。这种方法减少了对大量标注数据的依赖但决策逻辑相对简单难以处理复杂的、需要推理的异常。3.3 引入LLM实现智能体推理Agentic Reasoning这才是突破瓶颈的关键一步。LLM的引入将决策机制从“基于统计距离的阈值判断”升级为“基于知识和逻辑的推理判断”。一个结合LLM的完整训练自由/少样本Pipeline可以这样设计离线准备零样本/少样本定义目标场景的“规则手册”。这可以由领域专家用自然语言编写几条核心规则。例如对于银行大厅“规则1客户在柜台前的停留时间通常不超过10分钟规则2除保安外人员不应在非营业时间进入大厅规则3禁止快速跑动或大声喧哗。”无需收集异常样本但可以收集少量正常视频片段用于建立“Scrutinize”阶段特征对比的基准可选可增强稳定性。在线推理Glance Scrutinize:沿用上述训练自由的方法得到候选片段的详细视觉描述通过描述模型和结构化信息。Think:将视觉描述、结构化信息与提前编写好的“场景规则手册”一起构造提示词输入给LLM如GPT-4, Claude-3或开源的Llama-3, Qwen-VL。LLM输出最终判断和理由。这个过程的“训练”体现在哪里实际上主要的“训练”工作转移到了提示词工程Prompt Engineering和对LLM本身的选择与优化上。我们不再训练一个庞大的视觉模型参数而是学习如何与一个通用的推理引擎进行有效沟通。对于特定场景我们可能只需要精心调整提示词和规则列表。4. 关键技术选型与实操要点4.1 视觉基础模型选型指南选择哪些模型来搭建“Glance”和“Scrutinize”的流水线直接影响整个系统的效率和效果。阶段任务目标推荐模型/方法优点缺点与注意事项Glance快速运动异常检测RAFT(预训练)光流估计精度高开源实现成熟计算相对高效。对光照变化敏感在纹理缺失区域效果差。可考虑更快的版本如GMFlow。Glance快速外观异常检测预训练自编码器(如U-Net)对静态异常遗留物、移除物敏感实现简单。需要纯正常数据预训练对复杂动态场景重建能力有限。Glance通用快速感知ViT/Swin Transformer(ImageNet预训练)提取的语义特征强大对多种异常有提示作用。仅处理单帧丢失时序信息。需结合帧间特征差异计算。Scrutinize时空特征提取VideoMAE,TimeSformer在大型视频数据集上预训练时空表征能力强开源。模型较大推理速度较慢。需对候选片段进行采样。Scrutinize细粒度动作识别I3D,SlowFast(Kinetics预训练)对人物、物体动作刻画细致适合行为分析。模型参数量大更适合对已裁剪的人物区域进行分析。Scrutinize视觉描述生成BLIP-2,Video-LLaMA能够生成高质量、连贯的视频描述是连接视觉与LLM的桥梁。生成速度慢描述可能冗长或包含无关细节需要后处理或摘要。选型心得没有“银弹”。在工业场景中我通常会采用混合策略。例如用光流ViT特征差异共同作为Glance阶段的触发器提升召回率。在Scrutinize阶段对于疑似行为异常使用SlowFast对于疑似场景结构异常则使用VideoMAE。资源允许的话可以并行多个专家模型。4.2 LLM集成与提示工程实战将LLM接入系统不仅仅是调个API那么简单。1. 本地部署 vs. 云端API云端API (如GPT-4, Claude-3):优点是最省事模型能力强推理和知识库更新及时。缺点是持续调用成本高有网络延迟且涉及视频数据上传可能存在隐私合规风险。本地部署 (如 Llama-3 70B, Qwen-VL 72B):优点是数据完全私有无网络延迟长期成本可控。缺点是对硬件GPU显存要求极高需要一定的运维和优化能力且模型综合能力可能略逊于顶级闭源模型。对于安防等敏感领域本地部署几乎是必选项。可以选择多模态大模型如Qwen-VL它能直接接收图像特征减少中间描述生成的信息损失。2. 提示词设计模板与迭代糟糕的提示词会导致LLM输出无意义的内容。设计提示词是一个迭代优化过程。基础模板角色定义你是一个[领域]监控分析专家。 背景知识[提供具体的场景规则、正常流程描述]。 输入信息[清晰、结构化地提供从视频中提取的信息包括时间、地点、人物、物体、动作、关系]。 任务指令请逐步分析以下情况 1. 描述中发生的事件是什么 2. 该事件是否违反了上述任何一条背景知识或常识 3. 考虑到所有可用信息你认为这是一个需要关注的异常事件吗请用“是”或“否”回答。 4. [如果是]请简要说明判断理由[如果否]请指出哪些因素使其看起来正常。 输出格式请严格按照以下JSON格式输出{analysis: 步骤1和2的思考过程, is_anomaly: true/false, reason: 判断理由}迭代优化技巧少样本示例Few-Shot在提示词中提供1-2个判断正确和判断错误的例子让LLM学习你想要的推理风格和输出格式。思维链Chain-of-Thought, CoT明确要求“逐步推理”这能显著提升复杂推理任务的准确性。输出格式化强制要求JSON等结构化输出便于程序自动化解析避免解析自然语言的麻烦。温度Temperature设置对于需要确定性、一致性输出的任务应将温度设为0或接近0减少随机性。3. 处理长视频与成本控制LLM的调用是按Token计费的或消耗计算资源。不能把整段长视频的描述都塞进去。关键信息摘要在“Scrutinize”阶段后设计一个摘要模块只提取最核心的要素谁、在何时、何地、做了什么、有何特别之处输入LLM。分层推理对于非常长或复杂的事件可以先让LLM对各个子片段进行初步判断再让另一个LLM或同一LLM进行第二轮对初步结果进行汇总和最终裁决。缓存机制对于反复出现的相似场景如车间里工人重复的标准化操作可以将LLM的推理结果缓存起来下次遇到相似描述直接使用避免重复计算。4.3 系统集成与性能优化将三个阶段的模型串联成一个稳定、高效的服务是工程上的重点。流水线设计输入视频流 - (解码与帧采样) - Glance模块 - [产生候选片段列表] - Scrutinize模块 - [生成每个片段的详细描述/特征] - Think模块 (LLM) - [输出带解释的异常警报]异步处理Glance模块可以设计为实时流处理而Scrutinize和Think模块可以对Glance产生的候选队列进行异步、批处理避免阻塞实时流。优先级队列根据Glance模块输出的异常置信度分数对候选片段进行优先级排序高置信度的优先进入后续处理。性能瓶颈与优化Glance阶段优化帧采样率。对于静态场景可以降低采样率对于动态场景则需提高。可以使用自适应采样策略。Scrutinize阶段这是计算开销最大的部分。优化方法包括使用TensorRT等工具对模型进行推理优化、量化对视频片段进行自适应分辨率缩放候选区域小的用高分辨率全局场景用低分辨率使用更高效的模型架构。Think阶段LLM优化提示词长度使用更高效的Tokenizer。对于本地模型使用vLLM等高性能推理框架支持持续批处理和PagedAttention能极大提高吞吐量。一个常见的踩坑点各个模块之间的数据格式和接口要提前定义清楚并用Protocol Buffers或JSON Schema固化。例如Glance模块输出(start_frame, end_frame, bbox, confidence_score)Scrutinize模块接收这个元数据去裁剪视频并生成描述。混乱的接口会导致调试噩梦。5. 评估、挑战与未来展望5.1 如何评估这样一个“智能体”系统传统的VAD评估指标如AUC, EER主要关注检测的准确性但面对一个能提供解释的智能体系统我们需要更全面的评估体系。检测性能基础的AUC、帧级/事件级准确率、召回率、F1分数仍然重要是衡量系统感知能力GlanceScrutinize的基石。推理质量新重点解释相关性LLM提供的理由是否与真实的异常原因相关可以通过人工标注或与专家判断的一致性来衡量。解释忠实度解释是否真实反映了模型做出判断的依据是否存在“幻觉”即编造理由这需要更精细的评估例如对输入信息进行消融实验。决策可追溯性当系统误报或漏报时能否根据LLM的推理链快速定位是哪个环节视觉描述错误规则理解偏差出了问题系统效率端到端的处理延迟、吞吐量FPS、以及资源消耗特别是LLM的Token消耗或GPU内存占用。用户满意度在实际部署中安保人员是否觉得系统提供的警报和解释有用是否减少了他们的工作负担这需要通过A/B测试和用户调研来评估。建立评估基准现有的VAD数据集如UCF-Crime缺乏对解释的标注。未来需要构建包含“为什么这是异常”标注的新数据集。在现阶段可以在现有数据集上用人工或更强的LLM如GPT-4为测试样本生成“参考解释”用以评估我们系统生成解释的质量。5.2 当前面临的主要挑战视觉描述的可靠性瓶颈“Garbage in, garbage out”。如果BLIP-2把“挥舞棍棒”错误描述成“挥舞旗帜”LLM再聪明也得不出正确结论。提升视觉基础模型的准确性和鲁棒性是根本。LLM的幻觉与偏见LLM可能生成看似合理但完全错误的推理或者其训练数据中的社会偏见会影响判断例如对特定人群的行为过度敏感。需要设计校验机制比如让LLM为自己的结论提供置信度或引入多轮验证。复杂场景与长尾问题对于极其复杂、需要深度领域知识的异常如精密仪器操作的细微失误、金融交易中的欺诈行为模式仅靠通用LLM和几条规则可能力不从心。可能需要引入领域特定的知识图谱或微调专业的小模型。实时性与成本平衡尤其是使用大型闭源LLM API时对长视频进行频繁、详细的推理成本可能难以承受。需要在检测精度、响应速度和成本之间找到业务可接受的平衡点。5.3 实践中的心得体会与避坑指南从小场景开始定义清晰的规则不要一开始就试图做一个“通用万能异常检测器”。选择一个具体的、边界清晰的场景如“仓库门口是否有人非法闯入”、“装配线工人是否佩戴安全帽”。用自然语言清晰地写下5-10条核心规则。这能帮你快速验证“Think”阶段的有效性。视觉模块的误差会逐级放大在系统集成测试时一定要单独评估每个视觉模块光流、检测、描述在目标场景下的性能。它们的误差会在LLM阶段被放大。有时花时间优化一个基础视觉模型的精度比调整LLM提示词带来的收益大得多。设计降级策略当LLM服务不可用网络中断、API限额时系统应能自动降级到基于“Scrutinize”阶段特征的传统阈值判断模式保证基础功能不中断。持续迭代提示词把LLM的提示词当作代码一样来管理进行版本控制。收集系统运行中的错误案例False Positive/Negative分析是规则不完善、描述不准确还是LLM理解偏差然后有针对性地修改提示词或规则库。这条路走下来我感觉我们正在把视频分析从一个纯粹的“模式匹配”工程问题转变为一个“感知-推理”的智能系统问题。虽然挑战很多但每次看到系统不仅能报出警报还能给出一段像模像样的分析理由时那种感觉和以前只看一个冷冰冰的“异常分数”是完全不同的。它让机器变得更“可沟通”也让人类专家更容易信任和介入。对于实际落地而言这种可解释性带来的价值有时甚至比单纯提升几个百分点的检测率更重要。