(1)目标检测概述与评价体系:了解目标检测的发展历程、核心任务和应用场景(智能安防、自动驾驶、工业质检、新零售)。掌握目标检测的完整评价体系:交并比(IoU)的计算与应用、非极大值抑制(NMS)的原理、准确率与召回率的平衡、mAP(mean Average Precision)的计算方法。学习目标检测面临的挑战:小目标检测、遮挡处理、实时性要求、多尺度问题。
(2)两阶段目标检测算法:深入理解两阶段检测器的核心思想(先提议后分类)。掌握R-CNN系列检测器的演进脉络:R-CNN的候选区域方法、Fast R-CNN的感兴趣区域池化(RoI Pooling)、Faster R-CNN的区域提议网络(RPN)端到端训练。理解锚框(Anchor Box)的概念、设计策略(尺度、长宽比)和匹配规则(正负样本分配)。学习Mask R-CNN在检测基础上扩展实例分割的原理。
(3)单阶段目标检测算法:掌握单阶段检测器的核心思想(一次前向直接预测位置和类别),理解其相对于两阶段检测器的速度优势。学习SSD(Single Shot MultiBox Detector)的多尺度特征图预测策略。深入理解YOLO系列检测器的技术演进:从YOLOv1的回归思想到YOLOv8/v10的完整技术体系,包括无锚框检测、解耦头、动态标签分配等核心创新。对比分析单阶段与两阶段检测器的适用场景选择。
(4)YOLO系列实战与优化:掌握YOLOv5/v8/v10的完整实战流程,包括环境配置、数据集准备(标注格式转换、数据集划分)、模型训练与验证。学习YOLO模型的核心配置参数理解(网络深度、宽度、训练超参数)。掌握模型优化技巧:数据增强策略(Mosaic、MixUp、Copy-Paste)、学习率调度、权重衰减设置。实战完成自定义数据集(如口罩检测、交通标志识别)的模型训练与调优。
(5)基于Transformer的目标检测:了解Transformer在计算机视觉领域的应用演进。掌握DETR(Detection Transformer)的核心思想:将目标检测视为集合预测问题,去除锚框和NMS等人工设计组件。学习Deformable DETR的改进(可变形注意力机制加速收敛)。了解Swin Transformer在检测中的应用及其层次化架构特点。对比CNN与Transformer检测器的性能与适用场景。
(6)视频分析与目标跟踪基础:理解视频分析与单张图像分析的本质区别(时间维度信息的引入)。掌握视频分析的核心任务:目标检测、多目标跟踪、行为识别、视频语义理解。了解目标跟踪的任务分类:单目标跟踪(SOT)与多目标跟踪(MOT)的区别与应用场景。学习跟踪系统的完整工作流程:检测、特征提取、数据关联、轨迹管理。
(7)多目标跟踪算法:SORT与DeepSORT:深入理解SORT(Simple Online and Realtime Tracking)的核心思想:卡尔曼滤波预测目标状态、匈牙利算法进行数据关联。掌握DeepSORT的改进:引入外观特征(Re-ID特征)解决遮挡下的身份切换问题。学习级联匹配策略优先匹配高置信度轨迹。实战实现基于检测结果的DeepSORT多目标跟踪。
(8)多目标跟踪算法:BYTETrack与BoT-SORT:掌握BYTETrack的核心创新:利用高置信度检测框和低置信度检测框的两阶段关联策略,有效处理遮挡和模糊场景。学习BoT-SORT的改进:融合运动预测和外观特征,使用相机运动补偿提升跟踪稳定性。了解不同跟踪算法的适用场景选择:拥挤场景优先BYTETrack,不可预测运动优先BoT-SORT。实战实现BYTETrack在监控视频中的应用。
(9)视频行为识别与分析:理解行为识别的任务定义:从视频序列中识别目标的动作类别(跑步、跳跃、打架等)。掌握经典行为识别算法:双流网络(空间流+时间流)、3D卷积网络(C3D、I3D)。学习SlowFast算法的核心思想:慢路径捕捉空间语义信息,快路径捕捉时间运动信息,通过侧向连接融合时空特征。了解行为识别与目标检测、多目标跟踪的协同工作:先检测再识别。
(10)视频分析系统实战:检测+跟踪+识别:学习构建完整的视频分析系统,整合目标检测(YOLO)、多目标跟踪(DeepSORT/BYTETrack)和行为识别(SlowFast)模块。掌握视频流处理框架设计:视频帧读取、检测线程、跟踪线程、识别线程的协同与异步处理。实战实现交通监控场景下的车辆检测、跟踪与违章行为识别(如违停检测、逆行检测)。
(11)模型部署与边缘端优化:掌握视频分析模型的部署技术。学习模型转换(ONNX/TensorRT)和推理加速(FP16/INT8量化)。了解边缘端部署方案:树莓派、Jetson Nano等嵌入式平台的YOLO部署实践。掌握推理性能优化技巧:批处理、异步推理、预处理合并。实战完成视频分析模型在边缘设备的部署与实时推理。
(12)综合项目实战:智能视频分析系统开发:结合所学知识,完成一个完整的视频分析项目(如智能安防监控系统、交通流量统计平台、工厂行为规范检测系统)。涵盖需求分析、数据采集与标注、检测模型训练、跟踪算法集成、行为识别模块开发、系统集成与部署、效果评估的全流程,形成规范的视频分析应用项目报告。