单目标跟踪（SOT）领域主要关注如何在训练集中未出现的目标上持续跟踪。主流方法有两种：判别式跟踪和生成式跟踪。判别式跟踪通过在线刻画样本特征，利用参数化的机制区分前景与背景，并能在线更新，如CF通过移动平均或finetune-based通过反向传播。生成式跟踪在离线阶段构建泛化性强的嵌入空间，基于某种相似度度量构建。从元学习的角度看，前者可视为参数化的回归模型，而后者是非参数化的最近邻分类模型。近来，研究整合两者，例如在孪生网络中加入优化和参数化模型，如DROL、MLT和GradNet。
多目标跟踪（MOT）领域着重解决在已知ID的目标下，如何处理数据关联问题。关联问题通常有多种解决方式，如贪心算法、基于巴氏图匹配的匈牙利算法或最大流/最小割问题。MOT中的运动模型和外观模型等是辅助解决关联问题的关键组件。传统跟踪检测框架需要基于检测结果，通常是级联或两阶段形式，通过帧间矩形框的重合度或外观相似度减少ID混淆。近年来，联合跟踪检测框架如JDE、D&T、FFT和CenterTrack等，通过端到端学习同时检测和跟踪，Tractor++则通过回归器简化数据关联步骤。
SOT领域关注如何将MOT中的基于匹配的离线训练ReID模型转换为通过梯度下降或参数预测的在线训练判别模型。SiameseNet在匹配学习方面与MOT相似，但默认采用离线训练的纯匹配方式。DiMP近期的成功在于利用梯度下降作为元信息的设计思路，与特征一起参与训练，有效地弥补了端到端的差距，显示出非常有前景的效果。参数预测则通过引入可权重调整的机制，如使用梯度或统计信息更新特征（MLT、TADT、GradNet、CLNet），实现当前参数在新类别的领域迁移。
SOT、MOT和视频目标检测（VOD）都是视频级别的对象检测问题。VOD是对单一对象检测任务的扩展，加入了时间序列信息；单目标跟踪类似于视频级别的对象搜索（少量样本对象检测）任务，强调对新类别的迁移；多目标跟踪则可以视为视频级别的实例检测问题，需要解决帧间ID匹配的需求。在处理上，单目标跟踪通常在局部区域进行操作，而多目标跟踪则涉及全图操作。近期，如Siam RCNN、UnifiedDet和GlobalTrack将单目标跟踪视为全局条件检测，预示着这两个问题将更加紧密。
在强调领域，common和general对象的区别在于，identity和类别被视为两个独立的轴。训练数据与测试数据之间的gap较小，着重于身份的迁移。而在few-shot学习中，强调对新类别的迁移。SOT在解决时通常将同一类别的不同身份视为不同的类别进行处理，本质上是投影到类别轴上，进行少量样本的迁移学习。在处理identity适应训练和测试时，仅提供检索的正样本，缺乏额外标签信息，适用于ReID场景，因此更适合1-way-N-shot的基于度量的学习模型。而在few-shot学习的M-way-N-shot设置下，训练集中提供了M个类的标签信息，可以预先学习判别模型；使用KNN等懒学习方式忽略标签信息，仅记忆元训练信息，这将导致判别能力显着下降。
㈡ SOT入门之Siam系列（二）：SiamFC++
前言
本文将深入探讨一种基于SiamFC的新型孪生网络SiamFC++，它是2020年AAAI上发表的最新研究。SiamFC++在原有基础上，针对目标跟踪问题，提出了四项指导原则，旨在优化网络结构以实现更高效、更准确的跟踪性能。接下来，我们将从新手角度解析该论文的核心内容。
主要内容
在介绍SiamFC++之前，作者首先提出了四项关键指导原则，以指导网络设计与优化。
1. 跟踪任务分为两个核心子任务：分类与位置精确估计。分类分支有助于提升模型的判别性，位置估计分支则确保目标定位的精度。
2. 分类与位置估计使用的特征图应分开处理，避免直接将分类特征图用于位置估计，以防止定位精度下降。
3. 在Siam匹配过程中，使用原始模板而非预设anchors，以保持模型的判别性。SiamFC++的性能虽略低于SiamRPN++，但在其他测试指标上表现更优，作者认为这是由于anchors与模板间的差异导致的鲁棒性问题。
4. 避免加入数据分布的先验知识，如尺度变换等，以确保模型具有更广泛的通用性。
根据上述原则，SiamFC++的网络结构被设计得简单而直观。首先，使用统一的特征提取网络（如AlexNet或Google Net）生成特征图，随后进行分类与位置回归的互相关操作，遵循指导原则的第一点。
接着，网络采用两个头操作，分别处理分类得分与位置回归分数。为了平衡分类得分与目标位置的关系，引入了质量评分，将其与预测分数相乘，从而得到最终的选择框得分。作者提出了两种质量评分计算方法：PSS*得分与IOU得分。
在训练过程中，采用不同的损失函数：PSS loss用于位置回归分支，Focal loss用于分类分支，BCE损失用于质量分支，确保模型在多个方面得到优化。
总结
SiamFC++在原有SiamFC的基础上，通过添加位置回归和质量分数，结合多种损失函数联合训练，显着提升了跟踪性能。该论文不仅提供了高效的学习资源，还开源了相关代码，使得感兴趣的研究者和开发者可以深入研究和应用。