單目標跟蹤（SOT）領域主要關注如何在訓練集中未出現的目標上持續跟蹤。主流方法有兩種：判別式跟蹤和生成式跟蹤。判別式跟蹤通過在線刻畫樣本特徵，利用參數化的機制區分前景與背景，並能在線更新，如CF通過移動平均或finetune-based通過反向傳播。生成式跟蹤在離線階段構建泛化性強的嵌入空間，基於某種相似度度量構建。從元學習的角度看，前者可視為參數化的回歸模型，而後者是非參數化的最近鄰分類模型。近來，研究整合兩者，例如在孿生網路中加入優化和參數化模型，如DROL、MLT和GradNet。
多目標跟蹤（MOT）領域著重解決在已知ID的目標下，如何處理數據關聯問題。關聯問題通常有多種解決方式，如貪心演算法、基於巴氏圖匹配的匈牙利演算法或最大流/最小割問題。MOT中的運動模型和外觀模型等是輔助解決關聯問題的關鍵組件。傳統跟蹤檢測框架需要基於檢測結果，通常是級聯或兩階段形式，通過幀間矩形框的重合度或外觀相似度減少ID混淆。近年來，聯合跟蹤檢測框架如JDE、D&T、FFT和CenterTrack等，通過端到端學習同時檢測和跟蹤，Tractor++則通過回歸器簡化數據關聯步驟。
SOT領域關注如何將MOT中的基於匹配的離線訓練ReID模型轉換為通過梯度下降或參數預測的在線訓練判別模型。SiameseNet在匹配學習方面與MOT相似，但默認採用離線訓練的純匹配方式。DiMP近期的成功在於利用梯度下降作為元信息的設計思路，與特徵一起參與訓練，有效地彌補了端到端的差距，顯示出非常有前景的效果。參數預測則通過引入可權重調整的機制，如使用梯度或統計信息更新特徵（MLT、TADT、GradNet、CLNet），實現當前參數在新類別的領域遷移。
SOT、MOT和視頻目標檢測（VOD）都是視頻級別的對象檢測問題。VOD是對單一對象檢測任務的擴展，加入了時間序列信息；單目標跟蹤類似於視頻級別的對象搜索（少量樣本對象檢測）任務，強調對新類別的遷移；多目標跟蹤則可以視為視頻級別的實例檢測問題，需要解決幀間ID匹配的需求。在處理上，單目標跟蹤通常在局部區域進行操作，而多目標跟蹤則涉及全圖操作。近期，如Siam RCNN、UnifiedDet和GlobalTrack將單目標跟蹤視為全局條件檢測，預示著這兩個問題將更加緊密。
在強調領域，common和general對象的區別在於，identity和類別被視為兩個獨立的軸。訓練數據與測試數據之間的gap較小，著重於身份的遷移。而在few-shot學習中，強調對新類別的遷移。SOT在解決時通常將同一類別的不同身份視為不同的類別進行處理，本質上是投影到類別軸上，進行少量樣本的遷移學習。在處理identity適應訓練和測試時，僅提供檢索的正樣本，缺乏額外標簽信息，適用於ReID場景，因此更適合1-way-N-shot的基於度量的學習模型。而在few-shot學習的M-way-N-shot設置下，訓練集中提供了M個類的標簽信息，可以預先學習判別模型；使用KNN等懶學習方式忽略標簽信息，僅記憶元訓練信息，這將導致判別能力顯著下降。
㈡ SOT入門之Siam系列（二）：SiamFC++
前言
本文將深入探討一種基於SiamFC的新型孿生網路SiamFC++，它是2020年AAAI上發表的最新研究。SiamFC++在原有基礎上，針對目標跟蹤問題，提出了四項指導原則，旨在優化網路結構以實現更高效、更准確的跟蹤性能。接下來，我們將從新手角度解析該論文的核心內容。
主要內容
在介紹SiamFC++之前，作者首先提出了四項關鍵指導原則，以指導網路設計與優化。
1. 跟蹤任務分為兩個核心子任務：分類與位置精確估計。分類分支有助於提升模型的判別性，位置估計分支則確保目標定位的精度。
2. 分類與位置估計使用的特徵圖應分開處理，避免直接將分類特徵圖用於位置估計，以防止定位精度下降。
3. 在Siam匹配過程中，使用原始模板而非預設anchors，以保持模型的判別性。SiamFC++的性能雖略低於SiamRPN++，但在其他測試指標上表現更優，作者認為這是由於anchors與模板間的差異導致的魯棒性問題。
4. 避免加入數據分布的先驗知識，如尺度變換等，以確保模型具有更廣泛的通用性。
根據上述原則，SiamFC++的網路結構被設計得簡單而直觀。首先，使用統一的特徵提取網路（如AlexNet或Google Net）生成特徵圖，隨後進行分類與位置回歸的互相關操作，遵循指導原則的第一點。
接著，網路採用兩個頭操作，分別處理分類得分與位置回歸分數。為了平衡分類得分與目標位置的關系，引入了質量評分，將其與預測分數相乘，從而得到最終的選擇框得分。作者提出了兩種質量評分計算方法：PSS*得分與IOU得分。
在訓練過程中，採用不同的損失函數：PSS loss用於位置回歸分支，Focal loss用於分類分支，BCE損失用於質量分支，確保模型在多個方面得到優化。
總結
SiamFC++在原有SiamFC的基礎上，通過添加位置回歸和質量分數，結合多種損失函數聯合訓練，顯著提升了跟蹤性能。該論文不僅提供了高效的學習資源，還開源了相關代碼，使得感興趣的研究者和開發者可以深入研究和應用。