⑴ 小目標檢測相關技巧總結
小目標問題在物體檢測和語義分割等視覺任務中一直是存在的一個難點，小目標的檢測精度通常只有大目標的一半。
CVPR2019論文: Augmentation for small object detection 提到了一些應對小目標檢測的方法，筆者結合這篇論文以及查閱其它資料，對小目標檢測相關技巧在本文進行了部分總結。
小目標的定義： 在MS COCO數據集中，面積小於 32*32 的物體被認為是小物體。
小目標難以檢測的原因： 解析度低，圖像模糊，攜帶的信息少。由此所導致特徵表達能力弱，也就是在提取特徵的過程中，能提取到的特徵非常少，這不利於我們對小目標的檢測。
1、由於小目標面積太小，可以放大圖片後再做檢測，也就是在尺度上做文章，如FPN（Feature Pyramid Networks for Object Detection），SNIP（An Analysis of Scale Invariance in Object Detection – SNIP)。
Feature-Fused SSD: Fast Detection for Small Objects, Detecting Small Objects Using a Channel-Aware Deconvolutional Network 也是在多尺度上做文章的論文。
2、在Anchor上做文章(Faster Rcnn，SSD, FPN都有各自的anchor設計)，anchor在設置方面需要考慮三個因素：
anchor的密度： 由檢測所用feature map的stride決定，這個值與前景閾值密切相關。
anchor的范圍： RetinaNet中是anchor范圍是32~512，這里應根據任務檢測目標的范圍確定，按需調整anchor范圍，或目標變化范圍太大如MS COCO，這時候應採用多尺度測試。
anchor的形狀數量： RetinaNet每個位置預測三尺度三比例共9個形狀的anchor，這樣可以增加anchor的密度，但stride決定這些形狀都是同樣的滑窗步進，需考慮步進會不會太大，如RetinaNet框架前景閾值是0.5時，一般anchor大小是stride的4倍左右。
該部分anchor內容參考於: https://zhuanlan.hu.com/p/55824651
3、在ROI Pooling上做文章，文章SINet: A Scale-Insensitive Convolutional Neural Network for Fast Vehicle Detection 認為小目標在pooling之後會導致物體結構失真，於是提出了新的Context-Aware RoI Pooling方法。
4、用生成對抗網路(GAN)來做小目標檢測：Perceptual Generative Adversarial Networks for Small Object Detection。
1、從COCO上的統計圖可以發現，小目標的個數多，佔到了41.43%，但是含有小目標的圖片只有51.82%，大目標所佔比例為24.24%，但是含有大目標的圖像卻有82.28%。這說明有一半的圖像是不含小目標的，大部分的小目標都集中在一些少量的圖片中。這就導致在訓練的過程中，模型有一半的時間是學習不到小目標的特性的。
此外，對於小目標，平均能夠匹配的anchor數量為1個，平均最大的IoU為0.29，這說明很多情況下，有些小目標是沒有對應的anchor或者對應的anchor非常少的，即使有對應的anchor，他們的IoU也比較小，平均最大的IoU也才0.29。
如上圖，左上角是一個anchor示意圖，右上角是一個小目標所對應的anchor，一共有隻有三個anchor能夠與小目標配對，且配對的IoU也不高。左下角是一個大目標對應的anchor，可以發現有非常多的anchor能夠與其匹配。匹配的anchor數量越多，則此目標被檢出的概率也就越大。
實現方法：
1、Oversampling ：我們通過在訓練期間對這些圖像進行過采樣來解決包含小對象的相對較少圖像的問題（多用這類圖片）。在實驗中，我們改變了過采樣率和研究不僅對小物體檢測而且對檢測中大物體的過采樣效果
2、Copy-Pasting Strategies：將小物體在圖片中復制多分，在保證不影響其他物體的基礎上，增加小物體在圖片中出現的次數（把小目標扣下來貼到原圖中去），提升被anchor包含的概率。
如上圖右下角，本來只有一個小目標，對應的anchor數量為3個，現在將其復制三份，則在圖中就出現了四個小目標，對應的anchor數量也就變成了12個，大大增加了這個小目標被檢出的概率。從而讓模型在訓練的過程中，也能夠有機會得到更多的小目標訓練樣本。
具體的實現方式如下圖：圖中網球和飛碟都是小物體，本來圖中只有一個網球，一個飛碟，通過人工復制的方式，在圖像中復制多份。同時要保證復制後的小物體不能夠覆蓋該原來存在的目標。
網上有人說可以試一下lucid data dreaming Lucid Data Dreaming for Multiple Object Tracking ，這是一種在視頻跟蹤/分割裡面比較有效的數據增強手段，據說對於小目標物體檢測也很有效。
基於無人機拍攝圖片的檢測目前也是個熱門研究點（難點是目標小，密度大）。
相關論文：
The Unmanned Aerial Vehicle Benchmark: Object Detection and Tracking（數據集）
Drone-based Object Counting by Spatially Regularized Regional Proposal Network
Simultaneously Detecting and Counting Dense Vehicles from Drone Images
Vision Meets Drones: A Challenge（數據集）
1: https://zhuanlan.hu.com/p/55824651
2: https://zhuanlan.hu.com/p/57760020
3: https://www.hu.com/question/269877902/answer/548594081
4: https://zhuanlan.hu.com/p/60033229
5: https://arxiv.org/abs/1902.07296
6: http://openaccess.thecvf.com/content_cvpr_2017/papers/Li_Perceptual_Generative_Adversarial_CVPR_2017_paper.pdf
7: http://openaccess.thecvf.com/content_cvpr_2017/papers/Lin_Feature_Pyramid_Networks_CVPR_2017_paper.pdf
⑵ 數據增強的方法有哪些
1 什麼是數據增強？
數據增強也叫數據擴增，意思是在不實質性的增加數據的情況下，讓有限的數據產生等價於更多數據的價值。
比如上圖，第1列是原圖，後面3列是對第1列作一些隨機的裁剪、旋轉操作得來。
每張圖對於網路來說都是不同的輸入，加上原圖就將數據擴充到原來的10倍。假如我們輸入網路的圖片的解析度大小是256×256，若採用隨機裁剪成224×224的方式，那麼一張圖最多可以產生32×32張不同的圖，數據量擴充將近1000倍。雖然許多的圖相似度太高，實際的效果並不等價，但僅僅是這樣簡單的一個操作，效果已經非凡了。
如果再輔助其他的數據增強方法，將獲得更好的多樣性，這就是數據增強的本質。
數據增強可以分為，有監督的數據增強和無監督的數據增強方法。其中有監督的數據增強又可以分為單樣本數據增強和多樣本數據增強方法，無監督的數據增強分為生成新的數據和學習增強策略兩個方向。
2 有監督的數據增強
有監督數據增強，即採用預設的數據變換規則，在已有數據的基礎上進行數據的擴增，包含單樣本數據增強和多樣本數據增強，其中單樣本又包括幾何操作類，顏色變換類。
2.1. 單樣本數據增強
所謂單樣本數據增強，即增強一個樣本的時候，全部圍繞著該樣本本身進行操作，包括幾何變換類，顏色變換類等。
(1) 幾何變換類
幾何變換類即對圖像進行幾何變換，包括翻轉，旋轉，裁剪，變形，縮放等各類操作，下面展示其中的若干個操作。
水平翻轉和垂直翻轉
隨機旋轉
隨機裁剪
變形縮放
翻轉操作和旋轉操作，對於那些對方向不敏感的任務，比如圖像分類，都是很常見的操作，在caffe等框架中翻轉對應的就是mirror操作。
翻轉和旋轉不改變圖像的大小，而裁剪會改變圖像的大小。通常在訓練的時候會採用隨機裁剪的方法，在測試的時候選擇裁剪中間部分或者不裁剪。值得注意的是，在一些競賽中進行模型測試時，一般都是裁剪輸入的多個版本然後將結果進行融合，對預測的改進效果非常明顯。
以上操作都不會產生失真，而縮放變形則是失真的。
很多的時候，網路的訓練輸入大小是固定的，但是數據集中的圖像卻大小不一，此時就可以選擇上面的裁剪成固定大小輸入或者縮放到網路的輸入大小的方案，後者就會產生失真，通常效果比前者差。
(2) 顏色變換類
上面的幾何變換類操作，沒有改變圖像本身的內容，它可能是選擇了圖像的一部分或者對像素進行了重分布。如果要改變圖像本身的內容，就屬於顏色變換類的數據增強了，常見的包括雜訊、模糊、顏色變換、擦除、填充等等。
基於雜訊的數據增強就是在原來的圖片的基礎上，隨機疊加一些雜訊，最常見的做法就是高斯雜訊。更復雜一點的就是在面積大小可選定、位置隨機的矩形區域上丟棄像素產生黑色矩形塊，從而產生一些彩色雜訊，以Coarse Dropout方法為代表，甚至還可以對圖片上隨機選取一塊區域並擦除圖像信息。
添加Coarse Dropout雜訊
顏色變換的另一個重要變換是顏色擾動，就是在某一個顏色空間通過增加或減少某些顏色分量，或者更改顏色通道的順序。
顏色擾動
還有一些顏色變換，本文就不再詳述。
幾何變換類，顏色變換類的數據增強方法細致數還有非常多，推薦給大家一個git項目：
https://github.com/aleju/imgaug
預覽一下它能完成的數據增強操作吧。
2.2. 多樣本數據增強
不同於單樣本數據增強，多樣本數據增強方法利用多個樣本來產生新的樣本，下面介紹幾種方法。
(1) SMOTE[1]
SMOTE即Synthetic Minority Over-sampling Technique方法，它是通過人工合成新樣本來處理樣本不平衡問題，從而提升分類器性能。
類不平衡現象是很常見的，它指的是數據集中各類別數量不近似相等。如果樣本類別之間相差很大，會影響分類器的分類效果。假設小樣本數據數量極少，如僅占總體的1%，則即使小樣本被錯誤地全部識別為大樣本，在經驗風險最小化策略下的分類器識別准確率仍能達到99%，但由於沒有學習到小樣本的特徵，實際分類效果就會很差。
SMOTE方法是基於插值的方法，它可以為小樣本類合成新的樣本，主要流程為：
第一步，定義好特徵空間，將每個樣本對應到特徵空間中的某一點，根據樣本不平衡比例確定好一個采樣倍率N；
第二步，對每一個小樣本類樣本(x,y)，按歐氏距離找出K個最近鄰樣本，從中隨機選取一個樣本點，假設選擇的近鄰點為(xn,yn)。在特徵空間中樣本點與最近鄰樣本點的連線段上隨機選取一點作為新樣本點，滿足以下公式：
第三步，重復以上的步驟，直到大、小樣本數量平衡。
該方法的示意圖如下。
在python中，SMOTE演算法已經封裝到了imbalanced-learn庫中，如下圖為演算法實現的數據增強的實例，左圖為原始數據特徵空間圖，右圖為SMOTE演算法處理後的特徵空間圖。
(2) SamplePairing[2]
SamplePairing方法的原理非常簡單，從訓練集中隨機抽取兩張圖片分別經過基礎數據增強操作(如隨機翻轉等)處理後經像素以取平均值的形式疊加合成一個新的樣本，標簽為原樣本標簽中的一種。這兩張圖片甚至不限制為同一類別，這種方法對於醫學圖像比較有效。
經SamplePairing處理後可使訓練集的規模從N擴增到N×N。實驗結果表明，因SamplePairing數據增強操作可能引入不同標簽的訓練樣本，導致在各數據集上使用SamplePairing訓練的誤差明顯增加，而在驗證集上誤差則有較大幅度降低。
盡管SamplePairing思路簡單，性能上提升效果可觀，符合奧卡姆剃刀原理，但遺憾的是可解釋性不強。
(3) mixup[3]
mixup是Facebook人工智慧研究院和MIT在「Beyond Empirical Risk Minimization」中提出的基於鄰域風險最小化原則的數據增強方法，它使用線性插值得到新樣本數據。
令(xn,yn)是插值生成的新數據，(xi,yi)和(xj,yj)是訓練集隨機選取的兩個數據，則數據生成方式如下
λ的取值范圍介於0到1。提出mixup方法的作者們做了豐富的實驗，實驗結果表明可以改進深度學習模型在ImageNet數據集、CIFAR數據集、語音數據集和表格數據集中的泛化誤差，降低模型對已損壞標簽的記憶，增強模型對對抗樣本的魯棒性和訓練生成對抗網路的穩定性。
SMOTE，SamplePairing，mixup三者思路上有相同之處，都是試圖將離散樣本點連續化來擬合真實樣本分布，不過所增加的樣本點在特徵空間中仍位於已知小樣本點所圍成的區域內。如果能夠在給定范圍之外適當插值，也許能實現更好的數據增強效果。
3 無監督的數據增強
無監督的數據增強方法包括兩類：
(1) 通過模型學習數據的分布，隨機生成與訓練數據集分布一致的圖片，代表方法GAN[4]。
(2) 通過模型，學習出適合當前任務的數據增強方法，代表方法AutoAugment[5]。
3.1 GAN
關於GAN(generative adversarial networks)，我們已經說的太多了。它包含兩個網路，一個是生成網路，一個是對抗網路，基本原理如下：
(1) G是一個生成圖片的網路，它接收隨機的雜訊z，通過雜訊生成圖片，記做G(z) 。
(2) D是一個判別網路，判別一張圖片是不是「真實的」，即是真實的圖片，還是由G生成的圖片。
GAN的以假亂真能力就不多說了。
2 Autoaugmentation[5]
AutoAugment是Google提出的自動選擇最優數據增強方案的研究，這是無監督數據增強的重要研究方向。它的基本思路是使用增強學習從數據本身尋找最佳圖像變換策略，對於不同的任務學習不同的增強方法，流程如下：
(1) 准備16個常用的數據增強操作。
(2) 從16個中選擇5個操作，隨機產生使用該操作的概率和相應的幅度，將其稱為一個sub-policy，一共產生5個sub-polices。
(3) 對訓練過程中每一個batch的圖片，隨機採用5個sub-polices操作中的一種。
(4) 通過模型在驗證集上的泛化能力來反饋，使用的優化方法是增強學習方法。
(5) 經過80~100個epoch後網路開始學習到有效的sub-policies。
(6) 之後串接這5個sub-policies，然後再進行最後的訓練。
總的來說，就是學習已有數據增強的組合策略，對於門牌數字識別等任務，研究表明剪切和平移等幾何變換能夠獲得最佳效果。
⑶ 詳細解讀TPH-YOLOv5 | 讓目標檢測任務中的小目標無處遁形
1 簡介
針對無人機捕獲場景的目標檢測是最近比較流行的一項任務。由於無人機在不同高度飛行，目標尺度變化較大，這樣給模型的優化也帶來了很大的負擔。此外，在無人機進行高速低空飛行時，也會帶來密集目標的運動模糊問題。
圖1 小目標與密集問題
為了解決上述2個問題，本文提出了 TPH-YOLOv5 。 TPH-YOLOv5 在YOLOv5的基礎上增加了一個prediction heads 來檢測不同尺度的目標。然後通過探索Self-Attention的預測潛力使用了Transformer Prediction Heads(TPH)代侍戚野替原來的prediction heads。同時作者還集成了卷積塊Attention模型(CBAM)來尋找密集場景下的注意力區域。
為了進一步改進 TPH-YOLOv5 ，作者還提供了大量有用的策略，如數據增強、多尺度測試、多模型集成和使用額外的分類器。
在VisDrone2021數據集上的大量實驗表明，TPH-YOLOv5在無人機捕獲場景上具有良好的性能和可解釋性。在DET-test-challenge數據集上，TPH-YOLOv5的AP結果為39.18%，比之前的SOTA方法(DPNetV3)提高了1.81%。在VisDrone Challenge 2021中，TPH-YOLOv5與YOLOv5相比提高了約7%。
本文的貢獻如下:
2 前人工作總結 2.1 Data Augmentation
數據增強的意義主要是擴展數據集，使模型對不同環境下獲得的圖像具有較高的魯棒性。
Photometric和geometric被研究人員廣泛使用。對於Photometric主要是對圖像的色相、飽和度和值進行了調整。在處理geometric時主要是添加隨機縮放、裁剪、平移、剪切和旋轉。
除了上述的全局像素增強方法外，還有一些比較獨特的數據增強方法。一些研究者提出了將多幅圖像結合在一起進行數據增強的方法，如MixUp、CutMix和Mosaic。
MixUp從訓練圖像中隨機選取2個樣本進行隨機加權求和，樣本的標簽也對應於加權求和。不同於通常使用零像素mask遮擋圖像的遮擋工作，CutMix使用另一個圖像的區域覆蓋被遮擋的區域。Mosaic是CutMix的改進版。拼接4幅圖像，極大地豐富了被檢仔型測物體的背景。此外，batch normalization計算每層上4張不同圖像的激活統計量。
在TPH-YOLOv5的工作中主要是結合了MixUp、Mosaic以及傳統方法進行的數據增強。
2.2 Multi-Model Ensemble Method
我們都知道深度學習模型是一種非線性方法。它們提供了更大的靈活性，並可以根據訓練數據量的比例進行擴展。這種靈活性的一個缺點是，它們通過隨機訓練演算法進行學習，這意味著它們對訓練數據的細節非常敏感，每次訓練時可能會得到一組不同的權重，從而導致不同的預測。 這給模型帶來了一個高方差 。
減少模型方差的一個成功方法是訓練多個模型而不是單一模型，並結合這些模老喊型的預測。
針對不同的目標檢測模型，有3種不同的ensemble boxes方法:非最大抑制(NMS)、Soft-NMS、Weighted Boxes Fusion(WBF)。
在NMS方法中，如果boxes的overlap, Intersection Over Union(IoU)大於某個閾值，則認為它們屬於同一個對象。對於每個目標NMS只留下一個置信度最高的box刪除其他box。因此，box過濾過程依賴於這個單一IoU閾值的選擇，這對模型性能有很大的影響。
Soft-NMS是對NMS進行輕微的修改，使得Soft-NMS在標准基準數據集(如PASCAL VOC和MS COCO)上比傳統NMS有了明顯的改進。它根據IoU值對相鄰邊界box的置信度設置衰減函數，而不是完全將其置信度評分設為0並將其刪除。
WBF的工作原理與NMS不同。NMS和Soft-NMS都排除了一些框，而WBF將所有框合並形成最終結果。因此，它可以解決模型中所有不準確的預測。本文使用WBF對最終模型進行集成，其性能明顯優於NMS。
2.3 Object Detection
基於CNN的物體檢測器可分為多種類型:
一些檢測器是專門為無人機捕獲的圖像設計的，如RRNet、PENet、CenterNet等。但從組件的角度來看，它們通常由2部分組成，一是基於CNN的主幹，用於圖像特徵提取，另一部分是檢測頭，用於預測目標的類和Box。
此外，近年來發展起來的目標檢測器往往在backbone和head之間插入一些層，人們通常稱這部分為檢測器的Neck。接下來分別對這3種結構進行詳細介紹：
Backbone
常用的Backbone包括VGG、ResNet、DenseNet、MobileNet、EfficientNet、CSPDarknet53、Swin-Transformer等，均不是自己設計的網路。因為這些網路已經證明它們在分類和其他問題上有很強的特徵提取能力。但研究人員也將微調Backbone，使其更適合特定的垂直任務。
Neck
Neck的設計是為了更好地利用Backbone提取的特徵。對Backbone提取的特徵圖進行不同階段的再處理和合理使用。通常，一個Neck由幾個自底向上的路徑和幾個自頂向下的路徑組成。Neck是目標檢測框架中的關鍵環節。最早的Neck是使用上下取樣塊。該方法的特點是沒有特徵層聚合操作，如SSD，直接跟隨頭部後的多層次特徵圖。
常用的Neck聚合塊有：FPN、PANet、NAS-FPN、BiFPN、ASFF、SAM。這些方法的共性是反復使用各種上下采樣、拼接、點和或點積來設計聚合策略。Neck也有一些額外的塊，如SPP, ASPP, RFB, CBAM。
Head
作為一個分類網路，Backbone無法完成定位任務，Head負責通過Backbone提取的特徵圖檢測目標的位置和類別。
Head一般分為2種：One-Stage檢測器和Two-Stage檢測器。
兩級檢測器一直是目標檢測領域的主導方法，其中最具代表性的是RCNN系列。與Two-Stage檢測器相比One-Stage檢測器同時預測box和目標的類別。One-Stage檢測器的速度優勢明顯，但精度較低。對於One-Stage檢測器，最具代表性的型號是YOLO系列、SSD和RetaNet。
3TPH-YOLOv53.1 Overview of YOLOv5
YOLOv5有4種不同的配置，包括YOLOv5s，YOLOv5m, YOLOv5l和YOLOv5x。一般情況下，YOLOv5分別使用CSPDarknet53+SPP為Backbone，PANet為Neck, YOLO檢測Head。為了進一步優化整個架構。由於它是最顯著和最方便的One-Stage檢測器，作者選擇它作為Baseline。
圖2 THP-YOLOv5整體架構
當使用VisDrone2021數據集訓練模型時，使用數據增強策略(Mosaic和MixUp)發現YOLOv5x的結果遠遠好於YOLOv5s、YOLOv5m和YOLOv5l, AP值的差距大於1.5%。雖然YOLOv5x模型的訓練計算成本比其他3種模型都要高，但仍然選擇使用YOLOv5x來追求最好的檢測性能。此外，根據無人機捕獲圖像的特點，對常用的photometric和geometric參數進行了調整。
3.2 TPH-YOLOv5
TPH-YOLOv5的框架如圖3所示。修改了原來的YOLOv5，使其專一於VisDrone2021數據集：
圖3 TPH-YOLOv5模型結構 微小物體的預測頭
作者統計了VisDrone2021數據集，發現它包含了很多非常小的目標，所以增加了一個用於微小物體檢測的預測頭。結合其他3個預測頭，4頭結構可以緩解劇烈的目標尺度變化帶來的負面影響。如圖3所示，添加的預測頭(Head 1)是由low-level、高解析度的feature map生成的，對微小物體更加敏感。增加檢測頭後，雖然增加了計算和存儲成本，但對微小物體的檢測性能得到了很大的提高。
Transformer encoder block
圖4 Transformer Block
用Transformer encoder塊替換了YOLOv5原版中的一些卷積塊和CSP bottleneck blocks。其結構如圖4所示。與CSPDarknet53中原有的bottleneck blocks相比，作者認為Transformer encoder block可以捕獲全局信息和豐富的上下文信息。
每個Transformer encoder block包含2個子層。第1子層為multi-head attention layer，第2子層(MLP)為全連接層。每個子層之間使用殘差連接。Transformer encoder block增加了捕獲不同局部信息的能力。它還可以利用自注意力機制來挖掘特徵表徵潛能。在VisDrone2021數據集中，Transformer encoder block在高密度閉塞對象上有更好的性能。
基於YOLOv5，作者只在頭部部分應用Transformer encoder block形成transformer Prediction head(TPH)和backbone端。因為網路末端的特徵圖解析度較低。將TPH應用於低解析度特徵圖可以降低計算和存儲成本。此外，當放大輸入圖像的解析度時可選擇去除早期層的一些TPH塊，以使訓練過程可用。
Convolutional block attention mole (CBAM)
CBAM是一個簡單但有效的注意力模塊。它是一個輕量級模塊，可以即插即用到CNN架構中，並且可以以端到端方式進行訓練。給定一個特徵映射，CBAM將沿著通道和空間兩個獨立維度依次推斷出注意力映射，然後將注意力映射與輸入特徵映射相乘，以執行自適應特徵細化。
圖5 CBAM注意力機制
CBAM模塊的結構如圖5所示。通過本文的實驗，在不同的分類和檢測數據集上將CBAM集成到不同的模型中，模型的性能得到了很大的提高，證明了該模塊的有效性。
在無人機捕獲的圖像中，大覆蓋區域總是包含令人困惑的地理元素。使用CBAM可以提取注意區域，以幫助TPH-YOLOv5抵制令人困惑的信息，並關注有用的目標對象。
Self-trained classifier
用TPH-YOLOv5對VisDrone2021數據集進行訓練後，對test-dev數據集進行測試，然後通過可視化失敗案例分析結果，得出TPH-YOLOv5定位能力較好，分類能力較差的結論。作者進一步探索如圖6所示的混淆矩陣，觀察到一些硬類別，如三輪車和遮陽三輪車的精度非常低。
圖6 檢測混淆矩陣
因此，作者提出了一個Self-trained classifier。首先，通過裁剪ground-truth邊界框並將每個圖像patch的大小調整為64 64來構建訓練集。然後選擇ResNet18作為分類器網路。實驗結果表明，在這個Self-trained classifier的幫助下，所提方法對AP值提高了約0.8%~1.0%。
4實驗與結論
最終在test-set-challenge上取得了39.18的好成績，遠遠高於VisDrone2020的最高成績37.37。
圖9 檢測結果圖