① 醫學圖像配准
圖像配准時指對一幅圖進行一定的的幾何變換映射到另一幅圖中，使得兩幅圖像中的相關點達到空間上的一致。
將施加變換的圖像定義為浮動圖像F，另一幅不動的圖像定義為參考圖像R，圖像配準的本質是尋找一個空間變換T，使得
一般配準的步驟如下：
特徵空間
特徵空間指從參考圖像和浮動圖像中提取可用於配準的特徵。根據特徵可以歸納出兩種方法：
搜索空間
搜索空間是指在配准過程中對圖像進行變換的范圍和方式。
搜索演算法
圖像配准要在給定搜索空間上尋求相似性測度函數的最優解，搜索演算法包括：
相似性度量
傳統的基於強度的相似性度量包括平方和距離（sum-of-square distance，SSD）、均方距離（mean square distance， MSD）、歸一化互相關（normalized cross correlation，NCC）和互信息（mutual information，MI）。
變換
常用的醫學圖像配准方法
基於互信息的圖像配准
基於傅里葉變換的圖像配准
傅里葉變換用於配準的原理：圖像的平移不影響傅里葉變換的幅值，旋轉相遇對其傅里葉變換做相同的旋轉。
基於小波變換的圖像配准
對兩幅圖像的伸縮、旋轉、平移等轉化為對其作小波分解後，兩幅圖近似分量的伸縮、旋轉、平移。
基於深度學習的圖像配准方法可以大致分為以下三類：深度相似性度量+迭代配准、有監督的變換估計和無監督的變換估計。
通過深度學習估計移動圖片和基準圖片的相似性度量，這個相似性度量會被插入到傳統的配准框架內，進行迭代優化。
也有一些方法是基於強化學習方法，讓一個被訓練過的 agent 來代替優化演算法進行配准。基於強化學習的配准通常用於適合剛性變換的模型。
有監督學習需要提供真實的變形場，也就是ground truth，網路輸入為圖像，輸出為變換的參數。流程可以總結如下圖。
對於有監督的學習，重要的是對用於網路訓練的標簽。許多人提出了用於生成變換的數據增強技術，大致可以分為三類：
Miao等人首先提出使用深度學習來預測剛性變換參數。他們使用 CNN 來預測 2D/3D 剛性配準的變換矩陣。他們提出了分層回歸，其中六個變換參數被劃分為三組，分別為平面內參數（ ），平面外旋轉參數（ ）， 平面外平移參數（ ）。網路輸入為預定大小的ROI，網路結構是一個包括了卷積和全連接操作的回歸器。訓練期間要最小化的目標函數是歐幾里得損失。
剛性變換需要6個參數來表示，而自由變形需要一個密集的變形向量場。
無監督學習可以很好的解決配准缺少有標簽（有已知變換）圖像的問題。
2015 年，Jaderberg 等人提出了空間變換網路 (spatial transformer network，STN)，它允許在網路內對數據進行空間操作，而且STN是一個可微分模塊，可以插入到現有的 CNN 架構中。 STN 的發布啟發了許多無監督的圖像配准方法，因為 STN 可以在訓練過程中進行圖像相似度損失計算。
典型的 DIR（deformation image registration） 無監督變換預測網路以圖像對作為輸入，直接輸出密集 DVF，STN 使用該 DVF 對運動圖像進行變換曲。然後將扭曲的圖像與固定圖像進行比較以計算圖像相似度損失。 DVF 平滑約束通常用於正則化預測的 DVF。
利用 GAN 的 discriminator 來進行相似性度量也近些年的一個思路[4]。
GAN 在醫學圖像配准中的使用通常可以分為兩類：