① 医学图像配准
图像配准时指对一幅图进行一定的的几何变换映射到另一幅图中，使得两幅图像中的相关点达到空间上的一致。
将施加变换的图像定义为浮动图像F，另一幅不动的图像定义为参考图像R，图像配准的本质是寻找一个空间变换T，使得
一般配准的步骤如下：
特征空间
特征空间指从参考图像和浮动图像中提取可用于配准的特征。根据特征可以归纳出两种方法：
搜索空间
搜索空间是指在配准过程中对图像进行变换的范围和方式。
搜索算法
图像配准要在给定搜索空间上寻求相似性测度函数的最优解，搜索算法包括：
相似性度量
传统的基于强度的相似性度量包括平方和距离（sum-of-square distance，SSD）、均方距离（mean square distance， MSD）、归一化互相关（normalized cross correlation，NCC）和互信息（mutual information，MI）。
变换
常用的医学图像配准方法
基于互信息的图像配准
基于傅里叶变换的图像配准
傅里叶变换用于配准的原理：图像的平移不影响傅里叶变换的幅值，旋转相遇对其傅里叶变换做相同的旋转。
基于小波变换的图像配准
对两幅图像的伸缩、旋转、平移等转化为对其作小波分解后，两幅图近似分量的伸缩、旋转、平移。
基于深度学习的图像配准方法可以大致分为以下三类：深度相似性度量+迭代配准、有监督的变换估计和无监督的变换估计。
通过深度学习估计移动图片和基准图片的相似性度量，这个相似性度量会被插入到传统的配准框架内，进行迭代优化。
也有一些方法是基于强化学习方法，让一个被训练过的 agent 来代替优化算法进行配准。基于强化学习的配准通常用于适合刚性变换的模型。
有监督学习需要提供真实的变形场，也就是ground truth，网络输入为图像，输出为变换的参数。流程可以总结如下图。
对于有监督的学习，重要的是对用于网络训练的标签。许多人提出了用于生成变换的数据增强技术，大致可以分为三类：
Miao等人首先提出使用深度学习来预测刚性变换参数。他们使用 CNN 来预测 2D/3D 刚性配准的变换矩阵。他们提出了分层回归，其中六个变换参数被划分为三组，分别为平面内参数（ ），平面外旋转参数（ ）， 平面外平移参数（ ）。网络输入为预定大小的ROI，网络结构是一个包括了卷积和全连接操作的回归器。训练期间要最小化的目标函数是欧几里得损失。
刚性变换需要6个参数来表示，而自由变形需要一个密集的变形向量场。
无监督学习可以很好的解决配准缺少有标签（有已知变换）图像的问题。
2015 年，Jaderberg 等人提出了空间变换网络 (spatial transformer network，STN)，它允许在网络内对数据进行空间操作，而且STN是一个可微分模块，可以插入到现有的 CNN 架构中。 STN 的发布启发了许多无监督的图像配准方法，因为 STN 可以在训练过程中进行图像相似度损失计算。
典型的 DIR（deformation image registration） 无监督变换预测网络以图像对作为输入，直接输出密集 DVF，STN 使用该 DVF 对运动图像进行变换曲。然后将扭曲的图像与固定图像进行比较以计算图像相似度损失。 DVF 平滑约束通常用于正则化预测的 DVF。
利用 GAN 的 discriminator 来进行相似性度量也近些年的一个思路[4]。
GAN 在医学图像配准中的使用通常可以分为两类：