眼底照片读取的研究方法

㈠ 【眼底图像项目经验】眼底图像疾病的分类，病灶区域的分割

       在临床医学上，眼科医生依据眼底疾病患者的眼底彩照图像进行详细的筛查与诊断并给出具体的治疗方案。然而，由于每位眼科医生的临床诊断经验存在差异，这将会严重影响人工诊断的效率与效果。甚至，有些地域受限于当地医疗资源，病理性高度近视患者无法得到及时的诊疗，容易造成不可挽回的人眼视力损伤和失明。因此，本文通过运用数字图像处理、计算机视觉以及深度学习等领域的方法，致力于对患者的眼底彩照图像进行精确的处理和实现疾病的自动诊断。 本文研究内容可概括为以下三个方面内容：

     （1）高度近视病变程度的分级。该部分提出了基于“重组通道网络基本单元”的“多重组通道基本单元网络”方法。首先，对“重组通道网络”和“重组通道网络”的重组通道基本单元进行实验并分析其性能；其次，借鉴了机器学习Bagging算法的思想（类似随机森林，Random Forest,简称RF)，组合了“重组通道网络”三个基本单元作为“多重组通道基本单元网络”，其中每个基本单元作为独立的网络分支；最后，根据的每个网络分支的预测结果进行投票，票数多的类别即为“多重组通道基本单元网络”的预测类别。

     （2）眼底图像优化算法的开发。该部分提出了基于数字图像BGR信息来优化眼底图像相关影响因素的算法。在该算法中，首先，通过分析多组质量较好和质量较差的病理性高度近视眼底图像的灰度亮度直方图，分析不同颜色通道图像的亮度、对比度、颜色均衡等参数的差别；接着，提出了亮度空间变换公式，运用该公式改变不同颜色通道图像的亮度、对比度、颜色均衡等参数以达图像优化的效果。

     （3）病理性高度近视病灶区域的分割。考虑到仅仅预测得到高度近视病变的严重程度的类别往往是不够的，能够准确的分割相关病变区域更加重要，为此该部分提出了Vnet-FPN网络的分割方法。首先，研究Vnet网络和FPN网络的构架。接着，设计Vnet-FPN网络；最后，在原始和图像优化算法优化后的数两个据集上进行实验，综合分析网络对眼底病灶区域的分割性能。

      本文的研究内容能够辅助眼科医生对高度近视病变的诊断与治疗，对于深度学习与医疗技术结合的工程落地具有十分重要的意义。

       目前，眼底检查主要通过医生利用检眼镜、眼底荧光造影、眼底相机成像以及光学相干层成像等方式来进行人工检查。利用眼底相机采集到的眼底彩照图像会呈现视网膜上主要组织结构，如图1-1所示。由图1-1可知在眼底彩照图像中，血管（Vessel）在视网膜上分布最广且呈现为暗红色的网状结构，其和视觉神经纤维从视神经盘（Optic Disc）区域进入视网膜（Retina）。从图中可见，视神经盘通常呈现为边界较为清晰、亮度较高的圆盘状结构。此外，眼底图像中部颜色较深的区域称为黄斑区（Macula Lutea），黄斑区呈椭圆形凹陷，其凹陷的中心称为中央凹（Fovea）。中央凹是人眼视力最为敏感的区域，一旦该区域发生病变，视力将受到严重影响。

       鉴于目前在此高度近视分类问题的研究工作非常匮乏，为此主要借鉴糖尿病视网膜病变（Diabetic Retinopathy，DR）严重程度的分类的研究方法。在DR的分类研究中，主要有两种分类标准，分别为二分类标准和三分类标准。

       在二分类问题中，研究者把彩色眼底图像分为非DR和 DR 两类。Gardner 等人[4]使用图像的像素强度值作为特征，通过训练神经网络进行分类。Roychowdhury[5]等人提出了一种包含两步的层次分类的方法，该方法综合利用了高斯混合模型（Gaussian Mixture Model，GMM）、k 近邻分类器（k-Nearest Neighbor，kNN）、支持向量机（Support Vector Machine，SVM）以及AdaBoost 四种机器学习算法来训练分类器。Priya[6]等人首先提取了血管、眼底出血和渗出物等几个生物损伤的特征，然后把这些特征分别输入三个分类模型进行训练，即概率神经网络 （Probabilistic Neural Network，PNN）、贝叶斯分类器（Bayesian Classifier）和支持向量机（Support vector machine，SVM）。在三分类问题中，研究者通常把彩色眼底图像分类为非 DR、非增生性 DR 和增生性DR 三类。Nayak[7]等人通过提取渗出物的面积以及血管的面积和纹理特征，然后使用这些特征训练神经网络的方法。

       从上述研究方法可知目前国内外关于眼底彩照图像的疾病分类的研究方法大多数是通过提取图像低层的视觉特征（如图像的像素值、纹理、对比度等），或者眼底出血、渗出物等与糖尿病视网膜病变相关的生物损伤或者血管等局部的特征，然后利用不同的机器学习算法对图片进行分类。这些方法的性能很大程度上决定于手工设计的特征的有效性。相对于二分类，多分类问题的分类标准更加精细，对某些类别的视网膜病变分类往往需要考虑非常细微的特征，因此多分类问题更加复杂。

（1）高度近视的豹纹状眼底

      一般情况下，患有高度近视的眼底图像具有相对明显的豹纹状眼底（tessellated funs）。豹纹状眼底主要是由于高度近视疾病导致人眼眼轴延长，视网膜血管离开视盘后即变细、变直，加之脉络毛细血管的改变，造成了视网膜色素上皮层的营养障碍，致使浅层色素减少或消失。这样暴露的脉络膜红色血管与血管网之间的褐色色素就交错形成了所谓的豹纹状眼底，图清晰展现了高度近视的豹纹状眼底。石一宁[20]等对154人41岁以上高度近视眼人群进行研究，发现非病理学性改变占 45.5%,其中豹纹状眼底占33.8%。而当眼轴明显延长、屈光度更高时，可增至90%-100%。尤以后极部较为显着，豹纹状眼底随近视的屈光度逐渐加深而更加明显。

      由于豹纹状眼底与年龄有一定关系，即年龄愈大豹纹状眼底愈显着。为此本章定义高度近视性的豹纹状眼底须同时满足如下两个条件：

      1）黄斑附近可见明显的豹纹状改变（黄斑区豹纹状眼底面积>1/2）

      2）血管弓处可见明显的豹纹状改变（血管弓豹纹状眼底面积>1/2）

（2） 病理性高度近视的病变特征

       高度近视是眼底病变种较为常见并且高发的，高度近视导致了很多病灶，比如近视性黄斑病变、豹纹状眼底、弥漫性视网膜脉络膜萎缩、斑块状视网膜脉络膜萎缩、黄斑萎缩、漆裂样纹、脉络膜新生血管、Fuch's 斑、后巩膜葡萄肿等病理性病变。本文主要研究较为常见的斑块状视网膜脉络膜萎缩、黄斑萎缩，其他病灶未进行研究。我们主要对这两类病灶进行简要介绍，如下所示：

[if !supportLists](1)  [endif]斑片状脉络膜视网膜萎缩。黄斑或视盘周围边界清晰的灰白色病灶，仅有近视狐没有豹纹状眼底的不算做此类病变。如下图2-3所示：

     （2）黄斑萎缩。黄斑萎缩是一种边界清楚的圆形脉络膜视网膜萎缩病灶，呈灰白色或白色，周围出现退化的纤维血管膜，并随时间增大。黄斑萎缩必须与斑片状视网膜萎缩区分开来，但是患者一般又同时具有患有这两种病灶。通常，黄斑萎缩以中心凹为中心（并非萎缩区域的几何中心，事实上只要萎缩涉及中心凹区域既认定为此萎缩区域），呈圆形，而斑片状视网膜萎缩不以中央凹为中心，边缘不规则。图2-4所示为黄斑萎缩又存在斑片状脉络膜视网膜萎缩的眼底图像。

       我们使用网络竞赛方提供的高度近视病变类别标签的数据集对本章所提出的多重组通道基本单元网络进行分类性能评估，并且同“重组通道网络”、“重组通道网络”的重组通道基本单元两个网络进行了分类性能的比较。该数据集共含有超过1009张彩色眼底图像。我们使用按类别分层抽样的方法把数据集划分成了我们在实验中使用的800张训练集、100张验证集和109张测试集。

       在本节接下来的部分，我们将分别从眼底图像数据预处理和数据增广、网络实现及参数设置和实验结果与分析四个方面依次展开论述。

（1）数据预处理与数据增广

1）数据预处理

       基于深度卷积神经网络的训练特性，如果不处理数据集中存在的一些问题，将严重影响所训练网络的性能，为此我们对数据集进行了如图所示的预处理。

        (1)截取眼底图像感兴趣区域。由于该数据集是在不同医院在不同环境下和不同设备的情况下眼科医务人员所采集的，存在图像大小不一致并且含有一大块的黑色边界背景区域如图a）所示，并且这些区域对于图片的分类没有任何帮助，甚至会严重降低网络的分类性能，因此我们对多余的背景区域进行了去除的操作并保留眼底区域部分，结果如图b）所示。由于图像不是呈矩形像素分布，根据分类网络输入结构要求，防止图像经过网络输入改变图像大小的Resize操作后发生变形，我们对非矩形眼底图像扩黑边，以解决图像信息丢失的问题。

     （2）眼底图像尺寸调整。原始数据集的图像大小在1444*1444左右，该尺寸对于网络来说太大，由此根据现阶段深度学习算法对图像大小对分类网络的性能影响的经验，我们最终在网络的训练过程中把图像的尺寸大小调整为256*256，主要原因有以下两点：第一，图像尺寸过小容易导致图像不同类别之间的特征信息的损失，从而不利于网络对具有分类特征的区域进行特征学习；第二，考虑到本文研究所采用的GPU显存及处理能力，如果图像尺寸太大则不利于深度卷积神经网络的训练。

2）数据扩增

相对于自然场景图像的分类问题，本章所使用到的高度近视病变分类的数据集明显规模较小，为了避免训练网络出现过拟合（Over-fitting）现象，在训练的过程中我们采用了以下几个方面的在线数据增广（Online Data Augmentation）方法：

      （1）翻转（Flipping）。随机地对眼底彩照图像进行水平翻转、垂直翻转，水平垂直翻转。

      （2）对比度和亮度的调整（Contrast Adjustment）。本文主要采用按像素的方改变图像对比度和亮度，公式如下:

                           g(x)=αf(x)+β

      其中α调节对比度， β调节亮度。本文分类设置α和β为随机0.8-1.0区间内

选取的随机数。

（3）旋转（Rotation）。在 0°至15°之间随机地选择一个偏移角度对图像进行旋转操作。

（4）剪切（Cropping）。随机地选择一个偏移量（Offset），例如，原始图像大小1024*1024，偏移量的取值范围为[0, 128]，则把1444*]1444的图片剪切为1316*1316。

       实践经典的分类网络Resnet、Densenet、ShuffleNetV2等分类网络。

       在前面几章中，对高度近视病变严重程度的自动分类和眼底彩照图像的优化算法进行了详细的叙述。在高度近视病变分类中，我们使用了一种基于Bagging思想的多重组网络的方法；在眼底图像优化算法中，我们则提出了基于图像空间变换方法的眼底图像优化算法。

       在实际的高度近视疾病的计算机辅助诊断(Computer-Aided Diagnosis)系统中，只预测到高度近视病变严重程度，对眼科医生提供的辅助诊断信息显然还不够。为此，在获取病理性高度近视的眼底图像后，需要再对病变区域进行分割，供医生进一步确认患者病情，这将很大程度上增加高度近视诊断的效率和精确度，为大规模的高度近视病变筛查提供可行的措施。因此，本章进行了多尺度融合条件下的高度近视病变区域的分割工作，具体来说，在知道眼底图像高度近视病变严重程度的情况下，用优化算法处理病理性高度近视的眼底图像，再用本章的方法对其中的病变区域进行自动的分割。

         如前文所述，高度近视病变区域的精确分割对高度近视患者的诊断与治疗具有重要的意义。如果按目前眼底彩照图像病灶分割的主流方法，其几个步骤如下：眼底图像预处理，高度近视病灶区域候选集的提取，病灶特征提取与分类以及眼底图像后处理。这些方法通过人工预先构造的特征再结合几种较为常见的机器学习算法（Machine-Learning Algorithms），比如支持向量机（Support Vector Machine ，SVM），k均值聚类算法（k-means clustering algorithm，K-Means）等方法，进行病灶区域的分割。本章采用了深度学习的分割方法，降低了数据预处理的难度，但由于深度卷积神经网络需要较多的图像数据，我们对进行了一定程度上的数据增广，以此来扩增数据集。

      经过第二章的高度近视病变严重程度的分类后，我们需要针对病理性高度近视进行图像质量评测并筛选，即人工人工筛选过滤了质量较差的图像，最终一共得到350左右张质量正常的病理性高度近视眼底彩照图像作为数据集。进行该步骤主要是由于眼底彩照图像采集时可能出现聚焦失败导致曝光不足、环境光照变化导致过度曝光等一系列问题，这些图像大部分达不到正常的临床要求，如图 所示。

        对于上述的Vnet网络和Vnet-FPN网络是在相同的初始化方法的基础上从头开始训练的。本章数据集含有400张图像，其中训练集、测试集各300张，验证集100张，测试集100张。本章选择了评测医学图像处理算法的性能时经常使用的评测指标Dice、TPR、PPV作为网络的评测指标，其实都是算它分割方法预测的区域跟金标准（ground truth）区域重合的部分的比例。

       Dice是一个相似性指数，就是分割算法结果与金标准的结果之间的重叠区域（Overlap Area）除以他们两个区域的一个平均：

      本文所使用到的病理性高度近视病变的数据集，数据规模比较小。因此，在网络训练时，为了避免过拟合（Over-fitting），我们主要对数据集进行预处理，即在网络训练过程中实时实践以下一些数据增广的方法：

      （1）翻转（Flipping）。实验经验表明，眼底彩照图像水平翻转相对于垂直翻转更为有效，为此本文采用水平翻转的数据扩增方法。

      （2）图像亮度的调整（Contrast Adjustment）。本文主要采用按像素的方改变图像亮度，根据随机生成的亮度值叠加到原眼底图像中。

      （3）旋转（Rotation）和尺度变换（Scale）。在5°至15°之间随机地选择一个角度对图像进行旋转操作和对眼底彩照图像坐标做scale，相当于对图像做缩放。

      （4）高斯滤波（Gaussian filter）。高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。通俗的讲，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。

    左中右分别为标签可视化，Vnet分割结果和Vnet-FPN分割结果。

㈡ 清晰眼世界眼底照相机检查是什么怎么样

挺好，检查的很仔细，清晰眼世界的眼底照相机是对眼底大范围的视网膜放大成像及视网膜荧光素血管照相。

㈢ 眼底照片怎么看

正常情况下，对眼底的视网膜都会反射出红光。多以对眼底拍照都是红色的主要看视网膜的表面情况如果没有红光，可能是没对准视网膜（这个应该是最常见的原因），还有可能就是视网膜完全坏死不会反光了

㈣ 眼底造影检查是怎样的

眼底荧光造影检查是一种用来检查患者的眼底变化的检查。这是糖尿病性视网膜病变诊断分期及指导治疗的最重要的标准。
检查时需要在患者的肘部静脉注射荧光素钠，荧光素钠是一种血管显影剂，可以明确显示血管的扩张、渗漏、微血管瘤、无灌注区、新生血管、黄斑水肿等病理变化，应用眼底照相机将血管的这些变化记录下来。

㈤ 眼底血管分割dice参数

Dice系数是一种集合相似度度量函数，通常用于计算两个样本的相似度，取值为[0,1]。

首先将预测的图片转换为二值图如下：to_binary.py。

在预测脑肿瘤或者皮肤病变的mask模型中，我们一般将mask图像中的像素分类成1或0，即如果像素中有mask，我们声明为1，如果像素中没有mask，我们声明为0，这种对图像进行逐像素二进制分类称为“语义分割”。

如果我们试图去识别图像中的许多对象，则称为“实例分割”，实例分割是一种多分类分割。例如，在自动驾驶汽车视野中，物体被分类为汽车、道路、树木、房屋、天空、行人等。

在语义（二进制）分割和实例（多类）分割中，我们需要一个损失函数来计算梯度。

拓展知识。

研究表明，各类眼科疾病以及心脑血管疾病会对视网膜血管造成形变、出血等不同程度的影响。随着生活水平的提高，这类疾病的发病率呈现逐年增长的趋势。

临床上，医疗人员能够从检眼镜采集的彩色眼底图像中提取视网膜血管，然后通过对血管形态状况的分析达到诊断这类疾病的目的。但是，由于受眼底图像采集技术的限制，图像中往往存在大量噪声，再加之视网膜血管自身结构复杂多变，使得视网膜血管的分割变得困难重重。

传统方法中依靠人工手动分割视网膜血管，不仅工作量巨大极为耗时，而且受主观因素影响严重。因此，利用计算机技术，找到一种能够快速、准确分割视网膜血管的算法，实现对眼底图像血管特征的实时提取，对辅助医疗人员诊断眼科疾病、心脑血管疾病等具有重要作用。

㈥ 眼底照相需要散瞳吗

散瞳可以得到范围较大的眼底照片。大多数眼底病变在后极30度左右范围内，如果瞳孔大小正常，医生认为不必散瞳也可以照相。尤其是一些不宜散瞳的人是可以不散通的。

㈦ 做眼底照相检查要先散瞳吗

一般是做眼底检查是需要进行散瞳的。散瞳后能更为全面的检查到眼底情况，为以后病的判断和治疗提供更正准确的依据。如果不存在青光眼的情况，散瞳不会对眼睛或身体产生任何不良影响的。如果怀疑为视神经炎等眼底疾病引起，最好是到医院眼科进行散瞳眼底检查，

㈧ 眼底荧光血管造影方法有什么临床意义

眼底有丰富的血管，由于某些原因会使眼底血管产生病变，从而造成视力的下降。为了观察眼底血管的状况，眼科医生经常采用眼底荧光血管造影的方法。将被检眼充分散瞳，从肘前静脉快速注入荧光素后，用装有特定滤光片组合的眼底照相机，专门拍摄眼底血管中荧光素循行时吸收激发光线后所发射出的荧光。眼底荧光素经过的地方能使胶片感光而显影，从而了解眼底微循环结构及各种生理病理变化，为多种眼底疾病的诊断、治疗、疗效观察和机制研究提供有价值的资料。

近期还有人研制出了一些新型造影方法，如靶染料释放系统眼底血管造影、脂质体空泡系统眼底血管造影、吖啶橙眼底血管造影等，但还未普遍用于临床。

㈨ 眼睛不舒服，为什么要做眼底眼底筛查

眼睛是心灵的窗户，人类信息的90％依靠视觉获得。全身活体血管，唯有眼底可见。

眼科医生是用眼底镜通过瞳孔来观察眼底，正常的瞳孔大小只有3mm，所见范围很小，全凭医生的经验。点散瞳眼药水(只要眼压正常)可以使瞳孔散大，扩大眼底观察的范围。然而，病人只能从医生的描述中，了解自身眼底的情况。

如果用眼底照相机给眼底照相，照片可同时打印出来，我们就可以看到自己眼底的全貌。眼底有非常重要的结构，包括视神经、视网膜、视网膜动静脉血管、黄斑(视物的中心)。

眼底图像只是平面图像，也有局限性。我们还可以做眼底荧光血管造影，通过肘静脉注射荧光素，同时连续拍片，它能清晰地表现出微循环的细微结构，直到毛细血管水平，在拍照的不同时间，获得动态的影像，完整系统的表述循环的正常或异常状态，以及出血、渗出、荧光素渗漏、毛细血管无灌注区等。

从眼底图像我们可以诊断各种眼病以及内科病和脑系科的疾病。如视神经病变、视网膜病变、视网膜血管病变、黄斑病变、高血压动脉硬化、糖尿病视网膜病变、肾病、血液病、颅脑疾病等等。

㈩ 什么是眼部造影

最关键是要肝肾功能健全的患者才能做，而且做完后要拼命喝水以排出造影剂，个人认为最大的副作用就是人全身皮肤都变黄了，其他真没看到更大的危险。假设心血管系统、肝肾功能不好的病人做了，或许就有很大的问题，至少抢救的难度比较大。