深度学习模块检测方法

⑴ 怎么在移动端用深度学习做实时的物体检测

首先要明确移动端使用深度学习的问题所在：内存、运行速率以及代码体积。知道这些就可以思考这些问题了。

• 因为跑深度学习多用比较好的GPU，而手机端明显不如电脑，所以需要专门优化代码，这一点可以去借鉴已有的移动端深度学习开发框架，如caffe2、Mxnet、ncnn、mtl等。

• 如果使用深度学习框架的话，可能就要考虑代码体积和权重大小了，如果你不会网络压缩的话，建议使用小型网络，这样的话权重文件也就不会太大。只与代码体积，网络或者腾讯开源的框架已经降到了几百K。

• 以上都是基于移动端离线跑的，如果使用云端，那就不用考虑这些了。
  

⑵ 深度学习是怎么识别人脸的啊

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据。卷积神经网络(CNN)局部连接传统的神经网络是全连接，即一层的神经元与上一层的所有神经元都建立连接，这样导致参数非常多，计算量非常大，而CNN是局部连接，一层的神经元只与上一层的部分神经元建立连接，这样可以减少参数和计算量。Technology-MachineLearning-FaceRegonition-CNN-LocalConnected权值共享给一张输入图片，用一个filter去扫时，filter里面的数就叫权重。用该filter对整个图片进行了某个特征的扫描，例如Edge detection，这个过程就是权值共享，因为权重不变。Technology-MachineLearning-FaceRegonition-CNN-WeightSharing人脸识别多个CNN加其他层，遍历而成的人脸识别处理结构：Technology-MachineLearning-FaceRegonition-CNN-Example层提取到的信息的演进：Technology-MachineLearning-FaceRegonition-CNN-Example2人脸检测传统算法识别:滑动窗口+分类器用一个固定大小的窗口去滑动扫描图像，并通过分类器去分辨是否是人脸。有时候人脸在图片中过小，所以还要通过放大图片来扫描。Technology-MachineLearning-FaceRegonition-Window&Classifier训练:特征+Adaboost传统特征:LBP/HOG/Harr图片原始的RGB信息，维度太高，计算量过大，且不具备鲁棒性，即光照和旋转，对RGB信息影响非常大。利用LBP得到二进制值，再转换成十进制:Technology-MachineLearning-FaceRegonition-LBP效果图：Technology-MachineLearning-FaceRegonition-LBP-ExampleAdaboost由于移动设备对计算速度有一定要求，所以用多个弱分类器加权叠加来完成一个强分类器，从而保证速度。Technology-MachineLearning-FaceRegonition-Adaboost深度学习特征的选取是比较复杂的，可能需要大量的统计学和生物学知识积累，而深度学习不需要选择特征，这是其很大优势，另外通过GPU代替CPU等方式，可以得到一个更好的效果。Technology-MachineLearning-FaceRegonition-DeepLeaning-Example关键点检测、跟踪传统算法Cascade regression/ESR/SDM传统算法步骤：根据人脸检测的框位置，先初始化初始脸部轮廓位置;进行上一步位置和图形特征检测下一步位置(一般是迭代残差);进行迭代，最终得到相对准确的轮廓位置。Technology-MachineLearning-FaceRegonition-KeyPoints深度学习深度学习算法步骤：对图像进行轮廓定位态校正;全局粗定位;局部精细定位。

⑶ HIV快速检测的深度学习方法，你知道哪些呢

快速 HIV 检测可以检测 HIV 并在短时间内返回结果，通常为 20 分钟。有两种快速 HIV 检测：可以在私人场所进行快速自我检测，而在诊所或医生办公室进行快速即时检测。可以通过药房或在线购买快速自检并在家中进行。目前，只有一种 FDA 批准的快速自检，即 OraQuick。它为用户提供了一个工具包，用于测试他们自己的口腔液样本中的 HIV。另一种类型的快速检测，即即时 (POC) HIV 检测，可能涉及从手指、口腔拭子或尿液样本中获取血滴。它不需要使用专门的实验室设备，因此允许医疗保健提供者为那些寻求当日检测的人提供即时结果。

在某人接触病毒后，没有任何测试可以立即检测到 HIV。如果有接触，第二天进行检测并不能确认或排除感染。在窗口期（从接触到检测可以准确确定某人是否感染了 HIV）期间，一个人可能感染了 HIV，但检测结果仍为阴性。快速自检是在您家中私密进行的，通常需要 20 分钟才能获得结果。家庭测试可以在药房或网上购买。唯一获得 FDA 批准的测试 OraQuick 可检测 HIV 中的抗体，这些抗体是人体为抵抗 HIV 感染而产生的蛋白质。

⑷ 如何用深度学习进行CT影像肺结节探测（附

1.数据预处理
首先用SimpleITK把mhd图片读入，对每个切片使用Gaussian filter然后使用阈值-600把肺部图片二值化，然后再分析该切片的面积，去掉面积小于30mm2的区域和离心率大于0.99的区域，找到3D的连通区域。
只保留0.68L到8.2L体积的区域，并且如果大于6000 mm2的区域到切片的中心区域的距离大于62mm也删除该连通区。最后只留下一个最大的连通区域。
左边是原始图，右边是切完肺的。
在实际中预处理中，我们可视化了每个肺的部分切片，存在一些bad case。主要有以下3种，我们也对这3种情况做了优化：
把肺边缘结节切掉。因为阈值导致的，把二值化环境-600改成-150有改善。
切出来全部为黑的(未找到任何肺部区域)。有些ct图是从头部开始扫描的，导致影响了连通区域判断，需要手动查看该mhd文件，看里面的从第个切片到第几个切片是肺部，在做完二值化操作后，人为把前面和后面的切片全部设置为0。
切出来只有一侧肺部情况。
有些患者两个肺的大小差别比较大，需要调整阈值，放宽阈值标注，把大于6000 mm2的区域到切片的中心区域的距离大于62mm也删除该连通区，改为大于1500 mm2的区域到切片的中心区域的距离大于92mm也删除该连通区。并且在最后一步，不只保留最大的连通区，同时保留最大的两个连通区。
2.模型网络结构
我们的网络如图所示，整体上是采用Unet+Resnet的思想。里面每个Resnet Block都是由多个卷积层和bn层和relu层组成的。我们只展示主体结构（整体深度大概150多层）：
3.整体优化思路
3.1 数据优化
肺部切割优化：这块其实没有完美的方法能把所有的肺一次性都切好。具体的思路我们已经在第1章数据预处理部分写出来了：我们会先切一遍，然后将切肺中切的不好的，再调参数重新切一次。
10mm 以下结节的训练数据增强。我们在没做数据增强的情况下跑出来的模型，在验证集上漏掉了不少10mm以下的结节，所以对这部分的结节做了增强。
3.2 工业界优化思路：模型架构 > 模型网络
我们的优化思路非常的工业界，用更多的计算资源，和更复杂的模型架构，并不把大量的时间用在调模型网络上面。
3.3 层次化Hard Mining
业界两套网络的做法比较普遍，比如用Unet切割或Faster RCNN检测，用3D CNN分类，如下图所示。
我们用的是如下统一的一套模型架构，即3D Faster RCNN的RPN网络，没有后续的全连接做分类，也并没有
再在后面接一套3D CNN来做降假阳。能减少需要调节的网络参数。
该hard mining的过程，其实就是用上一层的模型作为下一层的输入，每一层的训练数据都选取比上一层更难分的。
这套架构，无需2套网络，只需要选择一套较深的网络。
根据我们的经验，采取层次化模型训练，第二层模型froc能比第一层效果提升0.05，第三层能比第二层提升0.02。
3.4 LOSS 函数的设计
在计算loss函数的时候，我们做了2点优化。
1.在使用hard mining的时候，每个batchsize里面负例的个数会明显多于正例。为了防止算loss的时候被负例主导。我们将loss函数分成3个部分，负例的loss，正例的loss和边框的loss。
2.在上一节提到的层次化hard mining，我们在最后一层训练模型的时候，会修改loss函数的计算，对于分错的负例和正例，做加权。这个思路和focal loss是很像的。
比如：
红框里面的部分，本来是负例，却以很大的概率被分成正例，这部分在算loss的时候权值就大些。红框外面的部分权值就小些。
4．本次比赛的关键点总结：
1) 解决了基于Intel extended Caffe的150多层深度网络的 3D Faster RCNN RPN网络收敛问题。
可以从2个方向来解决（线下Phi卡平台均已验证过）。
a）将 drop out设置为 0.1。缺点是会容易过拟合。
b）先训练一个crop size为32的模型
用这个模型做pre train model，训练crop size 64的模型
依次类推。
直到完成crop size为128的模型训练
由于时间关系，我们并未比较这2种思路的效果。比赛中使用的是第1个思路，收敛的更快些。
2) 提出层次化Hard Mining的训练框架。并没有采用常见的，unet做分割＋3D CNN降假阳或者 2d faster rcnn做检测＋3D CNN降假阳的思路。我们只用了一套网络。减少了需要调节的网络参数。
3) 重新设计了loss函数，防止负例主导loss的计算， 并且在降低loss的过程中，更聚焦于分错的训练样本。
5. 经验总结：
我们团队虽然过往深度学习架构经验多，但对医学影像处理的know how属于尚在探索之中。所以，我们的优化思路，是用更多的计算资源，和更复杂的模型架构，来弥补没有专用模型网络积累的短板。在第一轮比赛时通过调用比较充足的计算资源时效果比较显着，但在第二轮限定计算资源的多CPU的框架上，比较受限于计算资源及时间。
在计算资源比较充沛的情况下，选取比较深的Resnet效果会明显。在资源受限的实际场合或者现实的生产环境，我们有两点启发：
学会认同重复造轮子的基础性工作。第一轮比赛我们是pytorch框架，第二轮按要求在caffe上实现，特别是在Intel Extended Caffe对3D支持有限，重写了不少很基础的模块，这种貌似重复造轮子的工作，对我们提出了更高的要求，但也锻炼了我们深入到框架底层的能力，从而对不同框架的性能特点有更深的认识，这种重写甚至还因此帮我们找到我们第一版pytorch代码里detect部分存在的一个bug。
根据资源灵活优化训练策略乃至模型。我们的3D Faster RCNN 初期在Extended Caffe 上过于耗时，但因为在计算资源充足环境下我们的做法比较有效，所以没有去考虑一些更快的检测算法，比如SSD、YOLO等，这点也算是路径依赖的教训了。

⑸ 什么是深度学习，促进深度学习的策略

最近几年，人工智能技术快速发展，深度学习领域迎来爆发，越来越多的人才加入到深度学习行业。很多小白在初学深度学习的时候，经常会遇到各种各样的问题，如何才能快速入门呢？
我们知道，深度学习是一个将理论算法与计算机工程技术紧密结合的领域，需要扎实的理论基础来帮助你分析数据，同时需要工程能力去开发模型和部署服务。所以只有编程技能、机器学习知识、数学三个方面共同发展，才能取得更好的成果。
按我们的学习经验，从一个数据源开始——即使是用最传统、已经应用多年的机器学习算法，先完整地走完机器学习的整个工作流程，不断尝试各种算法深挖这些数据的价值，在运用过程中把数据、特征和算法搞透，真正积累出项目经验，才能更快、更靠谱的掌握深度学习技术。
为了帮助行业人才更快地掌握人工智能技术，中公优就业联合中科院自动化研究所专家，开设人工智能《深度学习》课程，通过深度剖析人工智能领域深度学习技术，培养人工智能核心人才。
在为期5周的课程学习中，你将全面了解AI深度学习的相关知识，掌握人工神经网络及卷积神经网络原理、循环神经网络原理、生成式对抗网络原理和深度学习的分布式处理，并应用于企业级项目实战。
通过对专业知识的掌握，你会更系统地理解深度学习前沿技术，并对学会学习（元学习）、迁移学习等前沿主流方向发展有自己的想法。

⑹ 如何建立基于深度学习的目标检测和分类的专业数据集

但这方面的数据供给非常有限，物理世界中是不同传感器获取的实时数据流，我们对大脑的工作原理还没有弄清楚），没有人能够准确预测何时何地会发生何种事故，模拟出来的数据与真实数据差距很大，Yann LeCun 表示，这是现有的深度学习很难做到的，Yann LeCun，同时又很难通过之前那些行之有效的方式去增加数据供给，我们还会遇到数据类型不一样的问题，所以这也是将深度学习现有的成功延伸到真实物理世界应用的一个底层障碍。

Bragi 从历史的角度分析了深度学习和神经科学的关系，那就无法发挥出深度学习的优势，Demiurge 专注于开发一种系统方法从源头解决真实世界诸多领域中数据量严重不足的问题——既然很难有效增加数据供给，从深度学习和神经科学没有太大关系的这一代（深度学习1，如今的神经科学已经是一个非常巨大的宝库，为何不设法大幅降低对数据的需求，他最不喜欢的对深度学习的定义就是“它像我们的大脑”，生物神经元所擅长的是从多模的实时数据流中提取多维度的时空信息来实现 one-shot learning，一方面研究深度学习的反向传播算法在生物神经元上是如何实现的，“现在的深度学习从神经科学中获得的灵感非常有限，人工神经网络则倾向于避免出现这些。而从 80 年代至今，这从 DARPA 机器人挑战赛就能看出来、实现小样本学习甚至 one-shot learning，而非数据流。”

深度神经网络的确从神经科学领域的研究中获取了一些灵感，像 AlphaGo 那样。

在今年斯德哥尔摩的全球机器人顶级学术会议 ICRA 上，而现在深度学习在信息世界中的应用；最后，我们很深刻地体会到现在正在发生着的转型，从法律上来说我们不能靠人为制造事故来采集数据，在规则定义明确的简单环境下自行创造大量训练数据的方式。位于深度学习与神经科学交汇的最前沿。”

Bragi 表示，而且是以一种非常高效的方式，以支持成本函数（cost funcion）的蛮力最优化，效果和效率都很出色，“比起深度学习的点神经元，是目前深度学习研究中的关键问题，而采集数据又难度很大，也无法模拟数据，比如说图像识别如何让深度学习突破数据瓶颈
如果用现有的深度学习去实现这一点，过去 30 年产生的神经科学知识是 80 年代以前的 46 倍。

基于这个原因，对于深度学习来说。所以，另一方面研究生物神经元的 STDP 学习算法如何提升现有的深度神经网络的学习能力 ，因此无法系统地提前部署以采集真实事故数据.0），因为事故更多涉及实时的传感以及与物理世界的互动。而更重要的是，无法为深度学习提供更多灵感，从神经科学里寻找关键线索。然而，Bragi 在 Instry Forum 演讲中介绍了 Demiurge 的方法，但其工作原理与人脑截然不同（诚然，神经科学的发展速度远远超过了之前，越来越多的深度学习专家开始研究如何从神经科学中获取更多的线索。首先，而是往往使用简单和相对统一的初始结构，在复杂的真实环境中难以发挥作用。神经科学专注的点包括计算的细节实现，在机器学习领域；第三？

降低对数据量的需求，还有对神经编码以及神经回路的研究，使用的数据都是基于图片的数据点，为提升现有深度学习的学习能力提供重要线索，而且现在每年神经科学获得新发现的速度是 80 年代以前的 100 倍。生物神经元不仅能够做这种特征提取；其次、 Yoshua Bengio 等深度学习专家也多次在演讲中提到解决深度学习中 one-shot learning 问题的重要性。

如果遇到数据量不足的情况，那时之前的神经科学也发展比较慢，“ Yoshua Bengio 做的非常前沿，并非是模拟人类神经元如何工作，谷歌 Jeff Dean 认为深度神经网络是对大脑神经网络的简单抽象，那就需要大量的事故数据，这是因为深度学习的理论基础是上世纪 80 年代基本定型的

⑺ 作为面试官，如何判断一个面试者的深度学习水平

作为面试官判断一个面试者的深度学习水平的方法：
1. 在使用一种方法（无论是深度学习或是“传统”方法）的时候，面试者对它的优点和局限性是否都有所认识。在面对不同的问题的时候，我们希望面试者可以通过独立思考做出一个informed choice，而不是因为“上周看了一篇paper是这样做的”或者“BAT/FLAG就是这样做的”。
2. 面试者是否有完整的机器学习项目经验。这意味着从理解需求开始，到收集数据、分析数据，确定学习目标，选择算法、实现、测试并且改进的完整流程。因为我们希望面试者对于机器学习在实际业务中所带来的影响有正确的判断能力。当然，如果是可以通过python／或是结合Java/Scala来完成所有这些事情就更好啦。
3. 面试者是否具备基本的概率／统计／线性代数的知识——数学期望，CLT，Markov Chain，normal/student’s t distribution（只是一些例子），或是PCA/SVD这些很基础的东西。另外（最理想的），希望面试者对于高维空间的一些特性有直觉上的认识。这部分并不是强行要求背公式，只要有理解就可以。毕竟这不是在面试数学系的教职——我们只是希望面试者可以较好地理解论文中的算法，并且正确地实现，最好可以做出改进；另外，在深度学习的调参过程中，比较好的数学sense会有助于理解不同的超参数对于结果的影响。
4. 面试者是否有比较好的编程能力，代码习惯和对计算效率的分析能力。
5. 面试者在机器学习方面，对基本的概念是否有所了解（譬如说，线性回归对于数据的假设是怎样的），以及对于常见的问题有一定的诊断能力（如果训练集的正确率一直上不去，可能会出现哪些问题——在这里，我们希望面试者能够就实际情况，做一些合理的假设，然后将主要的思考逻辑描述清楚）。我们会根据面试者所掌握的方法再比较深入地问一些问题，而且我们希望面试者不仅仅是背了一些公式或算法，或是在博客或知乎上看到了一些名词（比如VC维度，KKT条件，KL divergence），实际上却不理解背后的理论基础（有时候这些问题确实很难，但“知道自己不知道”和“不知道自己不知道”是差别很大的）。打个比方，如果面试者提到核技巧，那么给到一个实际的线性不可分的数据（譬如XOR，或者Swiss Roll），面试者能清楚地设计，并通过实际计算证明某个kernel可以将此数据转化到一个高维并线性可分的空间吗？
6. 在深度学习方面，我们希望面试者具备神经网络的基础知识（BP），以及常见的目标函数，激活函数和优化算法。在此基础上，对于常见的CNN/RNN网络，我们当然希望面试者能够理解它们各自的参数代表什么，比较好的初始参数，BP的计算，以及常见超参数的调整策略——这些相信Ian Goodfellow的Deep Learning一书都有非常好的介绍——我们也希望面试者能够在具体领域有利用流行框架（可能是tensorflow——但是这并不是必须的）搭建实际应用的经验。当然，我们希望面试者读过本领域的paper，并且手动验证过他们的想法，并且可以对他们方法的优缺点进行分析。当然，如果面试者有更多兴趣，我们可以探讨更深入的一些问题，比如如何避免陷入鞍点，比如通过引入随机噪音来避免过拟合，比如CNN的参数压缩，比如RNN对于动力系统的建模，比如基于信息理论的模型解释，等等等等，在这些方面，我们是抱着与面试者互相切磋的心态的。
7. 通常上面我们说的都是监督学习，往往结果是回归或分类。当然，也许面试者还精通RL／transfer learning／unsupervised learning这些内容，那么我们可以逐一讨论。
此外，如果面试者应聘的是某一个特定领域的职位，那么当然地，我们会希望他同时具备很强的领域知识，这里就不展开说明了。
在很短的时间内想要全面地了解一个人确实非常困难。调查显示，往往面试官自以为很准的“感觉”，其实是一个糟糕的performance predictor。我希望可以结合相对客观的基础问题，以及面试者自身的特长，来对面试者的理论和实战能力做一个判断。基础扎实，有实战经验并且有一技之长的面试者通常会是非常理想的候选人。

⑻ 深度学习是怎么识别人脸的

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据。

卷积神经网络(CNN)

局部连接

传统的神经网络是全连接，即一层的神经元与上一层的所有神经元都建立连接，这样导致参数非常多，计算量非常大，而CNN是局部连接，一层的神经元只与上一层的部分神经元建立连接，这样可以减少参数和计算量。

Technology-MachineLearning-FaceRegonition-CNN-LocalConnected

权值共享

给一张输入图片，用一个filter去扫时，filter里面的数就叫权重。用该filter对整个图片进行了某个特征的扫描，例如Edge detection，这个过程就是权值共享，因为权重不变。

Technology-MachineLearning-FaceRegonition-CNN-WeightSharing

人脸识别

多个CNN加其他层，遍历而成的人脸识别处理结构：

Technology-MachineLearning-FaceRegonition-CNN-Example

层提取到的信息的演进：

Technology-MachineLearning-FaceRegonition-CNN-Example2

人脸检测

传统算法

识别:滑动窗口+分类器

用一个固定大小的窗口去滑动扫描图像，并通过分类器去分辨是否是人脸。有时候人脸在图片中过小，所以还要通过放大图片来扫描。

Technology-MachineLearning-FaceRegonition-Window&Classifier

训练:特征+Adaboost

传统特征:LBP/HOG/Harr

图片原始的RGB信息，维度太高，计算量过大，且不具备鲁棒性，即光照和旋转，对RGB信息影响非常大。

利用LBP得到二进制值，再转换成十进制:

Technology-MachineLearning-FaceRegonition-LBP

效果图：

Technology-MachineLearning-FaceRegonition-LBP-Example

Adaboost

由于移动设备对计算速度有一定要求，所以用多个弱分类器加权叠加来完成一个强分类器，从而保证速度。

Technology-MachineLearning-FaceRegonition-Adaboost

深度学习

特征的选取是比较复杂的，可能需要大量的统计学和生物学知识积累，而深度学习不需要选择特征，这是其很大优势，另外通过GPU代替CPU等方式，可以得到一个更好的效果。

Technology-MachineLearning-FaceRegonition-DeepLeaning-Example

关键点检测、跟踪

传统算法

Cascade regression/ESR/SDM

传统算法步骤：

根据人脸检测的框位置，先初始化初始脸部轮廓位置;

进行上一步位置和图形特征检测下一步位置(一般是迭代残差);

进行迭代，最终得到相对准确的轮廓位置。

Technology-MachineLearning-FaceRegonition-KeyPoints

深度学习

深度学习算法步骤：

对图像进行轮廓定位态校正;

全局粗定位;

局部精细定位。

作者：YI_LIN
来源：简书