深度學習模塊檢測方法

⑴ 怎麼在移動端用深度學習做實時的物體檢測

首先要明確移動端使用深度學習的問題所在：內存、運行速率以及代碼體積。知道這些就可以思考這些問題了。

• 因為跑深度學習多用比較好的GPU，而手機端明顯不如電腦，所以需要專門優化代碼，這一點可以去借鑒已有的移動端深度學習開發框架，如caffe2、Mxnet、ncnn、mtl等。

• 如果使用深度學習框架的話，可能就要考慮代碼體積和權重大小了，如果你不會網路壓縮的話，建議使用小型網路，這樣的話權重文件也就不會太大。只與代碼體積，網路或者騰訊開源的框架已經降到了幾百K。

• 以上都是基於移動端離線跑的，如果使用雲端，那就不用考慮這些了。
  

⑵ 深度學習是怎麼識別人臉的啊

深度學習是機器學習研究中的一個新的領域，其動機在於建立、模擬人腦進行分析學習的神經網路，它模仿人腦的機制來解釋數據。卷積神經網路(CNN)局部連接傳統的神經網路是全連接，即一層的神經元與上一層的所有神經元都建立連接，這樣導致參數非常多，計算量非常大，而CNN是局部連接，一層的神經元只與上一層的部分神經元建立連接，這樣可以減少參數和計算量。Technology-MachineLearning-FaceRegonition-CNN-LocalConnected權值共享給一張輸入圖片，用一個filter去掃時，filter裡面的數就叫權重。用該filter對整個圖片進行了某個特徵的掃描，例如Edge detection，這個過程就是權值共享，因為權重不變。Technology-MachineLearning-FaceRegonition-CNN-WeightSharing人臉識別多個CNN加其他層，遍歷而成的人臉識別處理結構：Technology-MachineLearning-FaceRegonition-CNN-Example層提取到的信息的演進：Technology-MachineLearning-FaceRegonition-CNN-Example2人臉檢測傳統演算法識別:滑動窗口+分類器用一個固定大小的窗口去滑動掃描圖像，並通過分類器去分辨是否是人臉。有時候人臉在圖片中過小，所以還要通過放大圖片來掃描。Technology-MachineLearning-FaceRegonition-Window&Classifier訓練:特徵+Adaboost傳統特徵:LBP/HOG/Harr圖片原始的RGB信息，維度太高，計算量過大，且不具備魯棒性，即光照和旋轉，對RGB信息影響非常大。利用LBP得到二進制值，再轉換成十進制:Technology-MachineLearning-FaceRegonition-LBP效果圖：Technology-MachineLearning-FaceRegonition-LBP-ExampleAdaboost由於移動設備對計算速度有一定要求，所以用多個弱分類器加權疊加來完成一個強分類器，從而保證速度。Technology-MachineLearning-FaceRegonition-Adaboost深度學習特徵的選取是比較復雜的，可能需要大量的統計學和生物學知識積累，而深度學習不需要選擇特徵，這是其很大優勢，另外通過GPU代替CPU等方式，可以得到一個更好的效果。Technology-MachineLearning-FaceRegonition-DeepLeaning-Example關鍵點檢測、跟蹤傳統演算法Cascade regression/ESR/SDM傳統演算法步驟：根據人臉檢測的框位置，先初始化初始臉部輪廓位置;進行上一步位置和圖形特徵檢測下一步位置(一般是迭代殘差);進行迭代，最終得到相對准確的輪廓位置。Technology-MachineLearning-FaceRegonition-KeyPoints深度學習深度學習演算法步驟：對圖像進行輪廓定位態校正;全局粗定位;局部精細定位。

⑶ HIV快速檢測的深度學習方法，你知道哪些呢

快速 HIV 檢測可以檢測 HIV 並在短時間內返回結果，通常為 20 分鍾。有兩種快速 HIV 檢測：可以在私人場所進行快速自我檢測，而在診所或醫生辦公室進行快速即時檢測。可以通過葯房或在線購買快速自檢並在家中進行。目前，只有一種 FDA 批準的快速自檢，即 OraQuick。它為用戶提供了一個工具包，用於測試他們自己的口腔液樣本中的 HIV。另一種類型的快速檢測，即即時 (POC) HIV 檢測，可能涉及從手指、口腔拭子或尿液樣本中獲取血滴。它不需要使用專門的實驗室設備，因此允許醫療保健提供者為那些尋求當日檢測的人提供即時結果。

在某人接觸病毒後，沒有任何測試可以立即檢測到 HIV。如果有接觸，第二天進行檢測並不能確認或排除感染。在窗口期（從接觸到檢測可以准確確定某人是否感染了 HIV）期間，一個人可能感染了 HIV，但檢測結果仍為陰性。快速自檢是在您家中私密進行的，通常需要 20 分鍾才能獲得結果。家庭測試可以在葯房或網上購買。唯一獲得 FDA 批準的測試 OraQuick 可檢測 HIV 中的抗體，這些抗體是人體為抵抗 HIV 感染而產生的蛋白質。

⑷ 如何用深度學習進行CT影像肺結節探測（附

1.數據預處理
首先用SimpleITK把mhd圖片讀入，對每個切片使用Gaussian filter然後使用閾值-600把肺部圖片二值化，然後再分析該切片的面積，去掉面積小於30mm2的區域和離心率大於0.99的區域，找到3D的連通區域。
只保留0.68L到8.2L體積的區域，並且如果大於6000 mm2的區域到切片的中心區域的距離大於62mm也刪除該連通區。最後只留下一個最大的連通區域。
左邊是原始圖，右邊是切完肺的。
在實際中預處理中，我們可視化了每個肺的部分切片，存在一些bad case。主要有以下3種，我們也對這3種情況做了優化：
把肺邊緣結節切掉。因為閾值導致的，把二值化環境-600改成-150有改善。
切出來全部為黑的(未找到任何肺部區域)。有些ct圖是從頭部開始掃描的，導致影響了連通區域判斷，需要手動查看該mhd文件，看裡面的從第個切片到第幾個切片是肺部，在做完二值化操作後，人為把前面和後面的切片全部設置為0。
切出來只有一側肺部情況。
有些患者兩個肺的大小差別比較大，需要調整閾值，放寬閾值標注，把大於6000 mm2的區域到切片的中心區域的距離大於62mm也刪除該連通區，改為大於1500 mm2的區域到切片的中心區域的距離大於92mm也刪除該連通區。並且在最後一步，不只保留最大的連通區，同時保留最大的兩個連通區。
2.模型網路結構
我們的網路如圖所示，整體上是採用Unet+Resnet的思想。裡面每個Resnet Block都是由多個卷積層和bn層和relu層組成的。我們只展示主體結構（整體深度大概150多層）：
3.整體優化思路
3.1 數據優化
肺部切割優化：這塊其實沒有完美的方法能把所有的肺一次性都切好。具體的思路我們已經在第1章數據預處理部分寫出來了：我們會先切一遍，然後將切肺中切的不好的，再調參數重新切一次。
10mm 以下結節的訓練數據增強。我們在沒做數據增強的情況下跑出來的模型，在驗證集上漏掉了不少10mm以下的結節，所以對這部分的結節做了增強。
3.2 工業界優化思路：模型架構 > 模型網路
我們的優化思路非常的工業界，用更多的計算資源，和更復雜的模型架構，並不把大量的時間用在調模型網路上面。
3.3 層次化Hard Mining
業界兩套網路的做法比較普遍，比如用Unet切割或Faster RCNN檢測，用3D CNN分類，如下圖所示。
我們用的是如下統一的一套模型架構，即3D Faster RCNN的RPN網路，沒有後續的全連接做分類，也並沒有
再在後面接一套3D CNN來做降假陽。能減少需要調節的網路參數。
該hard mining的過程，其實就是用上一層的模型作為下一層的輸入，每一層的訓練數據都選取比上一層更難分的。
這套架構，無需2套網路，只需要選擇一套較深的網路。
根據我們的經驗，採取層次化模型訓練，第二層模型froc能比第一層效果提升0.05，第三層能比第二層提升0.02。
3.4 LOSS 函數的設計
在計算loss函數的時候，我們做了2點優化。
1.在使用hard mining的時候，每個batchsize裡面負例的個數會明顯多於正例。為了防止算loss的時候被負例主導。我們將loss函數分成3個部分，負例的loss，正例的loss和邊框的loss。
2.在上一節提到的層次化hard mining，我們在最後一層訓練模型的時候，會修改loss函數的計算，對於分錯的負例和正例，做加權。這個思路和focal loss是很像的。
比如：
紅框裡面的部分，本來是負例，卻以很大的概率被分成正例，這部分在算loss的時候權值就大些。紅框外面的部分權值就小些。
4．本次比賽的關鍵點總結：
1) 解決了基於Intel extended Caffe的150多層深度網路的 3D Faster RCNN RPN網路收斂問題。
可以從2個方向來解決（線下Phi卡平台均已驗證過）。
a）將 drop out設置為 0.1。缺點是會容易過擬合。
b）先訓練一個crop size為32的模型
用這個模型做pre train model，訓練crop size 64的模型
依次類推。
直到完成crop size為128的模型訓練
由於時間關系，我們並未比較這2種思路的效果。比賽中使用的是第1個思路，收斂的更快些。
2) 提出層次化Hard Mining的訓練框架。並沒有採用常見的，unet做分割＋3D CNN降假陽或者 2d faster rcnn做檢測＋3D CNN降假陽的思路。我們只用了一套網路。減少了需要調節的網路參數。
3) 重新設計了loss函數，防止負例主導loss的計算， 並且在降低loss的過程中，更聚焦於分錯的訓練樣本。
5. 經驗總結：
我們團隊雖然過往深度學習架構經驗多，但對醫學影像處理的know how屬於尚在探索之中。所以，我們的優化思路，是用更多的計算資源，和更復雜的模型架構，來彌補沒有專用模型網路積累的短板。在第一輪比賽時通過調用比較充足的計算資源時效果比較顯著，但在第二輪限定計算資源的多CPU的框架上，比較受限於計算資源及時間。
在計算資源比較充沛的情況下，選取比較深的Resnet效果會明顯。在資源受限的實際場合或者現實的生產環境，我們有兩點啟發：
學會認同重復造輪子的基礎性工作。第一輪比賽我們是pytorch框架，第二輪按要求在caffe上實現，特別是在Intel Extended Caffe對3D支持有限，重寫了不少很基礎的模塊，這種貌似重復造輪子的工作，對我們提出了更高的要求，但也鍛煉了我們深入到框架底層的能力，從而對不同框架的性能特點有更深的認識，這種重寫甚至還因此幫我們找到我們第一版pytorch代碼里detect部分存在的一個bug。
根據資源靈活優化訓練策略乃至模型。我們的3D Faster RCNN 初期在Extended Caffe 上過於耗時，但因為在計算資源充足環境下我們的做法比較有效，所以沒有去考慮一些更快的檢測演算法，比如SSD、YOLO等，這點也算是路徑依賴的教訓了。

⑸ 什麼是深度學習，促進深度學習的策略

最近幾年，人工智慧技術快速發展，深度學習領域迎來爆發，越來越多的人才加入到深度學習行業。很多小白在初學深度學習的時候，經常會遇到各種各樣的問題，如何才能快速入門呢？
我們知道，深度學習是一個將理論演算法與計算機工程技術緊密結合的領域，需要扎實的理論基礎來幫助你分析數據，同時需要工程能力去開發模型和部署服務。所以只有編程技能、機器學習知識、數學三個方面共同發展，才能取得更好的成果。
按我們的學習經驗，從一個數據源開始——即使是用最傳統、已經應用多年的機器學習演算法，先完整地走完機器學習的整個工作流程，不斷嘗試各種演算法深挖這些數據的價值，在運用過程中把數據、特徵和演算法搞透，真正積累出項目經驗，才能更快、更靠譜的掌握深度學習技術。
為了幫助行業人才更快地掌握人工智慧技術，中公優就業聯合中科院自動化研究所專家，開設人工智慧《深度學習》課程，通過深度剖析人工智慧領域深度學習技術，培養人工智慧核心人才。
在為期5周的課程學習中，你將全面了解AI深度學習的相關知識，掌握人工神經網路及卷積神經網路原理、循環神經網路原理、生成式對抗網路原理和深度學習的分布式處理，並應用於企業級項目實戰。
通過對專業知識的掌握，你會更系統地理解深度學習前沿技術，並對學會學習（元學習）、遷移學習等前沿主流方向發展有自己的想法。

⑹ 如何建立基於深度學習的目標檢測和分類的專業數據集

但這方面的數據供給非常有限，物理世界中是不同感測器獲取的實時數據流，我們對大腦的工作原理還沒有弄清楚），沒有人能夠准確預測何時何地會發生何種事故，模擬出來的數據與真實數據差距很大，Yann LeCun 表示，這是現有的深度學習很難做到的，Yann LeCun，同時又很難通過之前那些行之有效的方式去增加數據供給，我們還會遇到數據類型不一樣的問題，所以這也是將深度學習現有的成功延伸到真實物理世界應用的一個底層障礙。

Bragi 從歷史的角度分析了深度學習和神經科學的關系，那就無法發揮出深度學習的優勢，Demiurge 專注於開發一種系統方法從源頭解決真實世界諸多領域中數據量嚴重不足的問題——既然很難有效增加數據供給，從深度學習和神經科學沒有太大關系的這一代（深度學習1，如今的神經科學已經是一個非常巨大的寶庫，為何不設法大幅降低對數據的需求，他最不喜歡的對深度學習的定義就是「它像我們的大腦」，生物神經元所擅長的是從多模的實時數據流中提取多維度的時空信息來實現 one-shot learning，一方面研究深度學習的反向傳播演算法在生物神經元上是如何實現的，「現在的深度學習從神經科學中獲得的靈感非常有限，人工神經網路則傾向於避免出現這些。而從 80 年代至今，這從 DARPA 機器人挑戰賽就能看出來、實現小樣本學習甚至 one-shot learning，而非數據流。」

深度神經網路的確從神經科學領域的研究中獲取了一些靈感，像 AlphaGo 那樣。

在今年斯德哥爾摩的全球機器人頂級學術會議 ICRA 上，而現在深度學習在信息世界中的應用；最後，我們很深刻地體會到現在正在發生著的轉型，從法律上來說我們不能靠人為製造事故來採集數據，在規則定義明確的簡單環境下自行創造大量訓練數據的方式。位於深度學習與神經科學交匯的最前沿。」

Bragi 表示，而且是以一種非常高效的方式，以支持成本函數（cost funcion）的蠻力最優化，效果和效率都很出色，「比起深度學習的點神經元，是目前深度學習研究中的關鍵問題，而採集數據又難度很大，也無法模擬數據，比如說圖像識別如何讓深度學習突破數據瓶頸
如果用現有的深度學習去實現這一點，過去 30 年產生的神經科學知識是 80 年代以前的 46 倍。

基於這個原因，對於深度學習來說。所以，另一方面研究生物神經元的 STDP 學習演算法如何提升現有的深度神經網路的學習能力 ，因此無法系統地提前部署以採集真實事故數據.0），因為事故更多涉及實時的感測以及與物理世界的互動。而更重要的是，無法為深度學習提供更多靈感，從神經科學里尋找關鍵線索。然而，Bragi 在 Instry Forum 演講中介紹了 Demiurge 的方法，但其工作原理與人腦截然不同（誠然，神經科學的發展速度遠遠超過了之前，越來越多的深度學習專家開始研究如何從神經科學中獲取更多的線索。首先，而是往往使用簡單和相對統一的初始結構，在復雜的真實環境中難以發揮作用。神經科學專注的點包括計算的細節實現，在機器學習領域；第三？

降低對數據量的需求，還有對神經編碼以及神經迴路的研究，使用的數據都是基於圖片的數據點，為提升現有深度學習的學習能力提供重要線索，而且現在每年神經科學獲得新發現的速度是 80 年代以前的 100 倍。生物神經元不僅能夠做這種特徵提取；其次、 Yoshua Bengio 等深度學習專家也多次在演講中提到解決深度學習中 one-shot learning 問題的重要性。

如果遇到數據量不足的情況，那時之前的神經科學也發展比較慢，「 Yoshua Bengio 做的非常前沿，並非是模擬人類神經元如何工作，谷歌 Jeff Dean 認為深度神經網路是對大腦神經網路的簡單抽象，那就需要大量的事故數據，這是因為深度學習的理論基礎是上世紀 80 年代基本定型的

⑺ 作為面試官，如何判斷一個面試者的深度學習水平

作為面試官判斷一個面試者的深度學習水平的方法：
1. 在使用一種方法（無論是深度學習或是「傳統」方法）的時候，面試者對它的優點和局限性是否都有所認識。在面對不同的問題的時候，我們希望面試者可以通過獨立思考做出一個informed choice，而不是因為「上周看了一篇paper是這樣做的」或者「BAT/FLAG就是這樣做的」。
2. 面試者是否有完整的機器學習項目經驗。這意味著從理解需求開始，到收集數據、分析數據，確定學習目標，選擇演算法、實現、測試並且改進的完整流程。因為我們希望面試者對於機器學習在實際業務中所帶來的影響有正確的判斷能力。當然，如果是可以通過python／或是結合Java/Scala來完成所有這些事情就更好啦。
3. 面試者是否具備基本的概率／統計／線性代數的知識——數學期望，CLT，Markov Chain，normal/student』s t distribution（只是一些例子），或是PCA/SVD這些很基礎的東西。另外（最理想的），希望面試者對於高維空間的一些特性有直覺上的認識。這部分並不是強行要求背公式，只要有理解就可以。畢竟這不是在面試數學系的教職——我們只是希望面試者可以較好地理解論文中的演算法，並且正確地實現，最好可以做出改進；另外，在深度學習的調參過程中，比較好的數學sense會有助於理解不同的超參數對於結果的影響。
4. 面試者是否有比較好的編程能力，代碼習慣和對計算效率的分析能力。
5. 面試者在機器學習方面，對基本的概念是否有所了解（譬如說，線性回歸對於數據的假設是怎樣的），以及對於常見的問題有一定的診斷能力（如果訓練集的正確率一直上不去，可能會出現哪些問題——在這里，我們希望面試者能夠就實際情況，做一些合理的假設，然後將主要的思考邏輯描述清楚）。我們會根據面試者所掌握的方法再比較深入地問一些問題，而且我們希望面試者不僅僅是背了一些公式或演算法，或是在博客或知乎上看到了一些名詞（比如VC維度，KKT條件，KL divergence），實際上卻不理解背後的理論基礎（有時候這些問題確實很難，但「知道自己不知道」和「不知道自己不知道」是差別很大的）。打個比方，如果面試者提到核技巧，那麼給到一個實際的線性不可分的數據（譬如XOR，或者Swiss Roll），面試者能清楚地設計，並通過實際計算證明某個kernel可以將此數據轉化到一個高維並線性可分的空間嗎？
6. 在深度學習方面，我們希望面試者具備神經網路的基礎知識（BP），以及常見的目標函數，激活函數和優化演算法。在此基礎上，對於常見的CNN/RNN網路，我們當然希望面試者能夠理解它們各自的參數代表什麼，比較好的初始參數，BP的計算，以及常見超參數的調整策略——這些相信Ian Goodfellow的Deep Learning一書都有非常好的介紹——我們也希望面試者能夠在具體領域有利用流行框架（可能是tensorflow——但是這並不是必須的）搭建實際應用的經驗。當然，我們希望面試者讀過本領域的paper，並且手動驗證過他們的想法，並且可以對他們方法的優缺點進行分析。當然，如果面試者有更多興趣，我們可以探討更深入的一些問題，比如如何避免陷入鞍點，比如通過引入隨機噪音來避免過擬合，比如CNN的參數壓縮，比如RNN對於動力系統的建模，比如基於信息理論的模型解釋，等等等等，在這些方面，我們是抱著與面試者互相切磋的心態的。
7. 通常上面我們說的都是監督學習，往往結果是回歸或分類。當然，也許面試者還精通RL／transfer learning／unsupervised learning這些內容，那麼我們可以逐一討論。
此外，如果面試者應聘的是某一個特定領域的職位，那麼當然地，我們會希望他同時具備很強的領域知識，這里就不展開說明了。
在很短的時間內想要全面地了解一個人確實非常困難。調查顯示，往往面試官自以為很準的「感覺」，其實是一個糟糕的performance predictor。我希望可以結合相對客觀的基礎問題，以及面試者自身的特長，來對面試者的理論和實戰能力做一個判斷。基礎扎實，有實戰經驗並且有一技之長的面試者通常會是非常理想的候選人。

⑻ 深度學習是怎麼識別人臉的

深度學習是機器學習研究中的一個新的領域，其動機在於建立、模擬人腦進行分析學習的神經網路，它模仿人腦的機制來解釋數據。

卷積神經網路(CNN)

局部連接

傳統的神經網路是全連接，即一層的神經元與上一層的所有神經元都建立連接，這樣導致參數非常多，計算量非常大，而CNN是局部連接，一層的神經元只與上一層的部分神經元建立連接，這樣可以減少參數和計算量。

Technology-MachineLearning-FaceRegonition-CNN-LocalConnected

權值共享

給一張輸入圖片，用一個filter去掃時，filter裡面的數就叫權重。用該filter對整個圖片進行了某個特徵的掃描，例如Edge detection，這個過程就是權值共享，因為權重不變。

Technology-MachineLearning-FaceRegonition-CNN-WeightSharing

人臉識別

多個CNN加其他層，遍歷而成的人臉識別處理結構：

Technology-MachineLearning-FaceRegonition-CNN-Example

層提取到的信息的演進：

Technology-MachineLearning-FaceRegonition-CNN-Example2

人臉檢測

傳統演算法

識別:滑動窗口+分類器

用一個固定大小的窗口去滑動掃描圖像，並通過分類器去分辨是否是人臉。有時候人臉在圖片中過小，所以還要通過放大圖片來掃描。

Technology-MachineLearning-FaceRegonition-Window&Classifier

訓練:特徵+Adaboost

傳統特徵:LBP/HOG/Harr

圖片原始的RGB信息，維度太高，計算量過大，且不具備魯棒性，即光照和旋轉，對RGB信息影響非常大。

利用LBP得到二進制值，再轉換成十進制:

Technology-MachineLearning-FaceRegonition-LBP

效果圖：

Technology-MachineLearning-FaceRegonition-LBP-Example

Adaboost

由於移動設備對計算速度有一定要求，所以用多個弱分類器加權疊加來完成一個強分類器，從而保證速度。

Technology-MachineLearning-FaceRegonition-Adaboost

深度學習

特徵的選取是比較復雜的，可能需要大量的統計學和生物學知識積累，而深度學習不需要選擇特徵，這是其很大優勢，另外通過GPU代替CPU等方式，可以得到一個更好的效果。

Technology-MachineLearning-FaceRegonition-DeepLeaning-Example

關鍵點檢測、跟蹤

傳統演算法

Cascade regression/ESR/SDM

傳統演算法步驟：

根據人臉檢測的框位置，先初始化初始臉部輪廓位置;

進行上一步位置和圖形特徵檢測下一步位置(一般是迭代殘差);

進行迭代，最終得到相對准確的輪廓位置。

Technology-MachineLearning-FaceRegonition-KeyPoints

深度學習

深度學習演算法步驟：

對圖像進行輪廓定位態校正;

全局粗定位;

局部精細定位。

作者：YI_LIN
來源：簡書