A. 激光點雲預處理研究概述
3D點雲數據的預處理是利用有效點雲信息進行三維重建及障礙物感知的基礎，是3D點雲配准、3D點雲拼接環節的前提。一般的 3D 點雲預處理工作包括地面點雲去除、點雲濾波和點雲分割。在三維點雲數據處理過程中，點雲數據離群點、雜訊點的剔除以及點雲數據的配准不僅是點雲數據處理中的重要環節，也是後期對點雲數據進行特徵提取完成檢測環節的基礎。
在進行目標物體分割時，將離散的三維數據點聚類的判斷依據為點與點之間距離是否接近，而在激光雷達點雲數據中，有很大一部分數據屬於地面點數據，並且地面點雲呈現為紋理狀，這對後續障礙物點雲的分類，識別帶來干擾，如果不將這些地面點數據去除，在進行目標物體分割時會導致分割演算法失效，因此需要先進行過濾。所以，地面點雲數據去除是減少數據量以及提高分割演算法准確度的有效手段。
因此為了提高去除地面點雲演算法的准確性和魯棒性，許多學者提出了大量研究方法，這些方法主要有以下兩類：基於柵格圖方法的地面去除研究、基於三維激光雷達原始掃描線數據的地面去除研究。
通過激光雷達掃描得到的點雲包含大部分地面點，常用的柵格圖方法地面濾除點雲方法有柵格高度差法、法向量方法和高度法。柵格高度法首先根據柵格大小生成網格，計算每個網格最低點與最高點的高度差，比較h與預設高度差閾值大小，對網格進行分類，最後根據網格對網格內的點進行分類。法向量法是基於計算出地面法向量為豎直向下或向上的假設，即地面點法向量值為(0,0,1)或(0,0,-1)。方法過程是計算點法向量並設定點分類的法向量閾值。高度法去除地面點雲，是最常用且耗時最小的方法。根據激光雷達安裝位置與姿態，可以根據設定閾值直接將點雲分為地面點和障礙物點。
基於柵格圖的點雲處理方式是通過將三維點雲數據投影到地面，建立多個柵格單元，採用連通區域標記演算法或者鄰域膨脹策略對目標進行聚類，這類方法被廣泛應用在激光雷達三維建模中。一是因為三維點雲向二維平面投影過程極大地壓縮了數據量，能夠提高演算法處理的實時性；二是因為點雲向柵格圖的映射，將復雜的三維點雲處理問題轉化為圖像處理問題，可以使用成熟的圖像處理相關演算法，提高了演算法處理的時間效率。柵格法簡單可靠、計算效率高，但是柵格單元參數固定且往往憑經驗確定，遠距離目標點雲較為稀疏往往會出現過分割，而近距離目標點雲較為稠密又會出現欠分割，演算法嚴重依賴於閾值參數的選擇，且往往需要逐幀進行分析，必然損失部分實時性。
由於三維激光雷達的原始三維數據包含了詳細的空間信息，所以也可以用來進行相關點雲數據處理。激光掃描線在地面和障礙物形成的角度值存在顯著的不同，可作為分離地面點的重要依據。激光雷達中的多個激光器水平掃描周圍環境中的物體，在兩個相鄰物體之間形成的角度很小，而同一物體的角度值很大。這啟示了我們可以充分利用這一特性，大於角度閾值可認為這兩點是同一物體，較好地處理了相鄰目標欠分割的問題。通過將非地面點雲分割為不同物體，然後進行目標物體的識別，可以為無人車提供更加詳細的車輛、行人等障礙物信息，在運動中避免與不同類型的障礙物發生碰撞並進行及時避讓。地面點雲欠分割會導致目標漏檢，過分割又會對後續的識別等操作帶來影響。利用激光雷達產生點雲的幾何特性，研究人員提出了多種特徵構建的方法，基於三維激光雷達原始掃描線數據的地面去除研究屬於其中較為常用的方法。
激光雷達在採集三維點雲數據的過程中，會受到各類因素的影響，所以在獲取數據時，就會出現一些雜訊。其實在實際工作中除了自身測量的誤差外，還會受到外界環境的影響如被測目標被遮擋，障礙物與被測目標表面材質等影響因素；另外，一些局部大尺度雜訊由於距離目標點雲較遠，無法使用同一種方法對其進行濾波。
雜訊就是與目標信息描述沒有任何關聯的點，對於後續整個三維場景的重建起不到任何用處的點。但是在實際的點雲數據處理演算法中，把雜訊點和帶有特徵信息的目標點區別開來是很不容易的，去噪過程中由於許多外在因素總是不可避免的伴隨著一些特徵信息的丟失。一個好的點雲濾波演算法不僅實時性要求高，而且在去噪的同時也要很好的保留模型的特徵信息[88]。就需要把點雲數據的雜訊點特徵研究透徹，才能夠提出效果更好的去噪演算法。
點雲數據是一種非結構化的數據格式，激光雷達掃描得到的點雲數據受物體與雷達距離的影響，分布具有不均勻性，距離雷達近的物體點雲數據分布密集，距離雷達遠的物體點雲數據分布稀疏。此外，點雲數據具有無序和非對稱的特徵，這就導致點雲數據在數據表徵時缺乏明確統一的數據結構，加劇了後續點雲的分割識別等處理的難度。神經網路作為一種端到端的網路結構，往往處理的數據是常規的輸入數據，如序列、圖像、視頻和3D數據等，無法對點集這樣的無序性數據直接進行處理，在用卷積操作處理點雲數據時，卷積直接將點雲的形狀信息舍棄掉，只對點雲的序列信息進行保留。
點雲濾波是當前三維重建技術領域的研究熱點，同時也是許多無人駕駛應用數據處理過程中至關重要的一步。3D點雲濾波方法主要可以分為以下三類，主要包括基於統計濾波、基於鄰域濾波以及基於投影濾波。
由於統計學概念特別符合點雲的特性，因此，許多國內外學者都將統計學方法引用到點雲濾波技術中，Kalogerakis 等人將一種穩健統計模型框架運用到點雲濾波中，取得了非常好的濾波效果。在這個統計模型框架中，通過使用最小二乘迭代方法來估計曲率張量，並在每次迭代的時候根據每個點周圍的領域來為樣本分配權重，從而細化每個點周圍的每一個鄰域。然後利用計算獲得的曲率以及統計權重來重新校正正態分布。通過全局能量的最小化並通過計算出的曲率和法線來把離群點去掉，並且能較好的保持點雲的紋理特徵。
基於鄰域的點雲濾波技術，就是通過使用一種相似性度量的方法來度量點和其他周圍鄰域對濾波效率與結果影響比較大點的相似性，從而來確定濾波點的位置。一般來說，可以通過點雲的位置、法線和區域位置來度量其相似性。1998年，Tomasi等人將雙邊濾波器擴展到 3D 模型去噪，由於雙邊濾波器具有維持邊緣平滑的特點，所以在除去點雲數據雜訊的同時也能較好的保持細節。但是，由於該方法是通過一個網格生成的過程來去噪的，而在生成網格的過程就會引入額外的雜訊。相比較於規則格網、不規則三角網等數據結構，體元是真3D的結構並且隱含有鄰域關系，能夠有效的防止生成網格的過程中引入雜訊，但該方法的需要設置的參數比較多，不能滿足實際工業運用。
基於投影濾波技術通過不同的投影測量來調整點雲中每個點的位置，從而實現雜訊點雲的去除。但是，如果輸入的點雲特別不均勻，經過局部最優投影處理後的點雲將變得更散亂。孫渡等人提出了一種基於多回波及 Fisher 判別的濾波演算法。首先結合格網劃分思想劃分點雲網格，在每個網格內，通過點雲數據的回波次數和強度進行劃分，分出待定的樣本；其次，利用Fisher判別的分析法將點雲投影到一維空間內，通過判定臨界值將植被點雲與地面點雲分離，實現陡坡點雲的濾波，但是，該方法只針對點雲中含有回波強度的屬性才有效，對於不包含回波強度信息的點雲，該方法失去作用。
為彌補點雲本身的無序性、不對稱性、非結構化和信息量不充分等缺陷，在對點雲進行特徵識別及語義分割等操作之前，需先對點雲進行數據形式的變換操作。常用的點雲形式變換方法有網格化點雲、體素化點雲、將點雲進行球面映射等。
體素化是為了保持點雲表面的特徵點的同時濾除不具備特徵的冗餘的點雲數據。由於常用的法向量計算取決於相鄰點的數量，並且兩個雲點的解析度也不同。所以具有相同體素大小的體素化就是為了在兩個不同解析度的點雲中生成等效的局部區域。在實際進行點雲配准演算法的過程中，由於用於配準的源點雲數據與目標點雲數據的數量比較龐大、點雲密集，並且這些原始點雲數據中含有許多點雲對於描述物體形狀特徵沒有任何作用的點，如果使用演算法直接對源點雲與目標點雲進行配置的話，整個過程將耗費大量時間，所以必須對點雲進行下采樣的同時仍保留住可以體現形狀輪廓特徵的那部分點雲。
由於點雲本身的稀疏性、無序性和非均勻分布的特點，在利用深度全卷積神經網路結構對激光雷達點雲數據進行語義分割時，端到端的卷積神經網路無法直接對無序排布點雲進行操作。為使端到端的神經網路在無序性分布的點雲數據上具有通用性，需先對點雲數據進行映射，常見的投影方式有基於平面的投影、基於圓柱面的投影以及基於球面的點雲投影方式。
參考：
周天添等（基於深度神經網路的激光雷達點雲語義分割演算法研究）
李宏宇（激光雷達的點雲數據處理研究）
范小輝（基於激光雷達的行人目標檢測與識別）
B. 機器視覺系統中圖像分割技術傳統方法概論1
姓名：寇世文
學號：21011110234
學院：通信工程學院
【嵌牛導讀】：隨著人工智慧技術的不斷發展，智能機器人領域也得到了空前的發展。尤其是深度神經網路廣泛應用於視覺系統中後，取得了許多很明顯的成效。對於自主移動機器人來說，視覺系統有著十分重要的作用，而圖像分割技術更是在這個系統中擔任著十分重要的角色。傳統的圖像分割技術基本上已經能夠將圖像的前景和後景分隔開來，但是近年來隨著深度學習演算法的發展，人們開始將其應用到圖像分割中，提出了很多分割網路，也達到了很好的分割效果。在實現圖像分割的基礎上，人們還使得分割具有了語義類別和標簽，就是現在的語義分割。本文在介紹了語義分割的基礎上又引出了新的任務分割場景，實例分割和全景分割。並且介紹了最近研究的熱點三維點雲的語義分割問題，闡述了其實現的必要性。
【嵌牛鼻子】智能機器人，圖像分割、語義分割、計算機視覺
【嵌牛提問】圖像分割技術的傳統常見方法
【嵌牛正文】
一、引言
計算機視覺，即computer vision，就是通過計算機來模擬人的視覺工作原理，來獲取和完成一系列圖像信息處理的機器。計算機視覺屬於機器學習在視覺領域的應用，是一個多學科交叉的研究領域，其涉及數學、物理、生物、計算機工程等多個學科。
計算機視覺的主要應用有無人駕駛、人臉識別、無人安防、車輛車牌識別、智能傳圖、3D重構、VR/AR、智能拍照、醫學圖像處理、無人機、工業檢測等。人駕駛又稱自動駕駛，是目前人工智慧領域一個比較重要的研究方向，讓汽車可以進行自主駕駛，或者輔助駕駛員駕駛，提升駕駛操作的安全性。人臉識別技術目前已經研究得相對比較成熟，並在很多地方得到了應用，且人臉識別准確率目前已經高於人眼的識別准確率。安防一直是我國比較重視的問題，也是人們特別重視的問題，在很多重要地點都安排有巡警巡查，在居民小區以及公司一般也都有保安巡查來確保安全。車輛車牌識別目前已經是一種非誠成熟的技術了，高速路上的違章檢測，車流分析，安全帶識別，智能紅綠燈，還有停車場的車輛身份識別等都用到了車輛車牌識別。3D重構之前在工業領域應用比較多，可以用於對三維物體進行建模，方便測量出物體的各種參數，或者對物體進行簡單復制。計算機視覺還有很多應用，隨著技術的發展，應用領域也會越來越多。在工業領域的應用，在機器人技術方面的應用等。
對於傳統的圖像分割過程，通常可以分為5個步驟，即特徵感知、圖像預處理、特徵提取、特徵篩選和推理預測與識別。通過研究發現，在視覺的早期的發展過程中，人們對於圖像中的特徵並沒有表現出足夠的關注。且傳統的分割過程是把特徵提取和分類分開來做的，等到需要輸出結果的時候再結合到一起，可想而知其實現的困難程度。
在深度學習演算法出來之後，卷積神經網路被廣泛應用於計算機視覺技術中，也因此衍生出了很多的研究方向。深度學習主要是以特徵為基礎來進行比對，如在人臉識別方面，使用卷積神經網路分別對兩張人臉進行不同位置的特徵提取，然後再進行相互比對，最後得到比對結果。目前的計算機視覺的主要研究方向有圖像分類、目標檢測、圖像分割、目標跟蹤、圖像濾波與降噪、圖像增強、風格化、三維重建、圖像檢索、GAN等。本文主要是針對圖像分割這一領域，進行簡要的概述。
圖像分割技術是計算機視覺領域的個重要的研究方向，是圖像語義理解的重要一環。圖像分割是指將圖像分成若干具有相似性質的區域的過程，從數學角度來看，圖像分割是將圖像劃分成互不相交的區域的過程。近些年來隨著深度學習技術的逐步深入，圖像分割技術有了突飛猛進的發展，該技術相關的場景物體分割、人體前背景分割、人臉人體Parsing、三維重建等技術已經在無人駕駛、增強現實、安防監控等行業都得到廣泛的應用。
二、發展現狀
近來已經有很多學者將圖像分割技術應用到移動機器人的控制中，能夠做到在機器人運動的同時定位、構建地圖並分割出不同的前景和後景，使視覺系統掃描到的圖像具有語義信息。並有學者也致力於分割得更為准確和精細，不僅能夠做到區分不同類的物體，也能夠實現對同類的不同物體的分類，甚至可以做到在此基礎上加上對背景的分割。由於我們生活的世界是三維空間，還有學者將圖像場景還原到三維中，然後使用相關方法對整個三維場景進行分割。作為計算機視覺的研究中的一個較為經典的難題，圖像分割這一領域也越來越被人們所關注。
首先是傳統的圖像分割方法。在傳統分割方面，人們使用數字圖像處理、拓撲學、數學等方面的知識來進行圖像分割。雖然現在的算力逐漸增加且深度學習不斷發展，一些傳統的分割方法所取得的效果不如深度學習，但是其分割的思想仍有很多值得我們去學習的。
第一種方法是基於閾值的圖像分割方法。這種方法的核心思想是想根據圖像的灰度特徵來給出一個或多個灰度閾值，將此閾值作為一個標准值與圖像中的每個像素逐一進行比較。很容易想到，通過這個逐一比較過程能夠得到兩類結果，一類是灰度值大於閾值的像素點集，另一類是灰度值小於閾值的像素點集，從而很自然地將圖像進行了分割。所以，不難發現，此方法的最關鍵的一步就是按照一定的准則函數來得到最佳灰度閾值，這樣才能夠得到合適的分類結果。值得一提的是，如果圖像中需要分割的目標和背景分別占據了不同的灰度值甚至是不同的等級，那使用這種方法會得到很好的效果。並且，假如對於一張圖像的處理，我們只需要設定一個閾值時，可以將其稱為單閾值分割。但是圖像中如果不止一個目標，即有多個目標需要進行提取的時候，單一閾值分割就無法做到將它們都分割開來，此時應選取多個閾值對其進行處理，這個分割的過程為多閾值分割。總的來說，閾值分割法有著其獨特的特點，其計算簡單、效率較高。但是，由於這種方法只考慮的是單個像素的灰度值及其特徵，而完全忽略了空間特徵，這也就導致了其對雜訊比較敏感且魯棒性不高。
第二種方法是基於區域的圖像分割方法。這種方法具有兩種基本形式：一種是區域生長，這種分割方法是從單個像素出發，逐漸將相似的區域進行合並，最終得到需要的區域。另一種方法是直接從圖像的全局出發，一點一點逐步切割至所需要的區域。區域生長指的是，給定一組種子像素，其分別代表了不同的生長區域，然後讓這些種子像素逐漸合並鄰域里符合條件的像素點。如果有新的像素點添加進來，同樣把它們作為種子像素來處理。
區域分裂合並的分割過程可以說是區域生長的逆過程，這種方法是從圖像的全局出發通過不斷分裂得到各個子區域，然後提取目標的過程。此外，在此過程中，還需要合並前景區域。
在區域分割方法中還有一種分水嶺演算法。受啟發於分水嶺的構成，這種分割方法將圖像看作是測地學上的拓撲地貌，這樣圖像中每一個像素點對應的海拔高度可以用該點的灰度值來表示。分水嶺的形成過程實際上可以通過模擬浸入過程來實現。具體做法是，在每個局部極小值的表面都刺穿一個小孔，然後把模型慢慢浸入水中，隨著水慢慢浸入其中，分水嶺就隨之形成了。
第三種方法是基於邊緣檢測的分割方法。邊緣檢測的思想就是試圖通過檢測不同物體的邊緣來將圖像分割開來，這種方法是人們最先想到的也是研究最多的方法之一。如果我們將圖片從空間域變換到頻率域中去，其中物體的邊緣部分就對應著高頻部分，很容易就能夠找到邊緣信息，因此也使得分割問題變得容易。邊緣檢測的方法能夠實現快而且准確的定位，但是其不能保證邊緣的連續性和封閉性，且當一幅圖像的細節信息過多時，其就會在邊緣處產生大量的細碎邊緣，在形成完整的分割區域時就會有缺陷。
第四種圖像分割方法結合了特定的工具。這里所說的特定工具是各種圖像處理工具以及演算法等，隨著圖像分割研究工作的深入，很多學者開始將一些圖像處理的工具和一些演算法應用到此工作中，並取得了不錯的結果。小波變換在數字圖像處理中發揮著很重要的作用，它能夠將時域和頻域統一起來研究信號。尤其是在圖像邊緣檢測方面，小波變換能夠檢測二元函數的局部突變能力。其次是基於遺傳演算法的圖像分割，遺傳演算法主要借鑒了生物界自然選擇和自然遺傳機制的隨機化搜索方法。其模擬了由基因序列控制的生物群體的進化過程，其擅長於全局搜索，但是局部搜多能力不足。將遺傳演算法應用到圖像處理中也是當前研究的一個熱點問題，在此選擇這種方法的主要原因是遺傳演算法具有快速的隨機搜索能力，而且其搜索能力與問題的領域沒有任何關系。
除此之外，還有基於主動輪廓模型的分割方法，這種方法具有統一的開放式的描述形式，為圖像分割技術的研究和創新提供了理想的框架。此方法也是對邊緣信息進行檢測的一種方法，主要是在給定圖像中利用曲線演化來檢測目標。
C. CVPR 2020 論文閱讀筆記（三維點雲/三維重建）
論文地址： https://arxiv.org/abs/2003.00410
前置文章：10/16、10/17、10/18
本文提出了Point Fractal Network(PF-Net),旨在從不完整的點雲數據中恢復點雲，克服了之前方法修改現有數據點、引入雜訊和產生幾何損失的缺點。
由前置文章可知，之前的點雲修復方法是輸入不完整的點雲，輸出完整的點雲，但這樣會導致原有信息的缺失。這篇文章提出PF-Net，主要特點有三個：
網路的整體結構如下：
網路詳細推理步驟如下：
損失函數使用完整性損失和對抗損失的加權平均，完整性損失使用L-GAN中提出的CD距離：
對抗損失使用GAN中常見的損失函數
感覺這篇文章對多尺度的運用非常極致，在編碼器、解碼器和CMLP中都應用了這種思想，最後的效果也非常不錯，很值得借鑒。
論文地址： https://arxiv.org/abs/1612.00593
PointNet提出一種基礎的網路結構，可以用於點雲分類、部分分割和語義分割等多種任務。在這篇文章之前，點雲數據的處理方式是將點雲數據轉換為多個二維的視圖或三維的體素形式，然後應用2D/3D CNN進行處理，但這樣引入了多餘的體積，效率不高。本文是第一個直接使用點雲數據的神經網路。（其實可以這樣類比，在二維圖像處理中，假設圖像是二值化的，傳統方法是將這個圖像直接丟到CNN裡面，但如果背景特別多會比較浪費資源。直接使用點雲數據相當於直接將前景像素的坐標輸入到神經網路裡面，對稀疏數據會有比較好的性能，但因為以下三個問題導致直接使用坐標信息比較困難）
由於點雲的排列是無序的（可以想像，點雲中任意一點排在前面對點雲的表達都是相同的）、點雲之間是有相互作用的（相鄰的點雲才能構成形狀）、點雲在某些變換下具有不變性（比如旋轉不會改變點雲的類別）這些特性，要求神經網路既能處理無序的數據，又能捕捉全局的結構特徵，同時對剛性變換不敏感。基於這些條件，作者提出了如下的網路結構：
可以簡要分析一下網路的工作流程，以點雲分類問題為例：
感覺網路的結構雖然簡單，但是卻很好地滿足了點雲數據自身特性對神經網路的要求。而且我覺得在圖像處理中，也有時候必須用到坐標信息或者一些標量特徵，這篇文章的方法對於怎樣將這些特徵融合進CNN裡面也有一定的啟發意義。
論文地址： http://proceedings.mlr.press/v80/achlioptas18a.html
這篇文章的主要工作是：
首先來看衡量兩個點雲相似程度的指標部分，作者首先給出了兩個距離，EMD和CD：
在計算上，CD更為簡便，而且EMD是不可導的。
基於這兩種距離，作者引入了三種衡量兩個點雲相似程度的指標：JSD、Coverage和MMD：
定義了指標後，就可以實現自動編碼器和生成模型了。作者提到了四種結構，分別是：
作者同時驗證了AE的一些其他功能，比如如果給AE的編碼器輸入不完整的點雲數據，即可訓練得到點雲復原的模型。使用SVM對低維表示進行分類，即可進行點雲分類的任務，證明AE在點雲數據形式中的潛在應用較為廣泛。
論文地址： http://papers.nips.cc/paper/7095-pointnet-deep-hierarchical-feature-learning-on-point-se
PointNet++針對PointNet提取局部信息能力不強的弊端，提出了一種層次神經網路，可以更好地提取局部信息。其中心思想是將整個點雲分割成若干個小部分來提取信息，然後將每個小部分整合成較大的部分，提取更高層次的信息。類似於CNN中卷積和下采樣的思想。首先來看網路結構圖：
網路大概可以分為兩個部分，左邊是層次的點雲特徵提取網路，右邊是針對不同任務的解碼網路。
特徵提取分為若干個set abstraction模塊，每個模塊又分為采樣層、分組層和特徵提取層。
得到了較高層次的特徵後，對不同的任務需要不同的解碼網路。對分類網路來說比較簡單，使用全連接即可。對分割網路來說，由於對每個點都需要輸出數值，則需要類似上采樣的操作。具體的實現作者使用了插值的方法，將較少的點插值到較多的點上去。首先找到插值的目標坐標，然後尋找K個距離最近的已知點，以距離的倒數作為權重，將K個點的特徵做加權平均，作為這個點的特徵。然後使用之前特徵提取中得到的該點的特徵與當前特徵做一個拼接，即可得到最終特徵（類似U-Net的skip connection）。公式如下：
感覺這篇文章和PF-Net的思想差不多，都是希望提取多尺度的特徵。但是思路不一樣，都值得借鑒。
D. 三坐標 傳統測量方法與數字測量方法相比較有何特點
1，傳統為接觸式測量檢測。
2，數字是指快速掃描測量。
特點：1是普通速度，精度高，大概在1-2μ。2是快速掃描出點雲，精度要差些，大概在10-25μ
E. 標題 點雲數據三種採集方法的優缺點
格點采樣、均勻采樣、幾何采樣。
1.格點采樣：優點：效率非常高。采樣點分布比較均勻，但是均勻性沒有均價采樣高，可以通過格點的尺寸控制點間距。缺點：不能精確控制采樣點個數。
2.均勻采樣：優點：采樣點分布均勻。缺點：演算法時間復雜度有些高，因為每次采樣一個點，都要計算集合到集合之間的距離。
3.幾何采樣：優點：計算效率高，采樣點局部分布是均勻的，穩定性高：通過幾何特徵區域的劃分，使得采樣結果抗噪性更強。
點雲數據（point cloud data）是指在一個三維坐標系統中的一組向量的集合。掃描資料以點的形式記錄，每一個點包含有三維坐標，有些可能含有顏色信息（RGB）或反射強度信息。
F. 點雲數據處理
三維計算視覺研究內容包括：
（1）三維匹配：兩幀或者多幀點雲數據之間的匹配，因為激光掃描光束受物體遮擋的原因，不可能通過一次掃描完成對整個物體的三維點雲的獲取。因此需要從不同的位置和角度對物體進行掃描。三維匹配的目的就是把相鄰掃描的點雲數據拼接在一起。三維匹配重點關注匹配演算法，常用的演算法有 最近點迭代演算法 ICP 和各種全局匹配演算法。
（2）多視圖三維重建：計算機視覺中多視圖一般利用圖像信息，考慮多視幾何的一些約束，相關研究目前很火，射影幾何和多視圖幾何是視覺方法的基礎。在攝影測量中類似的存在共線方程，光束平差法等研究。這里也將點雲的多視匹配放在這里，比如人體的三維重建，點雲的多視重建不僅強調逐幀的匹配，還需要考慮不同角度觀測產生誤差累積，因此也存在一個優化或者平差的過程在裡面。通常是通過觀測形成閉環進行整體平差實現，多視圖重建強調整體優化。可以只使用圖像，或者點雲，也可以兩者結合（深度圖像）實現。重建的結果通常是Mesh網格。
（3）3D SLAM：點雲匹配（最近點迭代演算法 ICP、正態分布變換方法 NDT）+位姿圖優化（ g2o 、LUM、ELCH、Toro、SPA）；實時3D SLAM演算法 （LOAM）；Kalman濾波方法。3D SLAM通常產生3D點雲，或者Octree Map。基於視覺（單目、雙目、魚眼相機、深度相機）方法的SLAM，比如orbSLAM，lsdSLAM...
（4）目標識別：無人駕駛汽車中基於激光數據檢測場景中的行人、汽車、自行車、以及道路和道路附屬設施（行道樹、路燈、斑馬線等）。
（5）形狀檢測與分類：點雲技術在逆向工程中有很普遍的應用。構建大量的幾何模型之後，如何有效的管理，檢索是一個很困難的問題。需要對點雲（Mesh）模型進行特徵描述，分類。根據模型的特徵信息進行模型的檢索。同時包括如何從場景中檢索某類特定的物體，這類方法關注的重點是模型。
（6）語義分類：獲取場景點雲之後，如何有效的利用點雲信息，如何理解點雲場景的內容，進行點雲的分類很有必要，需要為每個點雲進行Labeling。可以分為基於點的方法，基於分割的分類方法。從方法上可以分為基於監督分類的技術或者非監督分類技術，深度學習也是一個很有希望應用的技術。
（7）立體視覺與立體匹配 ZNCC
（8）SFM（運動恢復結構）
1、點雲濾波方法（數據預處理）：
雙邊濾波、高斯濾波、條件濾波、直通濾波、隨機采樣一致性濾波。
VoxelGrid
2、關鍵點
ISS3D、Harris3D、NARF
SIFT3D、
3、特徵和特徵描述
法線和曲率計算 NormalEstimation 、特徵值分析Eigen-Analysis、 EGI
PFH、FPFH、3D Shape Context、Spin Image
4、 點雲匹配
ICP 、穩健ICP、point to plane ICP、Point to line ICP、MBICP、GICP
NDT 3D 、Multil-Layer NDT
FPCS、KFPCS、SAC-IA
Line Segment Matching 、ICL
5、點雲分割與分類
分割：區域生長、Ransac線面提取、NDT-RANSAC、
K-Means、Normalize Cut（Context based）
3D Hough Transform(線、面提取)、連通分析、
分類：基於點的分類，基於分割的分類；監督分類與非監督分類
6、SLAM圖優化
g2o 、LUM、ELCH、Toro、SPA
SLAM方法：ICP、MBICP、IDC、likehood Field、 Cross Correlation 、NDT
7、目標識別、檢索
Hausdorff 距離計算（人臉識別）
8、變化檢測
基於八叉樹的變化檢測
9. 三維重建
泊松重建、Delaunay triangulations
表面重建，人體重建，建築物重建，樹木重建。
實時重建：重建植被或者農作物的4D（3D+時間）生長態勢；人體姿勢識別；表情識別；
10.點雲數據管理
點雲壓縮，點雲索引（KD、Octree），點雲LOD（金字塔），海量點雲的渲染
點雲驅動的計算機圖形學主要研究應用
http://vcc.szu.e.cn/research/2015/Points/