雙目視覺視差計算方法

① 視差的視差計演算法

觀測者在兩個不同位置看同一天體的方向之差。可用觀測者的兩個不同位置之間的距離（基線）在天體處的張角來表示。天體的視差與天體到觀測者的距離之間存在著簡單的三角關系，因此能以視差的值表示天體的距離，而以此測定天體距離的方法稱為三角視差法。在測定太陽系內天體的距離時，以地球半徑為基線，所得視差稱為周日視差。周日視差隨著天體的高度變化而改變，當天體位於地平時滾彎，它的周日視差達到極大值，稱為周日地平視差。當觀測者位於赤道時，天體的周日地平視差具有最大值，稱為赤道地平視差。在測定恆星的距離時，以地球畢肆繞太陽公轉的軌道半長徑（即太陽和地球的平均距離）為基線，所得視差稱為周年視差。假設恆星位於黃極方向時的周年視差稱為恆星周年視差，簡稱恆星視差，用π表示。恆星視差只與恆星至太陽的距離有關，所以通常用π表示恆星距離。所有恆星的π值都小於1〃。由於太陽在空間運動所產生的視差稱為長期視差，也稱視差動。它取太陽在一年裡所走過的距離為基線。
解題過程
人們常常用「天文數字」來形容數字的巨大，事實也確實如此：日－地距離是149597 870千米，仙女座星系距離我們236萬光年，整個宇宙的尺度大約是1500y光年（大約合94608ykm）。 這些碩大無朋的數字是什麼得出的？天文學家用的是什麼尺子？窗口望去我可以判斷大街上的行人距離我多遠，這依靠的是周圍的參照物和生活常識，要測量旗桿的高度可以把它放倒然後用尺子量。然而對於天文學家來說，這些方法全都是遙不可及——的確是遙不可及，天文學家的工作就是研究那些遙不可及的天體。那麼，天文學家是如何測量距離的呢？ 從地球出發 首先來說說視差。什麼是視差呢？視差就是觀測者在兩個不同位置看到同一天體的 方向之差。我們來做個簡單的實驗：伸出你的右手拇指，交替閉合和睜開雙眼，你會 發現拇指向對於背景左右移動。這就是視差。在工程上人們常用三角視差法測量距離 。如圖，如果我們測量出∠α、∠β和兩角夾邊a（稱作基線）， 那麼這個三角形就 可以被完全確定。
天體的測量也可以用三角視差法。它的關鍵是找到合適的邊長a——因為天體的距 離通常是很大的——以及精確測量角度。 我們知道，地球繞太陽作周年運動，這恰巧滿足了三角視差法的條件：較長的基 線和兩個不同的觀測位置。試想地球在軌道的這一側和另一側，觀測者可以察覺到恆 星方向的變化——也就是恆星對日－地距離的張角θ（如圖）。圖中所示的是周年視 差的定義。通過簡單的三角學關系可以得出：r=a/sinθ 由於恆星的周年視差通常小於1°，所大數悶以（使用弧度制）sinθ≈θ。如果我們用角 秒錶示恆星的周年視差的話，那麼恆星的距離r=206 265a/θ。 通常，天文學家把日－地距離a稱作一個天文單位（A.U.）。只要測量出恆星的周 年視差，那麼它們的距離也就確定了。當然， 周年視差不一定好測。 第谷一輩子也 沒有觀測的恆星的周年視差——那是受當時的觀測條件的限制。 天文單位其實是很小的距離，是天文學家又提出了秒差距（pc）的概念。也就是說，如果恆星的周年視差是1角秒（1/3600秒），那麼它就距離我 們1秒差距。很顯然，1秒差距大約就是206265天文單位。 遺憾的是，我們不可能把周年視差觀測的相當精確。現代天文學使用三角視差法 大約可以精確的測量幾百秒差距內的天體，再遠，就只好望洋興嘆了。 星等是表示天體相對亮度的數值。我們直接觀測到的星等稱為視星等，如果把恆 星統一放到10秒差距的地方，這時我們測量到的視星等就叫做絕對星等。視星等（m） 和絕對星等（M）有一個簡單的關系： 5lg r=m-M+5 這就意味著，如果我們能夠知道一顆恆星的視星等（m） 和絕對星等（M），那麼 我們就可以計算出它的距離（r）。不消說，視星等很好測量，那麼絕對星等呢？很幸 運，通過對恆星光譜的分析我們可以得出該恆星的絕對星等。這樣一來，距離就測出 來了。通常這被稱作分光視差法。 絕對星等是很有用的。天文學家通常有很多方法來確定絕對星等。 比如主星序重疊法。如果我們認為所有的主序星都具有相同的性質。那麼相同光譜 型的恆星就有相同的絕對星等。如果對照太陽附近恆星的赫羅圖，我們就可以求出遙
遠恆星的絕對星等，進而求出距離。造父變星是一種性質非常奇特的恆星。所謂變星是指光度周期性變化的恆星。造
父變星的獨特之處就在於它的光變周期和絕對星等有一個特定的關系（稱為周光關系）。通過觀測光變周期就可以得出造父變星的絕對星等。有了絕對星等，一切也就好 說了 造父變星有兩種：經典造父變星和室女座W型造父變星， 它們有不同的周光關系 。天琴座的RR型變星也具有特定的周光關系，因此也可以用來測定距離。這種使用變 星測距的方法大致可以測量108秒差距的恆星。 人們觀測到，更加遙遠的恆星的光譜都有紅移的現象，也就是說，恆星的光譜整個向紅端移動。造成這種現象的原因是：遙遠的恆星正在快速的離開我們。根據多普勒效應可以知道，離我們而去的物體發出的光的頻率會變低。
1929年，哈勃（Hubble，E.P.）提出了著名的哈勃定律，即河外星系的視向退行 速度和距離成正比：v=HD.這樣，通過紅移量我們可以知道星體的推行速度，如果哈勃常數H確定，那麼距離也就確定了（事實上，哈勃太空望遠鏡的一項主要任務就是確定
哈勃常數H）。 這樣，我們就可以測量到這個可觀測宇宙的邊緣了。 不過還是有一個問題，這種天文學的測量如同一級一級的金字塔，那麼金字塔的地基——天文單位到底是多少呢？如果測量不出天文單位，其他的測量就都成了空中樓閣 天文單位的確是天文測量的基石。20世紀60年代以前，天文單位也是用三角測量法測出的，在這之後，科學家使用雷達測量日－地距離。 雷達回波可以很准確的告訴我們太陽里我們有多遠，這樣一來，天文學家就可以大 膽的測量遙遠的星辰了。

② 什麼是視差

問題一：什麼是視差 視差是從兩個不同的點查看一個物體時，視位置的移動或差異，量度的大小位是這兩條線交角的角度或半形度。一個簡單的，日常都御卜擾能見到的視差例子是，汽車儀錶板上指針顯示的速度計。當從正前方觀看時，顯示的正確數值可能是60；但從乘客的位置觀看，由於視角的不同，指針顯示的速度可能會略有不同。

問題二：工程測量什麼叫視差?產生視差的原因是什麼?如何消除 簡明扼要的說（這是老師給總結的）：視差是指眼睛在目鏡端上下移動，所看見的目標有移動。原因是物像與十字絲分劃板不共面。消除方法是同時仔細調節俯鏡調焦螺旋和物鏡調焦螺旋。這道題考試的標准答案就是這樣的

問題三：什麼是視差圖 視差圖是以圖像對中任一幅圖像為基準，其大小為該基準圖像的大小，元素值為視差值的圖像。
由於視差圖包含了場景的距離信息，因此從立體圖像對中提取視差圖的圖像匹配，一直是雙目視覺研究中最為活躍的領域

問題四：在土木測量中什麼是視差 視差是觀測是把眼睛稍作上下移動，尺像與十字絲有相對移動的現象。

問題五：什麼是視差 視差就是從有一定距離的兩個點上觀察同一個目標所產生的方向差異。從目標看兩個點之間的夾角，叫做這兩個點的視差，兩點之間的距離稱作基線。只要知道視差角度和基線長度，就可以計算出目標和觀測者之間的距離。
視差 (PARALLAX)還指攝影機中觀景窗和鏡頭所取到的景框的差異。
觀測者在兩個不同位置看同一天體的方向之差。比如，當你伸鎮旦出一個手指放在眼前，先閉上右眼，用左眼看它；再閉上左眼，用右眼看它，會發現手指相對遠方的物體的位置有了變化，這就是從不同角度去看同一點的視差。視差可用觀測者的兩個不同位置之間的距離（基線）在天體處的張角來表示。
因為人的左、右眼有間距，造成兩眼的視角存在細微的差別，而這樣的差別會讓兩隻眼睛分別觀察的
簡單的視差例子
景物有一點點的位移。人類之所以能夠產生有空間感的立體視覺效果，恰恰就是這種在醫學上被稱之為視差的位移，在大腦中的有機合成。大開眼界，其實就是視差的作用結果。同一個人的不同眼睛，觀察事物的結果尚不盡相同，不同人的眼睛，自然更是相去甚遠。當你和你的搭檔之間出現「視覺差異」時，不妨換個角度看看，學會說服自己，學會放棄已見。那時候你會發現：你們之間的不同見解，存在著合成的可能，而且合成的結果會讓你茅塞頓開，讓你大開眼界。要學會利用角度、利用視差。別忘了：如果兩眼之間沒有3CM的距離，那麼你永遠無法享受3D！

問題六：工程測量什麼叫視差?產生視差的原因是什麼?如何消除 視差產生的原因：由於度量標尺（分劃板）與被測物體（像）不共面，使得當眼睛晃動（觀察位置稍微改變）時，標尺與被測物體之間會有相對移動。消除視差的方法：若待測像與標尺（分劃板）之間有視差時，說明兩者不共面，應稍稍調節像或標尺（分劃板）的位置，並同時微微晃動眼睛，直到待測像與標尺之間無相對移動即無視差。具體辦法是：在分光計目鏡前上下晃動眼睛並觀察：當眼睛向上移動時，若綠十字像向下移動，則說明綠十字像位置在分劃板前面（如上圖的演示所示），因此只需將目鏡略微移出來一點即可；反之，若綠十字像向上移動，則說明綠十字像位置在分劃板後面，將目鏡略微移進去一點即可；反復多次調節，直至像與弊宏標尺之間無相對移動即可完全消除視差。 追問：

③ 雙目視覺標定中如何求視差值呀到底什麼是視差值圖中的m n 如何獲取呀求救。

我一直也有這樣的疑問：我們實驗時，也沒有嚴格把相機按照平信春行模式或會聚模式放呀，只是手動把兩個相機斜視下方被測物，（Halcon軟體）經過標定，然後在拍攝被測物體，最後測出了任意兩個特徵點的三維坐標，他們的間距和實際測量舉坦則值一樣（誤差可控），請問什麼平行模式啦等等，到底是為了干正棚嘛呀？？？？？求解

④ 雙目視覺測距原理

單目測距原理：

先通過圖像匹配進行目標識別（各種車型、行人、物體等），再通過目標在圖像中的大小去估算目標距離。這就要求在估算距離之前首先對目標進行准確識別，是汽車還是行人，是貨車、SUV還是小轎車。准確識別是准確估算距離的第一步。要做到這一點，就需要建立並不斷維護一個龐大的樣本特徵資料庫，保證這個資料庫包含待識別目標的全部特徵數據。比如在一些特殊地區，為了專門檢測大型動物，必須先行建立大型動物的資料庫；而對於另外某些區域存在一些非常規車型，也要先將這些車型的特徵數據加入到資料庫中。如果缺乏待識別目標的特徵數據，就會導致系統無法對這些車型、物體、障礙物進行識別，從而也就無法准確估算這些目標的距離。

單/雙目方案的優點與難點

從上面的介紹，單目系統的優勢在於成本較低，對計算資源的要求不高，系統結構相對簡單；缺點是：（1）需要不斷更新和維護一個龐大的樣本資料庫，才能保證系統達到較高的識別率；（2）無法對非標准障礙物進行判斷；（3）距離並非真正意義上的測量，准確度較低。

雙目檢測原理：

通過對兩幅圖像視差的計算，直接對前方景物（圖像所拍攝到的范圍）進行距離測量，而無需判斷前方出現的是什麼類型的障礙物。所以對於任何類型的障礙物，都能根據距離信息的變化，進行必要的預警或制動。雙目攝像頭的原理與人眼相似。人眼能夠感知物體的遠近，是由於兩隻眼睛對同一個物體呈現的圖像存在差異，也稱「視差」。物體距離越遠，視差越小；反之，視差越大。視差的大小對應著物體與眼睛之間距離的遠近，這也是3D電影能夠使人有立體層次感知的原因。

上圖中的人和椰子樹，人在前，椰子樹在後，最下方是雙目相機中的成像。其中，右側相機成像中人在樹的左側，左側相機成像中人在樹的右側，這是因為雙目的角度不一樣。再通過對比兩幅圖像就可以知道人眼觀察樹的時候視差小，而觀察人時視差大。因為樹的距離遠，人的距離近。這就是雙目三角測距的原理。雙目系統對目標物體距離感知是一種絕對的測量，而非估算。

理想雙目相機成像模型

根據三角形相似定律：

根據上述推導，要求得空間點P離相機的距離（深度）z，必須知道：
1、相機焦距f，左右相機基線b（可以通過先驗信息或者相機標定得到）。
2、視差 ：，即左相機像素點(xl, yl)和右相機中對應點(xr, yr)的關系，這是雙目視覺的核心問題。

重點來看一下視差（disparity），視差是同一個空間點在兩個相機成像中對應的x坐標的差值，它可以通過編碼成灰度圖來反映出距離的遠近，離鏡頭越近的灰度越亮；

極線約束

對於左圖中的一個像素點，如何確定該點在右圖中的位置？需要在整個圖像中地毯式搜索嗎？當然不用，此時需要用到極線約束。

如上圖所示。O1，O2是兩個相機，P是空間中的一個點，P和兩個相機中心點O1、O2形成了三維空間中的一個平面PO1O2，稱為極平面（Epipolar plane）。極平面和兩幅圖像相交於兩條直線，這兩條直線稱為極線(Epipolar line)。

P在相機O1中的成像點是P1，在相機O2中的成像點是P2，但是P的位置是未知的。我們的目標是：對於左圖的P1點，尋找它在右圖中的對應點P2，這樣就能確定P點的空間位置。

極線約束（Epipolar Constraint）是指當空間點在兩幅圖像上分別成像時，已知左圖投影點p1，那麼對應右圖投影點p2一定在相對於p1的極線上，這樣可以極大的縮小匹配范圍。即P2一定在對應極線上，所以只需要沿著極線搜索便可以找到P1的對應點P2。

⑤ 視差的視差法解析

視差法是一種比較容易理解的距離測量技術。你可以自己來體驗一下：舉起你的一亮核耐個手指放在鼻子前幾厘米處，睜著左眼閉起右眼觀察手指在背景中的位置；然後閉上左眼睜開右眼，你會發現手指在你面前移動了一段距離。實際上並不是手指移動了，而是因為觀察的角度改變了的緣故。這種視運動就叫做視差。「這同測量恆星的距離有什麼關系？」不要著急，把你的同一個手指放在你面前30厘米處，重復剛才的實驗，你將發現由於視差而產生的手指位移大大減少了。也就是說，當被觀測物體（手指）與觀測者的距離增加時，由視差產生的位移也成比例地減少。當我們要測量恆星的距離時，首先要計算出一條基線的長度（在上面的實驗中，你雙眼的距離就是作為基線的），這條基線必須足夠長，因為恆星的距離太遠了。如果我們選擇地球一月份的空間位置作為始點，選擇地球七月份時的空間位置作為終點，兩點的距離作為氏氏基線才「足夠大」。在一月份和七月份分別觀察被測恆星相對於鄰近背景天體的位置，就得到了恆星的視差值，通常是一個很小的角度。利用基線的長度和這個角度，根據三角關系就可以計算恆星的距離。
貝塞耳選擇了天鵝座中的一顆恆星，並求出半年間該星在天空的角位移移動了約1/5000度。利用這個數據，貝塞耳計算出天鵝座的這顆恆星的距離是94.6萬億千米。雖然當我們參加賽跑比賽，氣喘吁吁地到達終點時，感覺幾千米的賽程真是太遠了；但是在天文學研究中，「千米」作為長度單位實在是太短而不便於使用，就好比用毫米來計算赤道的長度一樣。人們有一把更好的尺子——光年。光年並不是時間單位，而是長度單位，光在一年裡傳播的距離，就是一光年。貝塞耳的數字用光年來表示為10光年多一點。亨德森雖然比貝塞耳較早行動，但由於健康原因，直到貝塞耳發表了結果之後才完成了他的計算。他選擇的恆星是半人馬座α星，因為它在天空敬春中非常明亮，亨德森認為它是因為距離近才如此明亮的。亨德森的判斷是正確的，半人馬座α星距離地球只有4.3光年，是天空中除太陽外離我們最近的恆星。斯特魯維的工作更為艱巨，因為他選擇的研究對象是天琴座中的織女星，距離地球有26光年，由於視差很小，使當年斯特魯維的觀測結果不太准確。

⑥ 雙目立體視覺之深度估計

為什麼非得用雙目相機才能得到深度？

說到這里，有些讀者會問啦：為什麼非得用雙目相機才能得到深度？我閉上一隻眼只用一隻眼來觀察，也能知道哪個物體離我近哪個離我遠啊！是不是說明單目相機也可以獲得深度？

在此解答一下：首先，確實人通過一隻眼也可以獲得一定的深度信息，不過這背後其實有一些容易忽略的因素在起作用：一是因為人本身對所處的世界是非常了解的（先驗知識），因而對日常物品的大小是有一個基本預判戚亮的（從小到大多年的視覺訓練），根據近大遠小的常識確實可以推斷出圖像中什麼離我們遠什麼離我們近；二是人在單眼觀察物體的高態寬時候其實人眼是晃動的，相當於一個移動的單目相機，這類似於運動恢復結構（Structure from Motion, SfM）的原理，移動的單目相機通過比較多幀差異確實可以得到深度信息。

但是實際上，相機畢竟不是人眼，它只會傻傻的按照人的操作拍照，不會學習和思考。下圖從物理原理上展示了為什麼單目相機不能測量深度值而雙目可以的原因。我們看到紅色線條上三個不同遠近的黑色的點在下方相機上投影在同一個位置，因此單目相機無法分辨成的像到底是遠的那個點還是近的閉畝那個點，但是它們在上方相機的投影卻位於三個不同位置，因此通過兩個相機的觀察可以確定到底是哪一個點。

- 理想雙目相機成像模型

首先我們從理想的情況開始分析:假設左右兩個相機位於同一平面（光軸平行），且相機參數（如焦距f）一致。那麼深度值的推導原理和公式如下。公式只涉及到初中學的三角形相似知識，不難看懂。 

根據上述推導，空間點P離相機的距離（深度）z=f*b/d，可以發現如果要計算深度z，必須要知道：

1、相機焦距f，左右相機基線b。這些參數可以通過先驗信息或者相機標定得到。 

2、視差d。需要知道左相機的每個像素點(xl, yl)和右相機中對應點(xr, yr)的對應關系。這是雙目視覺的核心問題。

參考： http://www.sohu.com/a/203027140_100007727

⑦ 重磅 | 人加司眸®第三代4.5K雙目視覺感知引擎架構全球首發

2020年 1 月，人加公司正式發布司眸®第三代雙目視覺感知引擎架構，最高可支持 4.5K 解析度（4608*2560）20FPS 實時處理。在此之前，世界頂級光學企業日本理光於 2018 年 10 月推出 4K 解析度的雙目立體視覺攝像頭產品。

人加公司本次發布的司眸®第三代架構，是目前全球范圍內可支持最高解析度的雙目視覺感知引擎架構。該架構整體性能相較於上一代有了較大幅度的提升，其中作為核心參數的解析度指標提升了近 12 倍。

一直以來，在人工智慧3D視覺感知領域，雙目立體視覺技術因為演算法復雜度高、算力需求大而常常讓人又愛又恨，但雙目立體視覺技術作為 3D 感測領域的重要組成部分，因其測量距離能遠能近、室內室外可兼顧等多種優點，也被不少行業應用者看好。

雙目立體視覺技術是利用三角測量原理，通過兩台相對位置固定的相機同時對場景進行成像，根據成像中的視差來計算深度，典型計算方法如下：

其中，f為相機焦距，b 為基線，d 為視差，Z 為深度值，在此理論框架的基礎上可以得出，雙目立體視覺的測量精度會隨測量距離的增大而嚴重衰減，這也是當下雙目視覺系統存在的較大痛點之一。與此同時，為提升系統的覆蓋面積，需增大相機視場角，由此，將進一步減小焦距 f，進而進一步增大 Z 向精度隨距離增大的衰減程度。

因此，一個雙目立體視覺晌盯系統想要實現既能「看得遠」又能「看得清」，在現有的主流解析度（1280*800）和系統體積（基線通常在 12cm 以下）約束下難以實現。

綜上，提升雙目視覺系統的解析度是當下實現技術突破的唯一直接方式，同時也順應了當下段茄CMOS圖像感測器解析度不斷變大的發展趨勢。

然而，想要提升雙目解析度，將對算力和存儲帶寬的需求帶來倍級速度的增長，這對於現代計算機存儲計算架構將會是一個很大的挑戰，在傳統CPU或 GPU 的架構下實現代價非常高（在 KITTI 雙目測評排名中，4 核、2.6Ghz CPU 僅運行匹配演算法 rSGM 需要的時間長達 0.2 秒），且很難達到理想運算效率和功耗/成本之間的平衡。

綜合以上分析，人加司眸®第三代雙目視覺感知引擎架構在設計上仍然延續了上一代的邏輯單元（FPGA）+ CPU 的異構計算架構，新架構採用 DDR4 64 位存儲架構，內存存儲帶寬相對於上一代提升了 4 倍，經過一系列的演算法加速設計創新，達到橫向解析度提升近 4 倍，整體解析度實現了近 12 倍的性能提升。

第三代架構延續了上一代邏輯單元+ CPU的異構設計方式，在上一代的基礎上重點突破了解析度提升帶來的內存帶寬技術瓶頸和片上存儲資源技術瓶頸，概要設計圖如下：

系統採用DDR4作為存儲單元，握謹察提升了邏輯單元和外部存儲單元之間的數據交互效率，設計帶寬高達 16.5GB/s。同時系統各核心單元之間延續流水線設計，最大限度降低了計算產生的延遲，設計上滿足從數據輸入至數據輸出延遲小於 1 圖像幀時間。同時，系統也可支持各單元更細顆粒度的並行處理，對於實時性要求更高的場景可快速支持以空間換時間的設計，最大限度地降低了系統延遲。

第三代架構的詳細性能參數如下表所示：

最終，人加公司在Xilinx Zynq UltraScale+ ZCU102 Evaluation Board平台上對該架構進行了完整實踐，資源消耗情況如下表所示：

在Xilinx工具集 Vivado 2018.3 的實踐如下圖所示：

為了突破解析度大幅提升帶來的存儲資源和計算資源瓶頸，人加智能工程師做了一系列創新設計，以其中三個重點為例，概要介紹如下：

（1）採用動態校正參數壓縮技術倍級優化內存帶寬資源。

雙目立體校正採用逆向映射和雙線性插值的方式，一個目標像素的產生需對應一組二維坐標值和雙線性插值所用比例值。以解析度4608x2560@20fps設計為例，一個像素所需 4.5 位元組的信息，所需 DDR 讀速率達 1GB/s，對於兩幅圖像的同時校正，整體帶寬速率佔用高達 2GB/s。人加智能根據校正所需數據的分布特徵，提出了一種面向校正數據的壓縮與解壓縮方式，其中壓縮是在 CPU 下離線完成，解壓縮部分為邏輯資源實時計算。最終採用的壓縮方式可達到 2:1 的壓縮比，同時解壓縮單元佔用的資源僅 200 余個 LUT、0.5 個 BRAM，詳情如下：

（2）採用動態分片校正技術將片上內存使用空間縮減至 1/3。

橫向解析度的增加帶來了行緩存寬度的增加，因此對於實時計算緩存圖像數據的存儲空間需求增加了近4倍（相對於上一代），為了應對片上 Block RAM 資源緊張的問題，人加智能設計了一種可動態分片校正的框架，典型設定可將圖像橫向分為 3 塊，可將片上存儲的空間需求縮減到 1/3，同時在 BRAM 資源更緊張的場景下，也支持更多分片或分區的設定，以滿足場景對於 BRAM 資源的需求。

（3）Block to Block 分塊立體匹配設計。

該架構中的立體匹配部分仍延用了上一代SGM/BM的設計演算法，在保證設計性能的基礎上，人加智能採用了分塊匹配的思想，將左右圖像分為可拆分的兩部分，分別獨立進行匹配，在設計上進一步將 BRAM 資源使用量縮減至 1/2。

本次雙目立體視覺處理架構的升級是在當下場景應用對於雙目視覺系統提出更大視場角和更高精度的雙重要求下完成的，升級後將會給人加智能的實體消費行為分析應用帶來以下益處：

（1）單個雙目視覺系統所能覆蓋的范圍增大。

通過增大相機視場角至130°-150°（上一代設計指標為 100°），單個雙目視覺系統的覆蓋面積可達百平米，可以減少相機使用數量，從而降低系統維護成本，增強系統穩定性。

（2）空間定位更精準。

更高的深度圖解析度將帶來更高的測量精度，使得空間定位更加精準。

（3）圖像細節更豐富，識別更精準。

通過本次升級，人加智能雙目視覺系統可提供高達1200萬像素的原始圖像，這將大大提高圖像識別等應用的精度。

（4）深度演算法支持迭代升級優化，增大場景適應性。

第三代架構延用了FPGA SOC設計，實現了硬體加速級演算法的可升級，可維護，可根據具體場景進行相應的配置和優化。

同時，本次升級也為市場帶來了雙目立體視覺技術應用的新的想像空間，當解析度提升至1200萬像素時，系統可測距范圍便能提升至千米級，可以想像，對於一些大范圍測量領域（例如自動駕駛、智能安防等領域）也將提供一種全新方案選擇。

人加智能( www.humanplus.ai )是一家以智能視覺感測與人體行為識別為核心技術的人工智慧公司，現專注於為零售品牌商與零售商提供實體消費行為分析服務（Customer Behavior Analytics），包括客流量分析、銷售轉化分析、客流動線分析、人貨互動分析等，助力品牌零售的決策、執行過程實現「數據驅動」與「人機協同」。

原文鏈接： https://mp.weixin.qq.com/s/VFp5tZC0dTRIsot4UtTm2A

⑧ 雙目視覺的匹配演算法是不是有好幾種具體是哪幾種

與普通的圖像模板匹配不同的是，立體匹配是通過在顫坦旅兩幅或多幅存在視點差異、幾何畸變、灰度畸變、雜訊干擾的圖像對之間進行的，不存在任何標准模板進行匹配。立體匹配方法一般包含以下三個問題:(1)基元的選擇，即選擇適當的圖像特徵如點、直線、相位等作為匹配基元;(2)匹配的准則，將關於物理世界的某些固有特徵表示為匹配所必須遵循的若干規則，使匹配結果能真實反映景物的本來面目;(3)演算法結構，通過利用適當的數學方法設計能正確匹配所選擇基元的穩定演算法。

根據匹配基元的不同，立體視覺匹配演算法目前主要分為三大類,即區域匹配、相位匹配和特徵匹配:

基於區域灰度的匹配演算法是把一幅圖像(基準圖)中某一點的灰度鄰域作為模板，在另一幅圖像(待匹配圖)中搜索具有相同(或相似)灰度值分布的對應點鄰域，從而實現兩幅圖像的匹配。這類演算法的性能取決於度量演算法及搜索策略的選擇。另外，也必須考慮匹配窗口大小、形式的選擇，大窗口對於景物中存在的遮擋或圖像不光茄凳滑的情況會更多的出現誤匹配，小窗口則不具有足夠的灰度變化信息，不同的窗口形式對匹配信息也會有不同的影響。因此應該合理選取匹配區域的大小和形式來達到較好的匹配結果。

相位匹配是近二十年發展起來的一種匹配演算法，相位作為匹配基元，即認為圖像對中的對應點局部相位是一致的。最常用的相位匹配演算法有相位相關法和相位差——頻率法，雖然該方法是一種性能穩定、具有較強的抗輻射抗透視畸變能力、簡單高效、能得到稠密視差圖的特徵匹配方法。但是，當局部結構存在的假設不成立時，相位匹配演算法因帶通輸出信號的幅度太低而失去有效性，也就是通常提到的相位奇點問題，在相位奇點附近，相位信息對位置和頻率的變化極為敏感，因此用這些像素所確定的相位差異來衡量匹配誤差將導致極不可靠的結果。此外，相位匹配演算法的收斂范圍與帶通濾波器的波長有關，通常要考慮相位卷繞，在用相位差進行視差計算時，由於所採用的相位只是原信號某一帶通條件下的相位，故視差估計只能限制在某一限定范圍之內，隨視差范圍的增大，其精確性會有所下降。

基於特徵的圖像匹配方法是目前最常用的方法之一，由於它能夠將對整個圖像進行的各種分析轉化為對圖像特徵(特徵點、特徵曲線等)的分析的優點，從而大大減小了圖像處理過程的計算量，對灰度變化、圖像變形、噪音污染以及景物遮擋等都有較好的適應能力。

基於特徵的匹配方法是為使匹配過程滿足一定的抗噪能力且減少歧義性問題而提出來的。與基於區域的匹配方法不同，基於特徵的匹配方法是有選擇地匹配能表示景物自身特性的特徵，通過更多地強調空間景物的結構信息來解決匹配歧義性問題。這類方法將匹配的搜索范圍限制在一系列稀疏的特徵上。利用特徵間的距離作為度量手段，具有最小距離的特徵對就是最相近的特徵對信瞎，也就是匹配對。特徵間的距離度量有最大最小距離、歐氏距離等。

特徵點匹配演算法嚴格意義上可以分成特徵提取、特徵匹配和消除不良匹配點三步。特徵匹配不直接依賴於灰度，具有較強的抗干擾性。該類方法首先從待匹配的圖像中提取特徵，用相似性度量和一些約束條件確定幾何變換，最後將該變換作用於待匹配圖像。匹配中常用的特徵基元有角點、邊緣、輪廓、直線、顏色、紋理等。同時，特徵匹配演算法也同樣地存在著一些不足，主要表現為:

(l)特徵在圖像中的稀疏性決定了特徵匹配只能得到稀疏的視差場，要獲得密集的視差場必須通過使用插值的過程，插值過程通常較為復雜。

(2)特徵的提取和定位的准確與否直接影響特徵匹配結果的精確度。

(3)由於其應用場合的局限性，特徵匹配往往適用於具有特徵信息顯著的環境中，在缺少顯著主導特徵環境中該方法有很大困難。

總之，特徵匹配基元包含了演算法編程上的靈活性以及令人滿意的統計特性。演算法的許多約束條件均能清楚地應用於數據結構，而數據結構的規則性使得特徵匹配非常適用於硬體設計。例如，基於線段的特徵匹配演算法將場景模型描繪成相互聯結的邊緣線段，而不是區域匹配中的平面模型，因此能很好地處理一些幾何畸變問題，對對比度和明顯的光照變化等相對穩定。特徵匹配由於不直接依賴於灰度，計算量小，比基於區域的匹配演算法速度快的多。且由於邊緣特徵往往出現在視差不連續的區域，特徵匹配較易處理立體視覺匹配中的視差不連續問題。