A. 激光点云预处理研究概述
3D点云数据的预处理是利用有效点云信息进行三维重建及障碍物感知的基础,是3D点云配准、3D点云拼接环节的前提。一般的 3D 点云预处理工作包括地面点云去除、点云滤波和点云分割。在三维点云数据处理过程中,点云数据离群点、噪声点的剔除以及点云数据的配准不仅是点云数据处理中的重要环节,也是后期对点云数据进行特征提取完成检测环节的基础。
在进行目标物体分割时,将离散的三维数据点聚类的判断依据为点与点之间距离是否接近,而在激光雷达点云数据中,有很大一部分数据属于地面点数据,并且地面点云呈现为纹理状,这对后续障碍物点云的分类,识别带来干扰,如果不将这些地面点数据去除,在进行目标物体分割时会导致分割算法失效,因此需要先进行过滤。所以,地面点云数据去除是减少数据量以及提高分割算法准确度的有效手段。
因此为了提高去除地面点云算法的准确性和鲁棒性,许多学者提出了大量研究方法,这些方法主要有以下两类:基于栅格图方法的地面去除研究、基于三维激光雷达原始扫描线数据的地面去除研究。
通过激光雷达扫描得到的点云包含大部分地面点,常用的栅格图方法地面滤除点云方法有栅格高度差法、法向量方法和高度法。栅格高度法首先根据栅格大小生成网格,计算每个网格最低点与最高点的高度差,比较h与预设高度差阈值大小,对网格进行分类,最后根据网格对网格内的点进行分类。法向量法是基于计算出地面法向量为竖直向下或向上的假设,即地面点法向量值为(0,0,1)或(0,0,-1)。方法过程是计算点法向量并设定点分类的法向量阈值。高度法去除地面点云,是最常用且耗时最小的方法。根据激光雷达安装位置与姿态,可以根据设定阈值直接将点云分为地面点和障碍物点。
基于栅格图的点云处理方式是通过将三维点云数据投影到地面,建立多个栅格单元,采用连通区域标记算法或者邻域膨胀策略对目标进行聚类,这类方法被广泛应用在激光雷达三维建模中。一是因为三维点云向二维平面投影过程极大地压缩了数据量,能够提高算法处理的实时性;二是因为点云向栅格图的映射,将复杂的三维点云处理问题转化为图像处理问题,可以使用成熟的图像处理相关算法,提高了算法处理的时间效率。栅格法简单可靠、计算效率高,但是栅格单元参数固定且往往凭经验确定,远距离目标点云较为稀疏往往会出现过分割,而近距离目标点云较为稠密又会出现欠分割,算法严重依赖于阈值参数的选择,且往往需要逐帧进行分析,必然损失部分实时性。
由于三维激光雷达的原始三维数据包含了详细的空间信息,所以也可以用来进行相关点云数据处理。激光扫描线在地面和障碍物形成的角度值存在显着的不同,可作为分离地面点的重要依据。激光雷达中的多个激光器水平扫描周围环境中的物体,在两个相邻物体之间形成的角度很小,而同一物体的角度值很大。这启示了我们可以充分利用这一特性,大于角度阈值可认为这两点是同一物体,较好地处理了相邻目标欠分割的问题。通过将非地面点云分割为不同物体,然后进行目标物体的识别,可以为无人车提供更加详细的车辆、行人等障碍物信息,在运动中避免与不同类型的障碍物发生碰撞并进行及时避让。地面点云欠分割会导致目标漏检,过分割又会对后续的识别等操作带来影响。利用激光雷达产生点云的几何特性,研究人员提出了多种特征构建的方法,基于三维激光雷达原始扫描线数据的地面去除研究属于其中较为常用的方法。
激光雷达在采集三维点云数据的过程中,会受到各类因素的影响,所以在获取数据时,就会出现一些噪声。其实在实际工作中除了自身测量的误差外,还会受到外界环境的影响如被测目标被遮挡,障碍物与被测目标表面材质等影响因素;另外,一些局部大尺度噪声由于距离目标点云较远,无法使用同一种方法对其进行滤波。
噪声就是与目标信息描述没有任何关联的点,对于后续整个三维场景的重建起不到任何用处的点。但是在实际的点云数据处理算法中,把噪声点和带有特征信息的目标点区别开来是很不容易的,去噪过程中由于许多外在因素总是不可避免的伴随着一些特征信息的丢失。一个好的点云滤波算法不仅实时性要求高,而且在去噪的同时也要很好的保留模型的特征信息[88]。就需要把点云数据的噪声点特征研究透彻,才能够提出效果更好的去噪算法。
点云数据是一种非结构化的数据格式,激光雷达扫描得到的点云数据受物体与雷达距离的影响,分布具有不均匀性,距离雷达近的物体点云数据分布密集,距离雷达远的物体点云数据分布稀疏。此外,点云数据具有无序和非对称的特征,这就导致点云数据在数据表征时缺乏明确统一的数据结构,加剧了后续点云的分割识别等处理的难度。神经网络作为一种端到端的网络结构,往往处理的数据是常规的输入数据,如序列、图像、视频和3D数据等,无法对点集这样的无序性数据直接进行处理,在用卷积操作处理点云数据时,卷积直接将点云的形状信息舍弃掉,只对点云的序列信息进行保留。
点云滤波是当前三维重建技术领域的研究热点,同时也是许多无人驾驶应用数据处理过程中至关重要的一步。3D点云滤波方法主要可以分为以下三类,主要包括基于统计滤波、基于邻域滤波以及基于投影滤波。
由于统计学概念特别符合点云的特性,因此,许多国内外学者都将统计学方法引用到点云滤波技术中,Kalogerakis 等人将一种稳健统计模型框架运用到点云滤波中,取得了非常好的滤波效果。在这个统计模型框架中,通过使用最小二乘迭代方法来估计曲率张量,并在每次迭代的时候根据每个点周围的领域来为样本分配权重,从而细化每个点周围的每一个邻域。然后利用计算获得的曲率以及统计权重来重新校正正态分布。通过全局能量的最小化并通过计算出的曲率和法线来把离群点去掉,并且能较好的保持点云的纹理特征。
基于邻域的点云滤波技术,就是通过使用一种相似性度量的方法来度量点和其他周围邻域对滤波效率与结果影响比较大点的相似性,从而来确定滤波点的位置。一般来说,可以通过点云的位置、法线和区域位置来度量其相似性。1998年,Tomasi等人将双边滤波器扩展到 3D 模型去噪,由于双边滤波器具有维持边缘平滑的特点,所以在除去点云数据噪声的同时也能较好的保持细节。但是,由于该方法是通过一个网格生成的过程来去噪的,而在生成网格的过程就会引入额外的噪声。相比较于规则格网、不规则三角网等数据结构,体元是真3D的结构并且隐含有邻域关系,能够有效的防止生成网格的过程中引入噪声,但该方法的需要设置的参数比较多,不能满足实际工业运用。
基于投影滤波技术通过不同的投影测量来调整点云中每个点的位置,从而实现噪声点云的去除。但是,如果输入的点云特别不均匀,经过局部最优投影处理后的点云将变得更散乱。孙渡等人提出了一种基于多回波及 Fisher 判别的滤波算法。首先结合格网划分思想划分点云网格,在每个网格内,通过点云数据的回波次数和强度进行划分,分出待定的样本;其次,利用Fisher判别的分析法将点云投影到一维空间内,通过判定临界值将植被点云与地面点云分离,实现陡坡点云的滤波,但是,该方法只针对点云中含有回波强度的属性才有效,对于不包含回波强度信息的点云,该方法失去作用。
为弥补点云本身的无序性、不对称性、非结构化和信息量不充分等缺陷,在对点云进行特征识别及语义分割等操作之前,需先对点云进行数据形式的变换操作。常用的点云形式变换方法有网格化点云、体素化点云、将点云进行球面映射等。
体素化是为了保持点云表面的特征点的同时滤除不具备特征的冗余的点云数据。由于常用的法向量计算取决于相邻点的数量,并且两个云点的分辨率也不同。所以具有相同体素大小的体素化就是为了在两个不同分辨率的点云中生成等效的局部区域。在实际进行点云配准算法的过程中,由于用于配准的源点云数据与目标点云数据的数量比较庞大、点云密集,并且这些原始点云数据中含有许多点云对于描述物体形状特征没有任何作用的点,如果使用算法直接对源点云与目标点云进行配置的话,整个过程将耗费大量时间,所以必须对点云进行下采样的同时仍保留住可以体现形状轮廓特征的那部分点云。
由于点云本身的稀疏性、无序性和非均匀分布的特点,在利用深度全卷积神经网络结构对激光雷达点云数据进行语义分割时,端到端的卷积神经网络无法直接对无序排布点云进行操作。为使端到端的神经网络在无序性分布的点云数据上具有通用性,需先对点云数据进行映射,常见的投影方式有基于平面的投影、基于圆柱面的投影以及基于球面的点云投影方式。
参考:
周天添等(基于深度神经网络的激光雷达点云语义分割算法研究)
李宏宇(激光雷达的点云数据处理研究)
范小辉(基于激光雷达的行人目标检测与识别)
B. 机器视觉系统中图像分割技术传统方法概论1
姓名:寇世文
学号:21011110234
学院:通信工程学院
【嵌牛导读】:随着人工智能技术的不断发展,智能机器人领域也得到了空前的发展。尤其是深度神经网络广泛应用于视觉系统中后,取得了许多很明显的成效。对于自主移动机器人来说,视觉系统有着十分重要的作用,而图像分割技术更是在这个系统中担任着十分重要的角色。传统的图像分割技术基本上已经能够将图像的前景和后景分隔开来,但是近年来随着深度学习算法的发展,人们开始将其应用到图像分割中,提出了很多分割网络,也达到了很好的分割效果。在实现图像分割的基础上,人们还使得分割具有了语义类别和标签,就是现在的语义分割。本文在介绍了语义分割的基础上又引出了新的任务分割场景,实例分割和全景分割。并且介绍了最近研究的热点三维点云的语义分割问题,阐述了其实现的必要性。
【嵌牛鼻子】智能机器人,图像分割、语义分割、计算机视觉
【嵌牛提问】图像分割技术的传统常见方法
【嵌牛正文】
一、引言
计算机视觉,即computer vision,就是通过计算机来模拟人的视觉工作原理,来获取和完成一系列图像信息处理的机器。计算机视觉属于机器学习在视觉领域的应用,是一个多学科交叉的研究领域,其涉及数学、物理、生物、计算机工程等多个学科。
计算机视觉的主要应用有无人驾驶、人脸识别、无人安防、车辆车牌识别、智能传图、3D重构、VR/AR、智能拍照、医学图像处理、无人机、工业检测等。人驾驶又称自动驾驶,是目前人工智能领域一个比较重要的研究方向,让汽车可以进行自主驾驶,或者辅助驾驶员驾驶,提升驾驶操作的安全性。人脸识别技术目前已经研究得相对比较成熟,并在很多地方得到了应用,且人脸识别准确率目前已经高于人眼的识别准确率。安防一直是我国比较重视的问题,也是人们特别重视的问题,在很多重要地点都安排有巡警巡查,在居民小区以及公司一般也都有保安巡查来确保安全。车辆车牌识别目前已经是一种非诚成熟的技术了,高速路上的违章检测,车流分析,安全带识别,智能红绿灯,还有停车场的车辆身份识别等都用到了车辆车牌识别。3D重构之前在工业领域应用比较多,可以用于对三维物体进行建模,方便测量出物体的各种参数,或者对物体进行简单复制。计算机视觉还有很多应用,随着技术的发展,应用领域也会越来越多。在工业领域的应用,在机器人技术方面的应用等。
对于传统的图像分割过程,通常可以分为5个步骤,即特征感知、图像预处理、特征提取、特征筛选和推理预测与识别。通过研究发现,在视觉的早期的发展过程中,人们对于图像中的特征并没有表现出足够的关注。且传统的分割过程是把特征提取和分类分开来做的,等到需要输出结果的时候再结合到一起,可想而知其实现的困难程度。
在深度学习算法出来之后,卷积神经网络被广泛应用于计算机视觉技术中,也因此衍生出了很多的研究方向。深度学习主要是以特征为基础来进行比对,如在人脸识别方面,使用卷积神经网络分别对两张人脸进行不同位置的特征提取,然后再进行相互比对,最后得到比对结果。目前的计算机视觉的主要研究方向有图像分类、目标检测、图像分割、目标跟踪、图像滤波与降噪、图像增强、风格化、三维重建、图像检索、GAN等。本文主要是针对图像分割这一领域,进行简要的概述。
图像分割技术是计算机视觉领域的个重要的研究方向,是图像语义理解的重要一环。图像分割是指将图像分成若干具有相似性质的区域的过程,从数学角度来看,图像分割是将图像划分成互不相交的区域的过程。近些年来随着深度学习技术的逐步深入,图像分割技术有了突飞猛进的发展,该技术相关的场景物体分割、人体前背景分割、人脸人体Parsing、三维重建等技术已经在无人驾驶、增强现实、安防监控等行业都得到广泛的应用。
二、发展现状
近来已经有很多学者将图像分割技术应用到移动机器人的控制中,能够做到在机器人运动的同时定位、构建地图并分割出不同的前景和后景,使视觉系统扫描到的图像具有语义信息。并有学者也致力于分割得更为准确和精细,不仅能够做到区分不同类的物体,也能够实现对同类的不同物体的分类,甚至可以做到在此基础上加上对背景的分割。由于我们生活的世界是三维空间,还有学者将图像场景还原到三维中,然后使用相关方法对整个三维场景进行分割。作为计算机视觉的研究中的一个较为经典的难题,图像分割这一领域也越来越被人们所关注。
首先是传统的图像分割方法。在传统分割方面,人们使用数字图像处理、拓扑学、数学等方面的知识来进行图像分割。虽然现在的算力逐渐增加且深度学习不断发展,一些传统的分割方法所取得的效果不如深度学习,但是其分割的思想仍有很多值得我们去学习的。
第一种方法是基于阈值的图像分割方法。这种方法的核心思想是想根据图像的灰度特征来给出一个或多个灰度阈值,将此阈值作为一个标准值与图像中的每个像素逐一进行比较。很容易想到,通过这个逐一比较过程能够得到两类结果,一类是灰度值大于阈值的像素点集,另一类是灰度值小于阈值的像素点集,从而很自然地将图像进行了分割。所以,不难发现,此方法的最关键的一步就是按照一定的准则函数来得到最佳灰度阈值,这样才能够得到合适的分类结果。值得一提的是,如果图像中需要分割的目标和背景分别占据了不同的灰度值甚至是不同的等级,那使用这种方法会得到很好的效果。并且,假如对于一张图像的处理,我们只需要设定一个阈值时,可以将其称为单阈值分割。但是图像中如果不止一个目标,即有多个目标需要进行提取的时候,单一阈值分割就无法做到将它们都分割开来,此时应选取多个阈值对其进行处理,这个分割的过程为多阈值分割。总的来说,阈值分割法有着其独特的特点,其计算简单、效率较高。但是,由于这种方法只考虑的是单个像素的灰度值及其特征,而完全忽略了空间特征,这也就导致了其对噪声比较敏感且鲁棒性不高。
第二种方法是基于区域的图像分割方法。这种方法具有两种基本形式:一种是区域生长,这种分割方法是从单个像素出发,逐渐将相似的区域进行合并,最终得到需要的区域。另一种方法是直接从图像的全局出发,一点一点逐步切割至所需要的区域。区域生长指的是,给定一组种子像素,其分别代表了不同的生长区域,然后让这些种子像素逐渐合并邻域里符合条件的像素点。如果有新的像素点添加进来,同样把它们作为种子像素来处理。
区域分裂合并的分割过程可以说是区域生长的逆过程,这种方法是从图像的全局出发通过不断分裂得到各个子区域,然后提取目标的过程。此外,在此过程中,还需要合并前景区域。
在区域分割方法中还有一种分水岭算法。受启发于分水岭的构成,这种分割方法将图像看作是测地学上的拓扑地貌,这样图像中每一个像素点对应的海拔高度可以用该点的灰度值来表示。分水岭的形成过程实际上可以通过模拟浸入过程来实现。具体做法是,在每个局部极小值的表面都刺穿一个小孔,然后把模型慢慢浸入水中,随着水慢慢浸入其中,分水岭就随之形成了。
第三种方法是基于边缘检测的分割方法。边缘检测的思想就是试图通过检测不同物体的边缘来将图像分割开来,这种方法是人们最先想到的也是研究最多的方法之一。如果我们将图片从空间域变换到频率域中去,其中物体的边缘部分就对应着高频部分,很容易就能够找到边缘信息,因此也使得分割问题变得容易。边缘检测的方法能够实现快而且准确的定位,但是其不能保证边缘的连续性和封闭性,且当一幅图像的细节信息过多时,其就会在边缘处产生大量的细碎边缘,在形成完整的分割区域时就会有缺陷。
第四种图像分割方法结合了特定的工具。这里所说的特定工具是各种图像处理工具以及算法等,随着图像分割研究工作的深入,很多学者开始将一些图像处理的工具和一些算法应用到此工作中,并取得了不错的结果。小波变换在数字图像处理中发挥着很重要的作用,它能够将时域和频域统一起来研究信号。尤其是在图像边缘检测方面,小波变换能够检测二元函数的局部突变能力。其次是基于遗传算法的图像分割,遗传算法主要借鉴了生物界自然选择和自然遗传机制的随机化搜索方法。其模拟了由基因序列控制的生物群体的进化过程,其擅长于全局搜索,但是局部搜多能力不足。将遗传算法应用到图像处理中也是当前研究的一个热点问题,在此选择这种方法的主要原因是遗传算法具有快速的随机搜索能力,而且其搜索能力与问题的领域没有任何关系。
除此之外,还有基于主动轮廓模型的分割方法,这种方法具有统一的开放式的描述形式,为图像分割技术的研究和创新提供了理想的框架。此方法也是对边缘信息进行检测的一种方法,主要是在给定图像中利用曲线演化来检测目标。
C. CVPR 2020 论文阅读笔记(三维点云/三维重建)
论文地址: https://arxiv.org/abs/2003.00410
前置文章:10/16、10/17、10/18
本文提出了Point Fractal Network(PF-Net),旨在从不完整的点云数据中恢复点云,克服了之前方法修改现有数据点、引入噪声和产生几何损失的缺点。
由前置文章可知,之前的点云修复方法是输入不完整的点云,输出完整的点云,但这样会导致原有信息的缺失。这篇文章提出PF-Net,主要特点有三个:
网络的整体结构如下:
网络详细推理步骤如下:
损失函数使用完整性损失和对抗损失的加权平均,完整性损失使用L-GAN中提出的CD距离:
对抗损失使用GAN中常见的损失函数
感觉这篇文章对多尺度的运用非常极致,在编码器、解码器和CMLP中都应用了这种思想,最后的效果也非常不错,很值得借鉴。
论文地址: https://arxiv.org/abs/1612.00593
PointNet提出一种基础的网络结构,可以用于点云分类、部分分割和语义分割等多种任务。在这篇文章之前,点云数据的处理方式是将点云数据转换为多个二维的视图或三维的体素形式,然后应用2D/3D CNN进行处理,但这样引入了多余的体积,效率不高。本文是第一个直接使用点云数据的神经网络。(其实可以这样类比,在二维图像处理中,假设图像是二值化的,传统方法是将这个图像直接丢到CNN里面,但如果背景特别多会比较浪费资源。直接使用点云数据相当于直接将前景像素的坐标输入到神经网络里面,对稀疏数据会有比较好的性能,但因为以下三个问题导致直接使用坐标信息比较困难)
由于点云的排列是无序的(可以想象,点云中任意一点排在前面对点云的表达都是相同的)、点云之间是有相互作用的(相邻的点云才能构成形状)、点云在某些变换下具有不变性(比如旋转不会改变点云的类别)这些特性,要求神经网络既能处理无序的数据,又能捕捉全局的结构特征,同时对刚性变换不敏感。基于这些条件,作者提出了如下的网络结构:
可以简要分析一下网络的工作流程,以点云分类问题为例:
感觉网络的结构虽然简单,但是却很好地满足了点云数据自身特性对神经网络的要求。而且我觉得在图像处理中,也有时候必须用到坐标信息或者一些标量特征,这篇文章的方法对于怎样将这些特征融合进CNN里面也有一定的启发意义。
论文地址: http://proceedings.mlr.press/v80/achlioptas18a.html
这篇文章的主要工作是:
首先来看衡量两个点云相似程度的指标部分,作者首先给出了两个距离,EMD和CD:
在计算上,CD更为简便,而且EMD是不可导的。
基于这两种距离,作者引入了三种衡量两个点云相似程度的指标:JSD、Coverage和MMD:
定义了指标后,就可以实现自动编码器和生成模型了。作者提到了四种结构,分别是:
作者同时验证了AE的一些其他功能,比如如果给AE的编码器输入不完整的点云数据,即可训练得到点云复原的模型。使用SVM对低维表示进行分类,即可进行点云分类的任务,证明AE在点云数据形式中的潜在应用较为广泛。
论文地址: http://papers.nips.cc/paper/7095-pointnet-deep-hierarchical-feature-learning-on-point-se
PointNet++针对PointNet提取局部信息能力不强的弊端,提出了一种层次神经网络,可以更好地提取局部信息。其中心思想是将整个点云分割成若干个小部分来提取信息,然后将每个小部分整合成较大的部分,提取更高层次的信息。类似于CNN中卷积和下采样的思想。首先来看网络结构图:
网络大概可以分为两个部分,左边是层次的点云特征提取网络,右边是针对不同任务的解码网络。
特征提取分为若干个set abstraction模块,每个模块又分为采样层、分组层和特征提取层。
得到了较高层次的特征后,对不同的任务需要不同的解码网络。对分类网络来说比较简单,使用全连接即可。对分割网络来说,由于对每个点都需要输出数值,则需要类似上采样的操作。具体的实现作者使用了插值的方法,将较少的点插值到较多的点上去。首先找到插值的目标坐标,然后寻找K个距离最近的已知点,以距离的倒数作为权重,将K个点的特征做加权平均,作为这个点的特征。然后使用之前特征提取中得到的该点的特征与当前特征做一个拼接,即可得到最终特征(类似U-Net的skip connection)。公式如下:
感觉这篇文章和PF-Net的思想差不多,都是希望提取多尺度的特征。但是思路不一样,都值得借鉴。
D. 三坐标 传统测量方法与数字测量方法相比较有何特点
1,传统为接触式测量检测。
2,数字是指快速扫描测量。
特点:1是普通速度,精度高,大概在1-2μ。2是快速扫描出点云,精度要差些,大概在10-25μ
E. 标题 点云数据三种采集方法的优缺点
格点采样、均匀采样、几何采样。
1.格点采样:优点:效率非常高。采样点分布比较均匀,但是均匀性没有均价采样高,可以通过格点的尺寸控制点间距。缺点:不能精确控制采样点个数。
2.均匀采样:优点:采样点分布均匀。缺点:算法时间复杂度有些高,因为每次采样一个点,都要计算集合到集合之间的距离。
3.几何采样:优点:计算效率高,采样点局部分布是均匀的,稳定性高:通过几何特征区域的划分,使得采样结果抗噪性更强。
点云数据(point cloud data)是指在一个三维坐标系统中的一组向量的集合。扫描资料以点的形式记录,每一个点包含有三维坐标,有些可能含有颜色信息(RGB)或反射强度信息。
F. 点云数据处理
三维计算视觉研究内容包括:
(1)三维匹配:两帧或者多帧点云数据之间的匹配,因为激光扫描光束受物体遮挡的原因,不可能通过一次扫描完成对整个物体的三维点云的获取。因此需要从不同的位置和角度对物体进行扫描。三维匹配的目的就是把相邻扫描的点云数据拼接在一起。三维匹配重点关注匹配算法,常用的算法有 最近点迭代算法 ICP 和各种全局匹配算法。
(2)多视图三维重建:计算机视觉中多视图一般利用图像信息,考虑多视几何的一些约束,相关研究目前很火,射影几何和多视图几何是视觉方法的基础。在摄影测量中类似的存在共线方程,光束平差法等研究。这里也将点云的多视匹配放在这里,比如人体的三维重建,点云的多视重建不仅强调逐帧的匹配,还需要考虑不同角度观测产生误差累积,因此也存在一个优化或者平差的过程在里面。通常是通过观测形成闭环进行整体平差实现,多视图重建强调整体优化。可以只使用图像,或者点云,也可以两者结合(深度图像)实现。重建的结果通常是Mesh网格。
(3)3D SLAM:点云匹配(最近点迭代算法 ICP、正态分布变换方法 NDT)+位姿图优化( g2o 、LUM、ELCH、Toro、SPA);实时3D SLAM算法 (LOAM);Kalman滤波方法。3D SLAM通常产生3D点云,或者Octree Map。基于视觉(单目、双目、鱼眼相机、深度相机)方法的SLAM,比如orbSLAM,lsdSLAM...
(4)目标识别:无人驾驶汽车中基于激光数据检测场景中的行人、汽车、自行车、以及道路和道路附属设施(行道树、路灯、斑马线等)。
(5)形状检测与分类:点云技术在逆向工程中有很普遍的应用。构建大量的几何模型之后,如何有效的管理,检索是一个很困难的问题。需要对点云(Mesh)模型进行特征描述,分类。根据模型的特征信息进行模型的检索。同时包括如何从场景中检索某类特定的物体,这类方法关注的重点是模型。
(6)语义分类:获取场景点云之后,如何有效的利用点云信息,如何理解点云场景的内容,进行点云的分类很有必要,需要为每个点云进行Labeling。可以分为基于点的方法,基于分割的分类方法。从方法上可以分为基于监督分类的技术或者非监督分类技术,深度学习也是一个很有希望应用的技术。
(7)立体视觉与立体匹配 ZNCC
(8)SFM(运动恢复结构)
1、点云滤波方法(数据预处理):
双边滤波、高斯滤波、条件滤波、直通滤波、随机采样一致性滤波。
VoxelGrid
2、关键点
ISS3D、Harris3D、NARF
SIFT3D、
3、特征和特征描述
法线和曲率计算 NormalEstimation 、特征值分析Eigen-Analysis、 EGI
PFH、FPFH、3D Shape Context、Spin Image
4、 点云匹配
ICP 、稳健ICP、point to plane ICP、Point to line ICP、MBICP、GICP
NDT 3D 、Multil-Layer NDT
FPCS、KFPCS、SAC-IA
Line Segment Matching 、ICL
5、点云分割与分类
分割:区域生长、Ransac线面提取、NDT-RANSAC、
K-Means、Normalize Cut(Context based)
3D Hough Transform(线、面提取)、连通分析、
分类:基于点的分类,基于分割的分类;监督分类与非监督分类
6、SLAM图优化
g2o 、LUM、ELCH、Toro、SPA
SLAM方法:ICP、MBICP、IDC、likehood Field、 Cross Correlation 、NDT
7、目标识别、检索
Hausdorff 距离计算(人脸识别)
8、变化检测
基于八叉树的变化检测
9. 三维重建
泊松重建、Delaunay triangulations
表面重建,人体重建,建筑物重建,树木重建。
实时重建:重建植被或者农作物的4D(3D+时间)生长态势;人体姿势识别;表情识别;
10.点云数据管理
点云压缩,点云索引(KD、Octree),点云LOD(金字塔),海量点云的渲染
点云驱动的计算机图形学主要研究应用
http://vcc.szu.e.cn/research/2015/Points/