1. 如何设计一款基于ROS的移动机器人
最近几年各种移动机器人开始涌现出来，不论是轮式的还是履带式的，如何让移动机器人移动都是最核心的工作。要让机器人实现环境感知、机械臂控制、导航规划等一系列功能，就需要操作系统的支持，而ROS就是最重要的软件平台之一，它在科研领域已经有广泛的应用。
不过有关ROS的书籍并不多，国内可供的学习社区就更少了。本期硬创公开课就带大家了解一下如何利用ROS来设计移动机器人。
分享嘉宾李金榜：EAI科技创始人兼CEO，毕业于北京理工大学，硕士学位。 曾在网易、雪球、腾讯技术部有多年linux底层技术研发经验。2015年联合创立EAI科技，负责SLAM算法研发及相关定位导航软件产品开发。EAI科技，专注机器人移动，提供消费级高性能激光雷达、slam算法和机器人移动平台。
移动机器人的三个部分
所谓的智能移动， 是指机器人能根据周围的环境变化，自主地规划路线、避障，到达目标地。
机器人是模拟人的各种行为，想象一下，人走动需要哪些器官的配合？ 首先用眼睛观察周围环境，然后用脑去分析如何走才能到达目标地，接着用腿走过去， 周而复始，直到到达目标地址为至。机器人如果要实现智能移动，也需要眼、脑和腿这三部分的紧密配合。
腿
“腿”是机器人移动的基础。机器人的“腿”不局限于类人或类动物的腿，也可以是轮子、履带等，能让机器人移动起来的部件，都可以笼统地称为“腿”。
类人的腿式优点是：既可以在复杂路况（比如爬楼梯）下移动、也可以更形象地模仿人的动作（比如跳舞），缺点是：结构和控制单元比较复杂、造价高、移动慢等。
所以大部分移动的机器人都是轮式机器人，其优势在于轮子设计简单、成本低、移动快。而轮式的也分为多种： 两轮平衡车、三轮、四轮和多轮等等。目前最经济实用的是两个主动轮+一个万向轮。
眼睛
机器人的眼睛其实就是一个传感器。它的作用是观察周围的环境，适合做机器人眼睛的有激光雷达、视觉（深度相机、单双相机）、辅助（超声波测距、红外测距)等。
“脑”
机器人的大脑就负责接收“眼睛”传输的数据，实时计算出路线，指挥腿去移动。
其实就是要把看到的东西转换为数据语言。针对如何描述数据，如何实现处理逻辑等一系列问题。 ROS系统给我们提供一个很好的开发框架。
ROS简介
ROS是建立在linux之上的操作系统。它的前身是斯坦福人工智能实验室为了支持斯坦福智能机器人而建立项目，主要可以提供一些标准操作系统服务，例如硬件抽象，底层设备控制，常用功能实现，进程间消息以及数据包管理。
ROS是基于一种图状架构，从而不同节点的进程能接受、发布、聚合各种信息（例如传感，控制，状态，规划等等）。目前ROS主要支持Ubuntu操作系统。
有人问ROS能否装到虚拟机里，一般来说是可以的，但是我们建议装个双系统，用Ubuntu专门跑ROS。
实际上，ROS可以分成两层，低层是上面描述的操作系统层，高层则是广大用户群贡献的实现不同功能的各种软件包，例如定位绘图，行动规划，感知，模拟等等。ROS（低层）使用BSD许可证，所有是开源软件，并能免费用于研究和商业用途，而高层的用户提供的包则使用很多种不同的许可证。
用ROS实现机器人的移动
对于二维空间，使用线速度 + 角速度可以实现轮式机器的随意移动。
线速度：描述机器人前后移动的速度大小
角速度：描述机器人转动的角速度大小
所以控制机器人移动主要是要把线速度角速度转换为左右轮的速度大小，然后，通过轮子直径和轮间距，可以把线速度和角速度转化为左轮和右轮的速度大小。
这里有一个关键问题就是编码器的选择和pid的调速。
编码器的选择：一般编码器和轮子是在一个轴上，目前来说，速度在0.7m/s以下的话，编码器选600键到1200键之间都ok。不过需要注意的是，编码器最好用双线的，A、B两线输出，A向和B向输出相差90度，这样可以防抖动。防抖动就是可以在之后里程计算时可以更准确。
左轮和右轮的速度大小的控制，通过轮子编码器反馈，通过PID实时调整电机的PMW来实现。实时计算出小车的里程计(odom)，得到小车移动位置的变化。
计算车的位置变化是通过编码器来计算的，如果轮子打滑等情况，那么计算的变化和实际的变化可能不同。要解决这个问题，其实是看那个问题更严重。要走5米只走了4.9米重要，还是要走180度只走了179度重要。
其实角度的不精确对小车的影响更大。一般来说，小车的直线距离精确度可以控制在厘米范围内，在角度方面可以控制精准度在1%~2%。因为角度是比较重要的参数，所以很多人就用陀螺仪来进行矫正。
所以有时候大家问小车精度有多高？其实现在这样已经精度比较高了，难免打滑等问题，不可能做到百分之百的精准。
小车在距离和角度方面做到现在这样对于自建地图导航已经是可以接受的，要提高更高的精度可能就要其他设备辅助，比如激光雷达来进行辅助，激光雷达可以进行二次检测进行纠正。
激光雷达数据的存储格式，它首先会有一个大小范围，如果超出范围是无效的。还有就是有几个采样点，这样就可以激光雷达可以告诉你隔多少度有一个采样点。
另外最后那个Intensities是告诉大家数据的准确率，因为激光雷达也是取最高点的数据，是有一定的准确率的。上面的ppt其实就是用激光雷达扫了一个墙的形状。
激光雷达扫出一个静态形状其实没有意义，雷达建图的意义其实在于建立房间的地图。
如何绘制地图？
第一步是收集眼睛数据：
针对激光雷达，ROS在sensor_msgs 包中定义了专用了数据结构来存储激光消息的相关信息，成为LaserScan。
它指定了激光的有效范围、扫描点采样的角度及每个角度的测量值。激光雷达360度实时扫描，能实时测出障碍物的距离、形状和实时变化。
第二步就是把眼睛看到的数据转化为地图：
ROS的gmapping把激光雷达的/scan数据转换为栅格map数据，其中黑色代表障碍物、白色代表空白区域，可以顺利通行、灰色 ：未知领域。随着机器人的移动，激光雷达可以在多个不同方位观测同一个位置是否有障碍物，如果存在障碍物的阈值超过设置值是，就标定此处是存在障碍物；否则标定不存在障碍物。 把障碍物、空白区域和未知领域的尺寸用不同灰度表示出来，就是栅格地图。便于下一步定位和导航。
有时候会出现很直的墙，机器人却无法直着行走，这时的问题可能就是机器人的轮子出现打滑等其他问题，而走歪了，这时绘制出的地图也可能是歪的。这种情况可以通过加一个陀螺仪来避免这个情况。因为激光雷达的特性，有时候遇到黑色或镜面会导致测距不准。
目前的解决方法就是不用激光雷达，或者用激光雷达和超声波进行辅助处理。
ROS的地图是分多层的，我可以在不同高度放多台激光雷达来一起叠加，共同绘制一张地图。地图绘制结束之后，就可以进行定位和导航等工作。
如何定位和导航？
定位：其实是概率性的定位，而不是100%的精度。根据激光雷达扫描周围障碍物的形状，与地图的形状做匹配，判断机器人所在位置的概率
机器人的定位是否成功，与地图特征有很大关系，如果区域特征明显，那么机器人就很容易判断自己的位置。如果出现难以定位的问题，可能需要人给指定初始位置，或者加led来进行位置识别，或者其他的定位设备来协助定位。
目前的视觉通过色彩或者光的技术越来越多。
导航：全局路径规划+局部调整（动态避障）
导航其实就是全局定位，首先根据现有地图进行规划，但是在运行过程中会进行局部的路线规划。但是总体还是根据全局路径来走。
导航中工作量还很大，比如扫地机的路径规划和服务机器人的路径规划是不一样的，扫地机器人可能要全覆盖的有墙角的地图，而服务机器人主要围绕指定的路径或者最短路径来进行规划，这部分是ROS工作量最大的一块。
路径规划根据不同应用场景变化比较大，但是ROS提供基础的路径规划的开发包，在这个基础上我们会做自己的路径规划。
机器人描述和坐标系变换
在导航时，哪些区域可以通过，取决于机器人形状等信息，ROS通过URDF（UnifiedRobot Description Format) 就是描述机器人硬件尺寸布局，比如轮子的位置、底盘大小、激光雷达安装位置，这些都会影响到坐标系的转换。
坐标系遵循的前提是每个帧只能有一个父帧，再往上进行一些眼神或者关联。
激光雷达的安装位置直接影响/scan输出数据。所以激光雷达和机器人的相对位置是需要做坐标变换，才能把激光雷达的数据转化为机器人视角的数据。
ROS的坐标系，最终归结为三个标准框架，可以简化许多常见的机器人问题：
1）全局准确，但局部不连续的帧（’map”）
2）全局不准确，但局部光滑框架（’odom”）
3）机器人自身框架（’base_link”）
多种传感器(像激光雷达、深度摄像头和陀螺仪加速度计等)都可以计算base_link和odom的坐标关系，但由于“每个帧只能有一个父帧”，所以只能有一个节点(比如 robot_pose_ekf 融合多传感器)发布base_link和odom的坐标关系。
Base link自身的坐标系，因为不同元件装在机器人上不同位置，都要对应到base link的坐标系中，因为所有的传感器都是要通过机器人的视角来“看”。
有些朋友问我，激光雷达在建地图的时候，小车移动后地图就乱了，这是因为小车的底盘坐标系和激光雷达的坐标系没有标定准确。
map和odom之间的关联
因为小车移动需要一个局部联系，比如小车在向前走，不停的累加，这是里程计的作用，map起到全局的、不连续的作用，经过激光雷达和map对应。
如果要学习ROS的话，坐标系的变化是重要的点。坐标系的变换还有一个点，就是每个帧都只有一个父帧，有时候两个坐标都和它有关联的话，就是A和B关联，B再和C关联，而不是B/C都和A关联。
三个坐标帧的父子关系如下：
map –> odom –> base_link
其实， map和odom都应该和base_link关联，但为了遵守“每个帧只能有一个父帧”的原则，根据map和base_link 以及 odom->base_link的关系，计算出map与odom的坐标关系并发布。
odom->base_link的坐标关系是由里程计节点计算并发布的。
map -> base_link的坐标关系是由定位节点计算出来，但并不发布，而是利用接收odom->base_link的坐标关系，计算出map->odom的坐标关系，然后发布。
只有里程计的时候，没有激光雷达，也可以跑，但是要先根据预设地图进行简单避障。
精彩问答
Q：还有ROS的实时性有什么改进进展吗 ？
A：实时改进要看ROS2.0的设计，其实ROS2.0的进展网上有公开。但是实际上他的进展离实际应用还有一定距离，至少今年下半年还达不到稳定，不过可以去研究下他的代码，他对内存管理，线程管理，在实时性上有了很大改善。
Q：vSLAM对内存和CPU要求颇高。实际工程中，李老师使用的是什么硬件配置？可以做多大的地图呢？
A：确实如此，目前来说我们还是使用激光雷达和传感器辅助来进行，这个和地图大小没有太大关系，主要是与地形障碍物复杂程度有关。
2. ros中为啥gmapping建图的时候模型反向运动
应该是定位问题，RBpf是一种有效解决同时定位和建图的算法，它将定位和建图分离，每一个粒子都携带一幅地图。
ros中gmapping建图：
准备。
1、之前在github上下载的双轮差速小车中有该小车的gmapping和键盘控制的文件可以直接用。
2、如果之前安装的不是ros的full版本还需要下载gmapping功能包。
sudo apt-get install ros-indigo-slam-gmapping。
注：官方自带的gmapping属于功能包/软件包/二进制包——ros中下载的代码分为两类：二进制和源代码，二进制不需要编译，例如apt-get；源代码需要编译才可运行。
开始。
1、启动小车。
roslaunch diff_wheeled_robot_gazebo diff_wheeled_gazebo_maze.launch。
注：这个launch文件相比一般启动小车模型多了以两句。
2、启动gmapping节点。
roslaunch diff_wheeled_robot_gazebo gmapping.launch。
3、启动rviz。
rosrun rviz rviz。
点击左侧控制板中add——by topic——map。
4、键盘控制。
roslaunch diff_wheeled_robot_control keyboard_teleop.launch。
注：以上四步需要开启4个终端。其中当键盘控制小车移动时，需要让鼠标停在键盘控制所在的终端。
5、保存地图。
建完地图后需要保存，先安装map-server。
然后保存地图。
rosrun map_server map_saver -f ~/mymap。
此时home文件下有mymap.pgm和mymap.yaml。
参考：
https://blog.csdn.net/wangchao7281/article/details/53647481?utm_source=blogxgwz6。
https://www.cnblogs.com/wenhust/archive/2016/10/14/5960973.html。
3. 如何利用ROS MoveIt快速搭建机器人运动规划平台
最近几年各种移动机器人开始涌现出来，不论是轮式的还是履带式的，如何让移动机器人移动都是最核心的工作。要让机器人实现环境感知、机械臂控制、导航规划等一系列功能，就需要操作系统的支持，而ROS就是最重要的软件平台之一，它在科研领域已经有广泛的应用。不过有关ROS的书籍并不多，国内可供的学习社区就更少了。本期硬创公开课就带大家了解一下如何利用ROS来设计移动机器人。分享嘉宾李金榜：EAI科技创始人兼CEO，毕业于北京理工大学，硕士学位。曾在网易、雪球、腾讯技术部有多年linux底层技术研发经验。2015年联合创立EAI科技，负责SLAM算法研发及相关定位导航软件产品开发。EAI科技，专注机器人移动，提供消费级高性能激光雷达、slam算法和机器人移动平台。移动机器人的三个部分所谓的智能移动，是指机器人能根据周围的环境变化，自主地规划路线、避障，到达目标地。机器人是模拟人的各种行为，想象一下，人走动需要哪些器官的配合？首先用眼睛观察周围环境，然后用脑去分析如何走才能到达目标地，接着用腿走过去，周而复始，直到到达目标地址为至。机器人如果要实现智能移动，也需要眼、脑和腿这三部分的紧密配合。腿“腿”是机器人移动的基础。机器人的“腿”不局限于类人或类动物的腿，也可以是轮子、履带等，能让机器人移动起来的部件，都可以笼统地称为“腿”。类人的腿式优点是：既可以在复杂路况（比如爬楼梯）下移动、也可以更形象地模仿人的动作（比如跳舞），缺点是：结构和控制单元比较复杂、造价高、移动慢等。所以大部分移动的机器人都是轮式机器人，其优势在于轮子设计简单、成本低、移动快。而轮式的也分为多种：两轮平衡车、三轮、四轮和多轮等等。目前最经济实用的是两个主动轮+一个万向轮。眼睛机器人的眼睛其实就是一个传感器。它的作用是观察周围的环境，适合做机器人眼睛的有激光雷达、视觉（深度相机、单双相机）、辅助（超声波测距、红外测距)等。“脑”机器人的大脑就负责接收“眼睛”传输的数据，实时计算出路线，指挥腿去移动。其实就是要把看到的东西转换为数据语言。针对如何描述数据，如何实现处理逻辑等一系列问题。ROS系统给我们提供一个很好的开发框架。ROS简介ROS是建立在linux之上的操作系统。它的前身是斯坦福人工智能实验室为了支持斯坦福智能机器人而建立项目，主要可以提供一些标准操作系统服务，例如硬件抽象，底层设备控制，常用功能实现，进程间消息以及数据包管理。ROS是基于一种图状架构，从而不同节点的进程能接受、发布、聚合各种信息（例如传感，控制，状态，规划等等）。目前ROS主要支持Ubuntu操作系统。有人问ROS能否装到虚拟机里，一般来说是可以的，但是我们建议装个双系统，用Ubuntu专门跑ROS。实际上，ROS可以分成两层，低层是上面描述的操作系统层，高层则是广大用户群贡献的实现不同功能的各种软件包，例如定位绘图，行动规划，感知，模拟等等。ROS（低层）使用BSD许可证，所有是开源软件，并能免费用于研究和商业用途，而高层的用户提供的包则使用很多种不同的许可证。用ROS实现机器人的移动对于二维空间，使用线速度+角速度可以实现轮式机器的随意移动。线速度：描述机器人前后移动的速度大小角速度：描述机器人转动的角速度大小所以控制机器人移动主要是要把线速度角速度转换为左右轮的速度大小，然后，通过轮子直径和轮间距，可以把线速度和角速度转化为左轮和右轮的速度大小。这里有一个关键问题就是编码器的选择和pid的调速。编码器的选择：一般编码器和轮子是在一个轴上，目前来说，速度在0.7m/s以下的话，编码器选600键到1200键之间都ok。不过需要注意的是，编码器最好用双线的，A、B两线输出，A向和B向输出相差90度，这样可以防抖动。防抖动就是可以在之后里程计算时可以更准确。左轮和右轮的速度大小的控制，通过轮子编码器反馈，通过PID实时调整电机的PMW来实现。实时计算出小车的里程计(odom)，得到小车移动位置的变化。计算车的位置变化是通过编码器来计算的，如果轮子打滑等情况，那么计算的变化和实际的变化可能不同。要解决这个问题，其实是看那个问题更严重。要走5米只走了4.9米重要，还是要走180度只走了179度重要。其实角度的不精确对小车的影响更大。一般来说，小车的直线距离精确度可以控制在厘米范围内，在角度方面可以控制精准度在1%~2%。因为角度是比较重要的参数，所以很多人就用陀螺仪来进行矫正。所以有时候大家问小车精度有多高？其实现在这样已经精度比较高了，难免打滑等问题，不可能做到百分之百的精准。小车在距离和角度方面做到现在这样对于自建地图导航已经是可以接受的，要提高更高的精度可能就要其他设备辅助，比如激光雷达来进行辅助，激光雷达可以进行二次检测进行纠正。激光雷达数据的存储格式，它首先会有一个大小范围，如果超出范围是无效的。还有就是有几个采样点，这样就可以激光雷达可以告诉你隔多少度有一个采样点。另外最后那个Intensities是告诉大家数据的准确率，因为激光雷达也是取最高点的数据，是有一定的准确率的。上面的ppt其实就是用激光雷达扫了一个墙的形状。激光雷达扫出一个静态形状其实没有意义，雷达建图的意义其实在于建立房间的地图。如何绘制地图？第一步是收集眼睛数据：针对激光雷达，ROS在sensor_msgs包中定义了专用了数据结构来存储激光消息的相关信息，成为LaserScan。它指定了激光的有效范围、扫描点采样的角度及每个角度的测量值。激光雷达360度实时扫描，能实时测出障碍物的距离、形状和实时变化。第二步就是把眼睛看到的数据转化为地图：ROS的gmapping把激光雷达的/scan数据转换为栅格map数据，其中黑色代表障碍物、白色代表空白区域，可以顺利通行、灰色：未知领域。随着机器人的移动，激光雷达可以在多个不同方位观测同一个位置是否有障碍物，如果存在障碍物的阈值超过设置值是，就标定此处是存在障碍物；否则标定不存在障碍物。把障碍物、空白区域和未知领域的尺寸用不同灰度表示出来，就是栅格地图。便于下一步定位和导航。有时候会出现很直的墙，机器人却无法直着行走，这时的问题可能就是机器人的轮子出现打滑等其他问题，而走歪了，这时绘制出的地图也可能是歪的。这种情况可以通过加一个陀螺仪来避免这个情况。因为激光雷达的特性，有时候遇到黑色或镜面会导致测距不准。目前的解决方法就是不用激光雷达，或者用激光雷达和超声波进行辅助处理。ROS的地图是分多层的，我可以在不同高度放多台激光雷达来一起叠加，共同绘制一张地图。地图绘制结束之后，就可以进行定位和导航等工作。如何定位和导航？定位：其实是概率性的定位，而不是100%的精度。根据激光雷达扫描周围障碍物的形状，与地图的形状做匹配，判断机器人所在位置的概率机器人的定位是否成功，与地图特征有很大关系，如果区域特征明显，那么机器人就很容易判断自己的位置。如果出现难以定位的问题，可能需要人给指定初始位置，或者加led来进行位置识别，或者其他的定位设备来协助定位。目前的视觉通过色彩或者光的技术越来越多。导航：全局路径规划+局部调整（动态避障）导航其实就是全局定位，首先根据现有地图进行规划，但是在运行过程中会进行局部的路线规划。但是总体还是根据全局路径来走。导航中工作量还很大，比如扫地机的路径规划和服务机器人的路径规划是不一样的，扫地机器人可能要全覆盖的有墙角的地图，而服务机器人主要围绕指定的路径或者最短路径来进行规划，这部分是ROS工作量最大的一块。路径规划根据不同应用场景变化比较大，但是ROS提供基础的路径规划的开发包，在这个基础上我们会做自己的路径规划。机器人描述和坐标系变换在导航时，哪些区域可以通过，取决于机器人形状等信息，ROS通过URDF（UnifiedRobotDescriptionFormat)就是描述机器人硬件尺寸布局，比如轮子的位置、底盘大小、激光雷达安装位置，这些都会影响到坐标系的转换。坐标系遵循的前提是每个帧只能有一个父帧，再往上进行一些眼神或者关联。激光雷达的安装位置直接影响/scan输出数据。所以激光雷达和机器人的相对位置是需要做坐标变换，才能把激光雷达的数据转化为机器人视角的数据。ROS的坐标系，最终归结为三个标准框架，可以简化许多常见的机器人问题：1）全局准确，但局部不连续的帧（’map”）2）全局不准确，但局部光滑框架（’odom”）3）机器人自身框架（’base_link”）多种传感器(像激光雷达、深度摄像头和陀螺仪加速度计等)都可以计算base_link和odom的坐标关系，但由于“每个帧只能有一个父帧”，所以只能有一个节点(比如robot_pose_ekf融合多传感器)发布base_link和odom的坐标关系。Baselink自身的坐标系，因为不同元件装在机器人上不同位置，都要对应到baselink的坐标系中，因为所有的传感器都是要通过机器人的视角来“看”。有些朋友问我，激光雷达在建地图的时候，小车移动后地图就乱了，这是因为小车的底盘坐标系和激光雷达的坐标系没有标定准确。map和odom之间的关联因为小车移动需要一个局部联系，比如小车在向前走，不停的累加，这是里程计的作用，map起到全局的、不连续的作用，经过激光雷达和map对应。如果要学习ROS的话，坐标系的变化是重要的点。坐标系的变换还有一个点，就是每个帧都只有一个父帧，有时候两个坐标都和它有关联的话，就是A和B关联，B再和C关联，而不是B/C都和A关联。三个坐标帧的父子关系如下：map–>odom–>base_link其实，map和odom都应该和base_link关联，但为了遵守“每个帧只能有一个父帧”的原则，根据map和base_link以及odom->base_link的关系，计算出map与odom的坐标关系并发布。odom->base_link的坐标关系是由里程计节点计算并发布的。map->base_link的坐标关系是由定位节点计算出来，但并不发布，而是利用接收odom->base_link的坐标关系，计算出map->odom的坐标关系，然后发布。只有里程计的时候，没有激光雷达，也可以跑，但是要先根据预设地图进行简单避障。精彩问答Q：还有ROS的实时性有什么改进进展吗？A：实时改进要看ROS2.0的设计，其实ROS2.0的进展网上有公开。但是实际上他的进展离实际应用还有一定距离，至少今年下半年还达不到稳定，不过可以去研究下他的代码，他对内存管理，线程管理，在实时性上有了很大改善。Q：vSLAM对内存和CPU要求颇高。实际工程中，李老师使用的是什么硬件配置？可以做多大的地图呢？A：确实如此，目前来说我们还是使用激光雷达和传感器辅助来进行，这个和地图大小没有太大关系，主要是与地形障碍物复杂程度有关。
4. ROS 怎么设置 网络流量图
防火墙问题，添加
/ip firewall filter add chain=input action=acc proto=tcp dst-port=端口
注意，拖到drop规则前。
5. 基于深度相机 RealSense D435i 的 ORB SLAM 2
相比于 上一篇文章 ，这里我们将官方给的 rosbag 数据包替换为来自深度相机的实时数据。之所以选择 Intel RealSense 这款深度相机，仅仅是因为它是最容易买到的。。。在京东上搜“深度相机”，符合要求的几乎都是这个系列的。具体到 D435i 这个型号，它可以提供深度和 RGB 图像，而且带有 IMU，未来如果我们继续做视觉+惯导的 SLAM 也够用了。
参考： https://www.intelrealsense.com/depth-camera-d435i/
Intel 官方给出了非常详细的介绍，尤其是 产品手册 ，几乎涵盖了用户需要（以及不需要）了解的全部信息。
这里把其中关于 D435i 的关键信息摘录出来，方便以后查阅。
Interl RealSence D4×× 系列，包括 D435i，都是采用经典的双目视觉的方式测量深度。尽管具有红外投射器，但并不是采用红外反射测距。它的作用仅仅是投射不可见的固定的红外纹理样式，提高在纹理不明显的环境中（例如白墙）的深度计算精度，辅助双目视觉测距。左右两个相机将图像数据送入内置的深度处理器，在其中基于双目测距的原理计算每个像素的深度值。
下图显示的是红外投射在白纸上的纹理模式：
双目测距相机的参数
红外投射器参数
RGB 相机参数
深度图像分辨率与支持的帧率
RGB图像分辨率与支持的帧率
IMU 参数
Intel RealSense SDK 2.0 是跨平台的开发套装，包含了基本的相机使用工具如 realsense-viewer，也为二次开发提供了丰富的接口，包括 ROS，python , Matlab, node.js, LabVIEW, OpenCV, PCL, .NET 等。
在 Linux 系统中，开发工具库有两种安装方式，一种是安装预编译的 debian 包，另一种是从源码编译。
如果 Linux 内核版本为 4.4, 4.8, 4.10, 4.13, 4.15, 4.18* 5.0* and 5.3*，并且没有用户自定义的模块，最好选择安装预编译的 debian 包，方便很多。
通过如下命令查看 ubuntu kernel 版本
显示结果为 5.0.0-23-generic ，满足上述版本要求。我们选择安装预编译的 debian 包。
Ubuntu 下的安装步骤可以参考 https://github.com/IntelRealSense/librealsense/blob/master/doc/distribution_linux.md
具体步骤摘录如下（针对 Ubuntu 18.04）：
然后就可以运行 realsense-viewer 查看相机的深度和 RGB 图像，以及 IMU 中的测量，如下图所示：
另外还需要查看一下
确认包含 realsense 字样，例如 version: 1.1.2.realsense-1.3.14 。
再查看一下 dkms
返回结果中包含类似 librealsense2-dkms, 1.3.14, 5.0.0-23-generic, x86_64: installed 。
如果以上都没问题，说明 RealSense SDK 2.0 安装成功！
如果上述返回结果有误，则可能影响后续的运行。根据我们的经验，realsense-dkms 会选择 /lib/moles 中的第一个 kernel 安装，如果系统中存在多个 kernel，而当前运行的 kernel 不是 /lib/moles 中的第一个 kernel，就可能出问题。
Intel RealSense D4×× 系列相机从 Firmware version 5.12.02.100 开始加入了自标定功能，大大提高了相机标定的自动化程度，不再需要拿着标定板摆拍了。
详细操作可以查看 这里 。
简要流程：
在本文中，我们的最终目的是将相机的深度和 RGB 数据发布到 ros topic 上，然后通过 ORB SLAM 2 进行点云建图。
这里就需要用到 ROS 的 realsense 库 ros-$ROS_VER-realsense2-camera 。需要注意的是，这个 ROS 库并不依赖于 RealSense SDK 2.0，两者是完全独立的。因此，如果只是想在 ROS 中使用 realsense，并不需要先安装上边的 RealSense SDK 2.0。
安装步骤参考 https://github.com/IntelRealSense/realsense-ros 。
具体命令如下（前提：已安装 ROS melodic 版本）：
包括两部分：
在启动相机之前，我们需要设置一下 realsense2_camera rospack 中的 rs_camera.launch 的文件。
对于 ros launch 中各个参数的介绍可以参考 这里 。
在 rs_camera.launch 文件中确保以下两个参数为 true ：
前者是让不同传感器数据（depth, RGB, IMU）实现时间同步，即具有相同的 timestamp;
后者会增加若干 rostopic，其中我们比较关心的是 /camera/aligned_depth_to_color/image_raw ，这里的 depth 图像与 RGB 图像是对齐的，对比如下
然后就可以用如下命令启动相机了：
部分 ros topic 如下：
其中关键的是 /camera/color/image_raw 和 /camera/aligned_depth_to_color/image_raw 分别对应 RGB 图像和深度图像。基于这些数据，我们希望实现 ORB SLAM 2 + 点云建图的效果 。
相比于采用 rosbag 数据包的 ORB SLAM 2，这里有以下几点修改：
做完以上修改，就可以按照 前一篇文章 中的步骤编译和运行 ORB SLAM 2 了，此时深度和 RGB 数据不再是来自 rosbag ，而是来自相机。
命令总结如下：
最终保存的点云地图效果如下：
本文记录了基于深度相机 Intel RealSense D435i 实现 ORB SLAM 2 的过程，由于之前的文章（ 1 ， 2 ）已经非常详细的记录了基于 rosbag 数据包的 ORB SLAM 2，本文的大部分内容是记录与深度相机相关的一些设置，方便自己以后查阅，也希望能帮到类似研究方向的其他读者。
6. 激光雷达SLAM算法
机器人研究的问题包含许许多多的领域，我们常见的几个研究的问题包括：建图(Mapping)、定位(Localization)和路径规划（Path Planning），如果机器人带有机械臂，那么运动规划（Motion Planning）也是重要的一个环节，SLAM需要机器人在未知的环境中逐步建立起地图，然后根据地区确定自身位置，从而进一步定位。
ROS系统通常由大量节点组成，其中任何一个节点均可以通过发布/订阅的方式与其他节点进行通信。举例来说，机器人上的一个位置传感器如雷达单元就可以作为ROS的一个节点，雷达单元可以以信息流的方式发布雷达获得的信息，发布的信息可以被其他节点如导航单元、路径规划单元获得。
ROS的通信机制：
ROS（机器人操作系统）中SLAM的一些功能包，也就是一些常用的SLAM算法，例如Gmapping、Karto、Hector、Cartographer等算法。我们不会去关注算法背后的数学原理，而是更注重工程实现上的方法，告诉你SLAM算法包是如何工作的，怎样快速的搭建起SLAM算法。
地图 ： ROS中的地图很好理解，就是一张普通的灰度图像，通常为pgm格式。这张图像上的黑色像素表示障碍物，白色像素表示可行区域，灰色是未探索的区域
地图在ROS中是以Topic的形式维护和呈现的，这个Topic名称就叫做 /map ，由于 /map 中实际上存储的是一张图片，为了减少不必要的开销，这个Topic往往采用锁存（latched）的方式来发布。地图如果没有更新，就维持着上次发布的内容不变，此时如果有新的订阅者订阅消息，这时只会收到一个 /map 的消息，也就是上次发布的消息；只有地图更新了（比如SLAM又建出来新的地图），这时 /map 才会发布新的内容。 这种方式非常适合变动较慢、相对固定的数据（例如地图），然后只发布一次，相比于同样的消息不定的发布，锁存的方式既可以减少通信中对带宽的占用，也可以减少消息资源维护的开销。
Gmapping ，Gmapping算法是目前基于激光雷达和里程计方案里面比较可靠和成熟的一个算法，它基于粒子滤波，采用RBPF的方法效果稳定，许多基于ROS的机器人都跑的是gmapping_slam。
gmapping的作用是根据激光雷达和里程计（Odometry）的信息，对环境地图进行构建，并且对自身状态进行估计。因此它得输入应当包括激光雷达和里程计的数据，而输出应当有自身位置和地图。
论文支撑：R-LINS: A Robocentric Lidar-Inertial State Estimator for Robust and Efficient Navigation
6轴 IMU：高频，聚焦自身运动，不采集外界环境数据
3D LiDAR：低频，聚焦车体运动，采集外界环境数据
R-LINS使用以上两种传感器来估计机器人的运动姿态， 对于任一传感器而言，单独的依靠自己的数据是很难实现地图构建的， 比如纯雷达模型使用的传感器是激光雷达，可以很好的探测到外界的环境信息。但是，同样的，也会受到这些信息的干扰，再长时间的运算中会产生一定的累计误差。为了防止这种误差干扰到后续的地图构建中，需要使用另一种传感器来矫正机器人自身的位姿信息， 即IMU传感器，IMU传感器由于是自身运动估计的传感器，所以，采集的都是自身运动的姿态信息。可以很好的矫正激光雷达里程计的位姿信息。所以，通常使用激光雷达和惯导来进行数据融合，实现姿态信息的矫正。
一共分为三大块：
7. ros是怎么利用gmapping建立地图的
ROS的stack库分作两部分，一部分为核心部分，即main部分，简而言之就是使用下面命令，安装ROS系统时就已经安装到我们用户电脑上的那部分。$sudoapt-getinstallros-diamondback-desktop-full另一部分为选用部分，即universe部分，它不仅包括一些开源库的支持，如opencv,pcl,openni_kinect等，还有更上面以机器人功能模块命令的一些stack，例如pr2_doors,find_object,facerecognition,grasp等等，真是一个丰富的宝藏，更详细的stack包可以在官网的StackList页面查询。（.bashrc中$rosmake.(pr2_doors里面所需的package文件)