0. 简介 其实3D Gaussian Splatting和MVS,SFM,Nerf这类比较类似,但是我们发现辐射场一类场景表示方法已经在新视角渲染任务上得到了革命性的进展,但是在高分辨率图片上由于需要使用神经网络,导致训练和渲染都需要十分昂贵的代价,因此最近那些速度比较快的方法都不可避免地需要通过损失质量来提高速度。 而3D 高斯泼溅(Splatting)是用于实时辐射场渲染的 3D 高斯分布描
0. 简介 由于多相机之间通常存在有限或无重叠的视场,因此在估计外参相机参数时面临着一定的挑战,为了解决这个问题,本文提出了CamMap:一种新颖的6自由度外参标定流程。根据三个操作规则,使一个多相机系统单独捕捉一些类似的图像序列,以使用SLAM系统创建基于稀疏特征的地图。我们构建了一个两阶段的优化问题来对齐这些地图,并基于双向投影得到它们之间的变换,这些变换即为外参参数。该方案支持各种相机类型,
0. 简介 环视BEV已经是很多场景中需要的功能,也是视觉代替激光雷达的有效解决方案,而《SurroundOcc: Multi-camera 3D Occupancy Prediction for Autonomous Driving》一吻则代表了这个领域的SOTA算法,文中通过多帧点云构建了稠密占据栅格数据集,并设计了基于transformer的2D-3D Unet结构的三维占据栅格网络。同时也
IMU系统的运动学 惯性测量单元(IMU)已经非常普及了。我们在绝大多数电子设备中都能找到IMU:车辆、手机、手表、头盔,甚至足球当中都内置了IMU。它们的体积很小,安装在设备内部,可以提供有效的局部运动估计,实现一些有趣的功能。在自动驾驶中,惯性导航器件也是十分基础的定位装置。惯性导航提供的定位效果基本与外部环境和其它传感器数据无关,具有很高的泛用性和可靠性。 典型的六轴IMU由陀螺仪(Gy
0. 简介 最近世界模型的概念也比较火,世界模型可以无监督方式进行快速训练,以学习环境的稀疏时空表征。通过使用提取自世界模型的特征作为智能体的输入,训练面向任务的小规模控制器,用简单的策略。甚至可以完全通过由世界模型本身生成的虚幻梦境训练本文的智能体,并把从中学会的策略迁移进真实环境之中。《UniWorld: Autonomous Driving Pre-training via World Mo
0. 简介 我们常说的位姿图松弛指的就是基于闭环检测的边进行位姿图优化。而位姿图松弛已成为SLAM中不可或缺的补充,能够在满足逐对相对变换约束的目标下,实现传感器参考帧的高效全局配准。这些约束可以通过增量运动估计或全局地点识别来给出。尽管后一种情况可以实现闭环和漂移补偿,但在单目情况下需要注意,局部结构和位移的估计与实际情况可能不同,不仅在噪声方面,还可能存在尺度因子方面的差异。由于尺度传播误差的
0. 简介 高精地图作为自动驾驶中最关键的组成部分,矢量化高精(HD)地图包含有关周围道路元素的详细信息,这对于现代自动驾驶汽车的各项下游任务是至关重要的,例如车辆规划和控制。最近的工作试图直接检测矢量化高精地图,将其作为点集预测任务,从而显著提高了检测性能。然而,这些方法无法分析并且利用预测点之间的内部实例相关性,这阻碍了进一步的发展。《INSIGHTMAPPER: A CLOSER LOOK
今天这篇是深度稍微高一些的,尽量写细,但是具体实践各家都有不同的方式与工程习惯,就不多赘述了。 小组工作比较忙,代码还没来得及整理,总体更新一下基础知识。 VIO系统后端核心的三种约束是:先验约束,视觉约束与IMU预积分。 实验对象是VINS-MONO,首先因为我们主要的工程是基于VINS-MONO,另外VINS-MONO也是当前所有VIO系统里整个骨干脉络和原理逻辑比较清晰的一版,在其基础
今天主要写针对主流VIO和VSLAM如VINS-MONO和DSO的工程改造思路 肯定是有相当价值的,总体写得比较简单,需要具备软件/硬件/算法等各方面综合能力才能掌握主要路径,具体实现方面以后由其他同事来针对每一个单一闭环来更新。 主流VIO系统核心问题如下: 1. ZUPT零速修正与各种特殊场景失效的问题: 这个在前文已经详细描述过6-7类常见问题,目前也已经在工程上完整的解决了,
首先假设读者是了解基础VSLAM,了解VIO基础(至少要会标定,调过几个开源系统的) 先说一下双目的VINS-FUSION,大部分问题都是基线造成的问题,简单点说就是如果使用较短的基线如5cm(Real sense)和常规的14cm,在大场景(如空间广阔,特征分布远近不一的大户外场景)中失去尺度是比较正常的,室内一般纹 理比较好的区域相对单目还是比较稳定的,尤其是可以静止初始
在ROS中发布导航命令有三种方式(但其实本质上都是话题发送) 一、使用Rviz进行导航 最常见的导航是在Rviz中实现的导航,通过2D Nav Goal可以设置导航目标点,但实际上2D Nav Goal会操作三个话题均有输出: /move_base/current_goal /move_base/goal /move_base_simple/goal Rviz中导航操作的主要话题
环境:ROS(melodic) + PCL1.9 源码如下: #include<ros/ros.h> #include<pcl/point_cloud.h> #include<pcl_conversions/pcl_conversions.h> #include<sensor_msgs/PointCloud2.h> #include<
0. 简介 视觉位置识别是一个非常重要也非常有趣的工作,本质上都可以归类为构建图像数据库+查询图像检索的过程。现在的主要问题是,很多识别算法都是针对特定环境进行的,换一个环境很可能直接就挂掉了。一个真正通用的位置识别算法需要做到的是:任何地点(无缝地运行在任何环境中,包括空中、地下和水下),任何时间(对场景中的时间变化,如昼夜或季节变化,或对临时物体具有鲁棒性),以及跨任何视角(对视角变化具有鲁棒
0. 简介 局部几何信息即法线和点分布在基于激光雷达的同时定位与地图构建(SLAM)中是至关重要,因为它为数据关联提供了约束,进一步确定了优化方向,最终影响姿态的准确性。然而即使在使用KD树或体素图的辅助下,估计法线和点分布也是耗时的任务。为了实现快速法线估计,《LOG-LIO: A LiDAR-Inertial Odometry with Efficient Local Geometric In
0. 简介 使用神经网络来匹配2D公开地图的做法是一个很有趣的方法,人们可以使用简单的2D地图在3D环境中指明自己所处的位置,而大部分视觉定位算法则依赖于昂贵的、难以构建和维护的3D点云地图。为了弥合这一差距《OrienterNet: Visual Localization in 2D Public Maps with Neural Matching》提出了第一个能够在人类经常使用的语义2D地图中
0. 简介 深度神经网络在各项任务中均展现出卓越的性能,但是它们缺乏鲁棒性、可靠性以及过于自信的倾向,这给它们在自动驾驶等安全关键应用中的部署带来挑战。在这方面,量化模型预测所固有的不确定性是解决这些缺陷的有希望的努力方向。在《U-CE: Uncertainty-aware Cross-Entropy for Semantic Segmentation》中提出了一种新型的不确定性感知交叉熵损失(U
0. 简介 之前了解了很多BEV的相关操作,但是基本上要么是激光和视觉结合,要么是纯视觉完成的2D激光投影这两种,而那种3D Occupancy方法可以利用栅格的方法完成纯视觉占据栅格的生成。《VoxFormer: Sparse Voxel Transformer for Camera-based 3D Semantic Scene Completion》就是这种方法对于被遮挡的物体和场景,人们可
一. 在ubuntu下使用kalibr标定 在Realsense官网上librealsense现在D405只接受ROS2下的环境(相机确实很新) 在ROS1下我想到了改设备ID号的方式进行标定 这里需要注意librealsense以及realsense_ros的版本对应问题,一定要注意这点不然后面roslaunch会报错 D405没有IMU所以标定会简单一些 这里我的librealsen
入口 该模块的启动是通过融合模块的dag文件而启动的,在Apollo/modules/perception/production/launch中,并没有单独启动radar的launch文件或者单独启动的dag文件。其具体路径为:Apollo/modules/perception/production/dag/dag_streaming_perception.dag launch文件用来启动,d
0. 简介 对于NDT而言,相信各位应该都有所了解了,但是作为高精地图来说性能还需要进一步提升,为此《Towards High-Definition Maps: a Framework Leveraging Semantic Segmentation to Improve NDT Map Compression and Descriptivity》一文提出了一种利用语义分割提高NDT地图压缩和描述
第三方账号登入
看不清?点击更换
第三方账号登入
QQ 微博 微信