关键词:Swarm Robotics、Multi-Robot、multi-agent、heterogeneous robot teams异质机器人团队、Collective Perception, decision-making and execution集体感知决策执行、Order Reasoning(规划)顺序推理,task planning,A heterogeneous multi-rob
2021 NVIDIA CLIPORT: What and Where Pathways for Robotic Manipulation 端到端学习精细操纵+视觉-语言基础系统的多目标和多任务泛化能力的框架。二流架构(语义和空间路径),CLIPORT将CLIP的语义理解(“是什么”)与Transporter(以动作感知为中心,将桌面操作形式化为可供预测的拾取和放置的传统方法)的空间精度(“在哪里
一、NLP和CV领域的一些经典算法 nlp领域(基于LSTM和基于Transformer两种框架) Transformer(Attention is also your need):编码器解码器自注意力机制。 论文讲解: https://www.bilibili.com/video/BV1pu411o7BE/?spm_id_from=333.999.top_right_bar_window_
一、机器人领域前沿方向 具身智能与垂直大模型:指拥有自主感知、交互和行动能力的智能体,能够与环境进行实时互动,从而实现对环境的理解和适应。核心技术包括:智能体环境感知与建模、智能体自主决策与规划、人机交互、群控协作、机器学习与强化学习等技术。 人形与四足仿生机器人:指受生物学原理和生物体结构启发,设计和制造的机器人,以模仿生物的运动、行为和外貌,实现更自然、更适应性强的性能。包括四足机器人
具体内容可以查看Mobile robot SUMMIT-XL STEEL机器人底盘控制学习 系列第三篇-2 ,这篇主要是把底盘部分以及整个系统的测试工作简单介绍一下。 ----------------------------------------------------------------------------------------------- 一、机器人控制系统总体框架设计
在机器人视觉系统,利用AprilTag得到的标签信息,进一步得到物体识别区域的位置,发送给底盘即可驱动底盘移动到识别区域。也需要用AprilTag进行手眼标定,把子坐标系camera_rgb_optical_frame到基坐标系base_link的相对位置关系标定,完成机器人的手眼标定过程。 一、机器人控制系统总体框架设计 这几章内容主要集中在机器人的视觉控制、三维目标抓取
一、机器人控制系统总体框架设计 这几章内容主要集中在机器人的视觉控制、三维目标抓取这一部分,也算顺着之前的CT-LineMod算法继续谈一下计算机视觉这一部分的内容。第一节这个总体框架设计在接下来的视觉、抓取、导航部分都会放在前面,以帮助读者理解一下各个部分的功能以及把握整体性。 二、机器人视觉系统 深度相机、激光雷达等外部硬件设备提供的RGB-D图像以及环境信息来源作
前言:其实之前写的LineMod算法也好、patchLinemod或者设计的CT-LineMod算法,就是把机器人控制系统视觉部分的算法单独拎出来深入研究一下。机器人控制系统设计很多可以深入研究的领域,以我做的内容为例就包含视觉部分(6D位姿估计)、抓取部分(机械臂控制)、导航(SLAM),而这又可以进一步细分研究方向,如视觉部分CT-LineMod算法只是传统的模板匹配算法,诸如流行的PoseC
写在前面的话:啊。。这,好久没有更新了0.0趁着这个间隙好好总结一下自己做的东西吧亲! -------------------------------------------------------------------------------------------------------------------------- 前面简单谈了一下CT-LineMod算法的设计思考、背景
前一个星期搭建了Ubuntu16.04 以及机器人平台Kinetic for ROS。这周开始利用IntelRealSense ZR300深度相机进行物体识别,并利用到新的点云来检测。好了下面来记载一下自己踩得坑。 关于搭建Ubuntu Kinetic 和ROS:http://wiki.ros.org/cn WIki百科 反正我没怎么看 ROS Robot Programming(EN
前后忙碌了两个星期,从最开始采用PCL进行目标物体检测分割到后面发现另一种简便的方法ORK一步步采坑调通,先将步骤记录下来。任务主线是深度相机看到物体是什么、在哪儿,接着讲位姿发送给机械臂进行抓取,这两周主要解决了用深度相机检测一个可乐罐以及发布其位置信息。(盗版内容太多了,不过我会偶尔更新内容以及在邮箱进行回复大家) 好了开始这两周的工作内容总结: 运行环境:Ubuntu16
1.机械臂UR的控制包括两种,一种是通过终端控制 比较笨重不方便,用于测试使用,另一种是通过ros例程包,订阅位置信息控制机械臂的移动,moveit自动规划机械臂的路径,并躲过设置好的盒子(box) 手部RG2机械手的控制一种是通过终端的程序,在大终端中创建空程序 、结构、RG2、命令、带宽。 2.步骤 #roslaunch ur_control ur10_control.launc
首先分享学到的两个软件(插件),对以后的论文下载以及整理论文非常有帮助。 1.zotero 不论是window还是linux 在Firefox及Chrome下载软件并安装插件就可以方便的下载打开的链接里面的文章,也可以加自己的论文等等来整理。 开始正题,最近对于Mobile robot SUMMIT-XL STEEL机器人底盘控制的学习 https://www.robotnik.
参考文章了链接: https://blog.csdn.net/zhang970187013/article/details/81098175 https://github.com/IFL-CAMP/easy_handeye/tree/master https://blog.csdn.net/sinat_23853639/article/details/80276848 跑了一个星期
接着上述的工作,在将近一个月的摸索实践中,终于完成了抓取的工作。其中包含tf坐标系的转换以及最后位置的调试工作。 这一篇先讲述如果进行根据camera_link以及base_link之间的转换关系完成一个点、一组点的进阶坐标转换。接着之前的手眼标定,连接起相机以及机械手臂的tf_tree. #rosrun rqt_tf_tree rqt_tf_tree 这
继续昨天的内容总结,之前已经成功将识别到的物体位置发布出来作为一个全局变量。这一篇则是讲最终的问题,虽然前面的步骤都做完了,而且最后这步没什么实质性的编程,但是一直机械臂一直有问题,且运行错误或者到达不了预设的位置,本篇即以此为基础进行总结,分析最终不能成功可能的原因,并给出一个合理的开发调试建议。 首先惯例先给出几篇参考网址 1.这个是之前写的文章下面交流的时候有提到的参考网址,
最近都在准备雅思及出国,所以没有空总结,这里先贴出来paper里的一些结果及参考网站,等之后再补充细节步骤及代码说明等等。已经发了,详情请见下一篇文章进行了步骤总结。 参考网站: https://zhuanlan.zhihu.com/6d-pose 这个是上交的一个博士的成果,我所做的一切也是在这个基础上完成。之前和这位前辈交流过真的受益匪浅,以后还是要多多和他交流进步。 https:/
作者针对LineMod算法不能解决多目标重叠物体复杂场景下的识别的问题,以及Patch-LineMod算法识别机制不够合理,特征分类形成模板的过程依据不够充分的问题,升级为CT-LineMod算法,一定程度上解决了复杂场景重叠物体的识别的问题并提升了识别率和准确度。模型的源代码以及文章如下,目前文章已被CC录用,应该不久就可以查到(COGN-D-19-00232R1)。文献引用:Tie
代码解析参考 LineMod算法已经是比较成熟的算法,在Ubuntu里直接作为一个算法包嵌入进去,可以直接下载用。 运行环境:Ubuntu16.04+ROS Kinetic+PCL http://campar.in.tum.de/pub/hinterstoisser2011linemod/hinterstoisser2011linemod.pdf https://blog.csdn.net
一、算法原理 CT-LineMod算法信息层级处理结构图如图所示。三维物体的原始点云数据输入后,本模型通过计算每个3D特征点的四个附加特征(梯度方向、梯度幅度、表面法向量方向、表面法向量幅度)形成图b的7D特征向量。之后通过集成特征点邻域s*s区域范围内的特征作为待匹配特征块,通过K-means均值化降维为新的3D空间向量,依据Müller-Lyer错觉效应的原理对特征块分配成为更有相关性的
写在前面:从第五章开始就写一写自己的论文里的CT-LineMod算法,考虑从相关的算法原理以及设计思路出发解释原理。关于前一章已经得到的物体6D位姿,可以结合第五章,均是在6D位姿识别领域的算法研究。得到的位姿后面再写怎么抠出来发送到机器人,用机械臂抓取(这部分又属于机器人控制系统设计这个方向)。所以虽然在项目工程里现做的抓取后升级的算法,但从写文章角度按逻辑来说还是先把6D位姿这部分算法说清楚再
写在前面: 上一篇文字内容比较多,主要侧重于算法本身以及公式实现,这一篇可以适当人话一点,主要是自己的理解和图示说明这个算法的原理。 一、LineMod算法介绍 LineMod算法是由Hinterstoisser等人在2011年提出的旨在解决杂乱场景下少纹理三维物体的实时监测与6D位姿估计定位问题。 针对传统方法搜索空间方式效率低、较难产生判别描述子并且低鲁棒性的弊端,采用模板
一、背景介绍 LineMod算法是由Hinterstoisser等人在2011年提出的旨在解决杂乱场景下少纹理三维物体的实时监测与6D位姿估计定位问题。 针对传统方法搜索空间方式效率低、较难产生判别描述子并且鲁棒性较低的弊端,Stefan Hinterstoisser等人采用了模板匹配的方法,利用3D物体的RGB-D信息即三维物体的RGB二维彩色图像信息和Depth深度信息作为输入。
一、背景意义 机器人视觉识别技术是移动机器人平台十分关键的技术,代表着机器人智能化、自动化及先进性的条件判定标准。 如何在最短时间内最精确地识别检测到出现在深度相机视野范围内的目标,将检测到的三维点云数据提取出来是机器人后续抓取三维物体的基础,并且无论对于工业用还是服务业都有着巨大的意义与研究价值。基于机器视觉的三维物体目标的识别、检测与定位技术已经成功应用于众多工业领域中。
主要看前面带大写数字的就可以啦,没带的是之前CSDN上的转载
有的,在最后一篇文章有发的文章的索引,文章下有源码(发在了实验室的github)
这个之前训练的时候没注意过这个,后面都在改进算法了不涉及利用couchDB训练。。
这个是之前版本的,代码在新的系列里面。有项目和算法的代码,不一样
最新总结了一系列的博客,这篇属于官方直接把之前发在csdn上的转过来了
已更新~
可以看第八篇哈,如果失效了可以发邮件我再找找
北大硕,哈工深博士在读,研究领域包括:Multi-modal大模型、Embodied Robots、集群/协同机器人等
积分
粉丝
勋章
第三方账号登入
看不清?点击更换
第三方账号登入
QQ 微博 微信