9.自主驾驶 在接下来的环节中,我们要实现漫游者号的自动驾驶功能。 完成这个功能我们需要四个程序,第一个为感知程序,其对摄像头输入的图片进行变换处理和坐标变换使用。第二个程序为决策程序,功能是帮助漫游者号根据当前条件和状态进行相应的决策,以实现漫游者号前进,后退,转向等功能。第三个是支持程序,来定义一些关于漫游者号状态的类等。最后为主程序,来调用三个函数对漫游者号进行控制的。 Udacity提供的
7.做出决策 我们已经建立了感知步骤Perception.py,接下来要构建决策函数decision.py 。 我们利用一个基础的人工智能模型——决策树模型。其结构如下: 由于我们采用一个非常简单的模型,所以我们只需要编码一系列可能的场景与每种场景相关的决策。 我们在这个项目中会接收很多信息,比如漫游者号当前状态的信息,比如当前位置,速度、方向、转向角等等。我们只需要给出相应的条件,然后给出如何
6.方法测试在这个部分我们要整体的测试我们的程序,对前面的知识和内容有一个整体的应用和概括。 这是Udacity提供的相应资料,在code文件夹中有一个Rover_Project_Test_Notebook.ipynb文件,提供了输出视频的笔记本文件。 由于个人喜好的原因,我选择了pycharm2019来运行此程序。 (1)方法测试程序概述在这个部分我们需要完成的项目如下 首先运行笔记本中的每个单
Robotics Software engineer编程笔记(二) 5.确定漫游者号的行进方向 (1)漫游者号如何确定自己的行进方向? 我们已经有了一个由前置摄像头得到的图像,然后可以通过对图像进行处理,来确定漫游者号应该转动的方向。 通过将漫游者坐标转换成极坐标,我们就能确定小车应该前进的方向,其中每个像素位置由距离原点的距离和从正x方向逆时针的角度表示。 如图所示, 漫游者号能行驶的范围只有在
策略梯度方法引言 9.1 策略近似和其优势 9.2 策略梯度定理 9.2.1 梯度上升和黑箱优化 9.2.2 策略梯度定理的证明 9.3 REINFORCE:蒙特卡洛策略梯度 9.3.1 轨迹上的REINFORCE算法 9.3.2 REINFORCE算法实例 9.4 带基线的REINFORCE算法 引言在之前介绍的方法中,几乎所有方法都是动作价值方法(action-
Robotics Software engineer编程笔记(一) 使用Udacity提供的漫游者号模拟器创建环境地图,寻找样本。 该项目是根据美国国家航空航天局(NASA)的样本返回挑战进行建模的。我使用的windows平台下的模拟器,也是基于windows平台下的模拟器进行学习。 所使用的环境是python3.6, IDE为pycharm 2019。下面提供其他两种平台的模拟器的下载链接。Li
深度Q学习原理及相关实例 8. 深度Q学习 8.1 经验回放 8.2 目标网络 8.3 相关算法 8.4 训练算法 8.5 深度Q学习实例 8.5.1 主程序 程序注释 8.5.2 DQN模型构建程序 程序注释 8.5.3 程序测试 8.6 双重深度Q网络 8.7 对偶深度Q网络 8. 深度Q学习 深度Q学习将深度学习和强化学习相结合,是第一个深度强
强化学习(六) - 连续空间中的强化学习 6.1 连续空间中的强化学习 6.2 离散空间和连续空间 6.3 离散化 实例:小车上山 6.3.1 相关程序 6.3.2 程序注解 (1) 环境测试 (2) 离散化 (3) 模型训练 (4) 模型优化 6.1 连续空间中的强化学习 在之前的实例中,状态和动作的数量受到限制。使用小的,有限的马尔可夫决策过
深度Q学习 深度Q学习将深度学习和强化学习相结合,是第一个深度强化学习算法。深度Q学习的核心就是用一个人工神经网络q ( s , a ; w ) , s ∈ S , a ∈ A 来代替动作价值函数。由于神经网络具有强大的表达能力,能够自动寻找特征,所以采用神经网络有潜力比传统人工特征强大得多。最近基于深度Q网络的深度强化学习算法有了重大的进展,在目前学术界有非常大的影响力。 ·经验回放(ex
强化学习(五) - 时序差分学习(Temporal-Difference Learning)及其实例 5.1 TD预测 例5.1 回家时间的估计 5.2 TD预测方法的优势 例5.2 随机移动 5.3 TD(0)最优性 例5.3:批量更新下的随机行走 例5.4: You are the Predictor 5.4 Sarsa:策略 TD控制 例 5.5
强化学习(四) - 蒙特卡洛方法(Monte Carlo Methods)及实例 4. 蒙特卡洛方法 4.1 蒙特卡洛预测 例4.1:Blackjack(21点) 4.2 动作价值的蒙特卡洛估计 4.3 Monte Carlo 控制 例4.2: 21点的解法 4.4 蒙特卡洛控制的无探索启动 4.5 通过重要性采样进行Off-policy预测 4.6 增量实现 4.
强化学习(三) - Gym库介绍和使用,Markov决策程序实例,动态规划决策实例 1. 引言 在这个部分补充之前马尔科夫决策和动态规划部分的代码。在以后的内容我会把相关代码都附到相关内容的后面。本部分代码和将来的代码会参考《深度强化学习原理与python实现》与Udacity的课程《Reinforcement Learning》。 2. Gym库 Gym库(http://gym.openai.c
3.动态规划 3.1 介绍 术语动态规划(DP:Dynamic Programming) 指的是一个算法集合,可以用来计算最优策略,给定一个完美的环境模型,作为马尔可夫决策过程(MDP)。经典的DP算法在强化学习中的应用有限,因为它们的假设是一个完美的模型,而且计算 量大,但它们仍然具有重要的理论意义。DP为理解其余部分中介绍的方法提供了必要的基础。实际上,所有这些方法都可以被看作是实现与DP几乎
强化学习(英语:Reinforcement learning,简称RL)是机器学习中的一个领域,强调如何基于环境而行动,以取得最大化的预期利益。其灵感来源于心理学中的行为主义理论,即有机体如何在环境给予的奖励或惩罚的刺激下,逐步形成对 刺激的预期,产生能获得最大利益的习惯性行为。这个方法具有普适性,因此在其他许多领域都有研究,例如博弈论、控制论、运筹学、信息论、仿真优化、多主体系统学习、群体智能、
引言 在这个-SLAM建图和导航仿真实例-项目中,主要分为三个部分,分别是 (一)模型构建 (二)根据已知地图进行定位和导航 (三)使用RTAB-MAP进行建图和导航 该项目的slam_bot已经上传我的Github。 这是第三部分,完成效果如下  
引言 在这个-SLAM建图和导航仿真实例-项目中,主要分为三个部分,分别是 (一)模型构建 (二)根据已知地图进行定位和导航 (三)使用RTAB-MAP进行建图和导航 该项目的slam_bot已经上传我的Github。 这是第二部分。 二、
引言 在这个-SLAM建图和导航仿真实例-项目中,主要分为三个部分,分别是 (一)模型构建 (二)根据已知地图进行定位和导航 (三)使用RTAB-MAP进行建图和导航 该项目的slam_bot已经上传我的Github。 由于之前的虚拟机性能限制,我在这个项目中使用了新的ubantu
从零开始的ROS四轴机械臂控制(七) 十、ROS与arduino连接 1.虚拟机与arduino的连接 (1)arduino连接与IDE (2)PCA9685模块支持与测试 2.ROS与arduino连接测试 (1)Arduino安装rosserial (2)rosserial测试
【从零开始的ROS四轴机械臂控制(六)】 九、逻辑控制节点 1.运动控制方法 (1)逆向运动学 (2)反馈控制 2.各节点之间的联系 3.相关程序 (1)img_process节点 (2)arm_command节点 4.运行程序 &
【从零开始的ROS四轴机械臂控制(五)】 八、运动控制节点 1.定义服务GoToPosition.srv 2.修改CMakeLists.txt 3.修改package.xml 4.构建包 5.arm_mover节点代码 6.Arm Mover的启动和互动 (1)修改gazebo.launch (2)测
【从零开始的ROS四轴机械臂控制(四)】 七、图像处理节点 1.节点功能与实现方法 2.iamge_process 相关程序 部分程序解释 3.节点运行与测试 七、图像处理节点 1.节点功能与实现方法 我们的仿真环境已经搭建好了,接下来就是完成相应的控制和服务节点了。
【从零开始的ROS四轴机械臂控制(三)】 五、在gazebo中添加摄像头 1.修改arm1.gazebo.xacro文件 2.修改arm1.urdf.xacro文件 3.查看摄像头图像 六、为模型添加夹爪(Gripper) 1.通过solidworks建立模型 2.将夹爪添加进gazebo
【从零开始的ROS四轴机械臂控制(二)】 四、urdf文件及gazebo仿真 1.simple_arm示例 (1)config文件夹 (2)launch文件夹 (3)meshes文件夹 (4)urdf文件夹 (5)worlds文件夹 (6)文件间联系
前记: 之前学习了很多关于ROS的知识,现在想自己制作一个四轴器械臂来练练手。所以就定为arm0.1版本,使用MG90s舵机来搭建一个四轴机械臂。arm0.1版本的目标是对不同颜色的方块进行分类并在Gazebo中模拟出来。 在未来计划的arm1.0版本中,计划使用步进电机来搭建六轴机械臂,使用上RL,实现人机交互,希望能在
积分
粉丝
勋章
TA还没有专栏噢
第三方账号登入
看不清?点击更换
第三方账号登入
QQ 微博 微信