Yertle 复刻全流程
Yertle 从采购、打印、组装到装软件、标定和训练的 74 个步骤,附物料表、购买链接与官方出处。
Yertle 是一款用于运动研究的 3D 打印四足机器人。仓库提供 3D 打印部件、组装说明和物料清单,并包含 ESP32 固件、Python 控制软件、ROS 2、仿真以及强化学习训练流程。
采购
- 选择四足机器人组件
机器人包含4个三自由度肢体,由业余舵机驱动,腿长约20厘米。准备5000mAh电池、九轴加速度计/陀螺仪、电压电流传感器、ESP32s微控制器和可选的RPi4单板计算机。
组装
- 连接关节命令接口
让 /joint_commands 接收以弧度表示的目标关节角度,并连接到 Gazebo/RViz 仿真的 ros2_control 前向位置控制器,或转发至 ESP32 的小型中继器。
- 选择关节命令目标
仿真使用 ros2_control 前向位置控制器;实体机器人可复用 learning.deploy.servo_command_string,将目标值通过 UDP 转发给 ESP32 固件。
软件与固件
- 选择机器人控制方式
在远程设备上运行 Python GUI 脚本,并通过 WiFi 连接到机器人,这是推荐方式。也可以使用远程桌面应用程序,在树莓派上运行该脚本。
- 修改代码中的 IP 地址
代码中有多个 IP 地址引用,需要在 Python 文件和 .ino 文件中修改这些地址。
- 设置启动时的 WiFi 连接
机器人启动时需要连接 WiFi。默认登录信息为 SSID:dog-net,密码:dognet123。
- 使用 Arduino IDE 编写固件
使用 C++ 和 Arduino IDE 编写 ESP32 固件。
- 配置 FreeRTOS 双任务
使用 FreeRTOS 将任务分配到 ESP32 的不同核心:一个处理 WiFi 和串行通信,另一个处理 I2C 通信和逆运动学计算。
- 运行 Python tkinter 控制界面
使用 Python3 和 tkinter 库生成机器人控制 GUI。
- 通过 WiFi 或串行连接机器人
通过 WiFi 或串行通信连接机器人。
- 实时交换传感器与足部位置
机器人发送传感器信息,控制软件生成足部位置并实时发回机器人。
- 查看 ROS 2 使用说明
按照链接的 ros2/README.md 使用 ROS 2 包。
- 安装强化学习依赖
安装基础 requirements.txt 和 learning/requirements-rl.txt 中的依赖,包括 Gymnasium、stable-baselines3、PyTorch 等。
- 配置 12 维残差动作
动作空间包含固定站立姿态周围的 12 个关节角残差,由位置控制器跟踪。
- 配置 48 维观测
观测包含底盘线速度、底盘角速度、投影重力、速度命令,以及关节位置、关节速度和上一动作。
- 配置奖励项
奖励跟踪命令的机体前向、横向和偏航速度,同时惩罚能耗、动作变化率、姿态偏差和跌倒。
- 设置每回合域随机化
每个回合随机化底盘质量、脚部摩擦、观测噪声,并施加随机推力。
- 导出训练后的权重
导出训练后的策略权重;围绕站立姿态的残差动作设计可直接映射到舵机角度。
- 在设备上运行策略推理
在 Raspberry Pi 或笔记本上按控制频率运行推理,使用 IMU 和命令关节状态构建观测。
- 通过 UDP 发送关节目标
通过现有 UDP 路径将关节目标流式发送给 ESP32,使用 software/ESP32/firmware 中的 f/a 命令字符串。
- 配置PyBullet强化学习环境
将同一个URDF封装在以PyBullet为后端的Gymnasium环境中,使用PPO训练,并对质量、摩擦力、传感器噪声和推力进行域随机化。
- 安装强化学习依赖
安装基础requirements以及强化学习requirements。
- 准备控制软件环境
使用 Python 3.9 或更新版本。克隆仓库,进入目录,并安装 requirements.txt 中的 Python 依赖。
- 安装 tkinter 系统包
在 Debian 或 Ubuntu 上,tkinter 是单独的系统软件包,使用给出的 apt 命令安装。
- 启动控制图形界面
从仓库根目录运行 yertle_ui.py,启动 Python 控制 GUI。
- 准备并打开 ESP32 固件
安装 ESP32 板卡包以及 FaBoPWM_PCA9685 和 MPU9250 库,然后在 Arduino IDE 中打开 firmware.ino。
- 配置 WiFi 与 IP 地址
在 yertle_lib.cpp 文件顶部附近设置 WiFi 凭据和 IP 地址。
- 创建 ROS 2 工作区
在已加载 ROS 2 环境的 Linux 工作区中创建 yertle_ws/src,并将仓库中的 yertle_rl 包链接到 src。
- 编译并加载 yertle_rl
仅选择 yertle_rl 包进行编译,然后加载生成的工作区环境。
- 创建 Windows ROS 2 环境
安装 Miniforge 后,通过 conda-forge 和 robostack-staging 创建 ros2 环境,并在其中安装 pybullet 与 gymnasium。
- 设置维护者邮箱
编译前,在 package.xml 和 setup.py 中设置维护者邮箱;当前内容是占位符。
- 在 Windows 编译 ROS 包
进入 yertle\ros2,使用 ros2 环境运行 colcon,并将构建和安装输出放在用户目录的 ros_ws 下。
- 安装 Isaac Lab 依赖
使用 Python 3.10/3.11 和 NVIDIA RTX GPU,并创建专用的 Python 3.11 虚拟环境 `<isaac_venv>`。按照 Isaac Lab 的 pip 说明安装指定版本的 PyTorch、TorchVision 和 Isaac Lab。
- 将机器人模型从 URDF 转换为 USD
运行转换脚本,将 `simulation/yurtle.urdf` 转换为 `simulation/usd/yertle.usd`,合并关节并以无界面模式运行。该转换已经完成,USD 文件位于 `simulation/usd/`。
- 运行 ROS 2 桥接
运行 `ros2_bridge.py`,发布 `/joint_states` 和 `/clock`,并订阅 `/joint_command`,将 GPU 仿真连接到 ROS 2 系统。
- 将 Yertle URDF 转换为 USD
使用 Isaac Lab 的导入器,将 simulation/yertle.urdf 转换为 simulation/usd/yertle.usd,并启用合并关节和无头模式。生成的 usd/ 目录可重新生成,不会提交到仓库。
标定与测试
- 校准并保存 IMU 设置
首次校准 IMU,将设置保存到 .ini 文件,并在机器人重启后重复使用。
- 组装前执行舵机归零
在完整组装机器人之前,使用 GUI 将舵机归零。
- 在伺服控制页居中舵机
使用伺服控制选项卡,直观地将舵机调整到中心位置。
- 获取 PWM 并设置舵机偏移
按 Get PWM 按钮获取当前 PWM 值,并在 .ino 文件中使用这些值设置 servo offsets。
- 调整站立姿态与执行器增益
如果机器人生成后坍塌,调整 `yertle_cfg.py` 中的默认站立姿态和执行器增益。
- 检查机器人模型稳定性
更改 URDF 或执行器后,以零动作命令机器人进入站立姿态,并确认底座高度保持稳定。
- 检查仿真环境
运行快速环境检查,使用随机动作测试环境;该检查只需要 pybullet、gymnasium 和 numpy,无需强化学习依赖。
- 修正 URDF 物理参数
原始 URDF 的惯性张量不具备物理有效性,自由仿真时模型会发散。加载环境时,用质量估算值覆盖各连杆惯性,并设置脚部摩擦。
- 在仿真中测试控制器移动
使用内置于Python软件中的仿真,无需实体机器人即可测试控制器的移动。
- 运行强化学习冒烟测试
运行冒烟测试以检查强化学习环境。
- 检查站立姿态输出
不提供 policy_path 运行节点时,它会输出站立姿态,可用于检查管线连接。
- 配置 IMU 与关节反馈
按照 learning/README.md 的 sim-to-real 说明连接 IMU 和关节反馈;在硬件上将基础线性速度作为特权项并填零。
采数据与训练
- 训练步行策略
使用PPO训练步行策略,运行3,000,000个时间步并使用8个环境。
- 通过UDP部署训练策略
将训练好的策略输出到现有UDP命令路径并部署到实体机器人,无需更改固件。
- 将URDF转换并加入Isaac任务
在Isaac Sim 5.1与PhysX中,将包含固件关节限制和执行器上限的URDF转换为USD,并加入Isaac Lab的速度跟踪步行任务。
- 在RTX GPU上并行训练
使用rsl_rl的PPO,在单个RTX GPU上的4,096个并行环境中训练;步行策略约十分钟收敛,速度约为每秒80,000个仿真步。
- 运行粗糙地形任务
使用程序化地形和高度扫描仪运行粗糙地形任务。
- 蒸馏仅用机载传感器的策略
执行教师-学生蒸馏,在不损失性能的情况下移除有特权的机体速度观测,得到仅使用机载传感器运行的策略。
- 训练平地运动策略
在仓库根目录的 Isaac Sim Python 环境中运行平地训练命令,使用 4096 个环境进行 1500 次迭代。
- 训练崎岖地形运动策略
在仓库根目录的 Isaac Sim Python 环境中运行崎岖地形训练命令,使用 4096 个环境进行 1000 次迭代。
- 播放并录制训练策略
使用指定的 model.pt 检查点运行平地任务,启用 16 个环境并录制视频。
- 蒸馏教师策略
在无头模式下运行蒸馏脚本,并指定 model.pt 作为教师模型。
- 执行短时训练检查
使用 2 个并行环境训练 20,000 个时间步,以检查 PPO 训练流程。
- 执行完整策略训练
使用 8 个并行环境训练 3,000,000 个时间步;耗时取决于硬件,从数分钟到数小时不等。
- 观看训练后的策略
加载 learning/runs/ppo_yertle/policy.zip 中保存的训练策略并观看其运行结果。
- 录制 8 秒 PPO 演示视频
使用 PPO 策略文件运行视频记录器,录制时长设为 8 秒。
- 绘制训练进度
读取 Yertle PPO 训练日志并绘制训练进度。
- 蒸馏特权观测项
在 GPU 管线的 isaac_lab/distill.py 中使用教师-学生蒸馏。移除学生策略中的底盘线速度特权项后,部署仅需机载信号。
- 使用 GPU 训练平地策略
从仓库根目录运行,接受 Isaac Sim 的 EULA,并直接运行脚本文件而不是使用 `-m`。在 Windows 上,脚本会在 Kit 应用启动前处理重型库的导入顺序,以避免 DLL 冲突崩溃。平地任务使用 4096 个环境和 1500 次迭代。
- 使用 GPU 训练崎岖地形策略
使用相同的 Isaac Sim Python 环境,从仓库根目录直接运行训练脚本而不是使用 `-m`。在 Windows 上,脚本会在 Kit 应用启动前处理重型库的导入顺序,以避免 DLL 冲突崩溃。崎岖地形任务使用 4096 个环境和 1000 次迭代。日志和检查点保存在 `isaac_lab/runs/<experiment>/<timestamp>/`,可使用 TensorBoard 查看。
- 播放并录制平地策略
使用 `play.py` 播放平地任务,指定检查点路径、16 个环境并录制视频。
- 蒸馏为可部署策略
平坦策略会观察底座线速度,而真实机器人无法测量该速度。蒸馏使用可部署的观测集合训练学生策略,使其模仿已训练的教师策略;观测集合不包含底座线速度,也不包含高度扫描。该机器人上的学生平均奖励为 40.4,教师平均奖励为 40.5,模仿损失约为 1e-3。
- 运行 ROS 2 运动策略
使用 ROS 2 包 ros2/yertle_rl,将训练好的运动策略作为节点运行。
- 连接 ROS 2 实时主题
让策略节点订阅 /cmd_vel 和 /imu/data,并发布 12 个关节目标。
- 运行闭环行走与仿真桥接
使用实时主题运行闭环行走演示,并使用双向 Isaac Sim 桥接。
- 运行策略节点
将仓库根目录加入 PYTHONPATH,使节点能够导入 learning 包,并运行指定 policy.zip 的策略节点。
用起来
- 运行并驾驶数字孪生
启动 GUI 后按 Start Simulation 打开 PyBullet 数字孪生,再使用方向键驾驶机器人。
- 使用 PyBullet 仿真控制机器人
Python 控制软件中包含 PyBullet 仿真,可通过用户界面控制机器人。使用键盘方向键让机器人移动。