正在连接信源…

Yertle 复刻全流程

Yertle 从采购、打印、组装到装软件、标定和训练的 74 个步骤,附物料表、购买链接与官方出处。

Yertle 是一款用于运动研究的 3D 打印四足机器人。仓库提供 3D 打印部件、组装说明和物料清单,并包含 ESP32 固件、Python 控制软件、ROS 2、仿真以及强化学习训练流程。

采购

  • 选择四足机器人组件

    机器人包含4个三自由度肢体,由业余舵机驱动,腿长约20厘米。准备5000mAh电池、九轴加速度计/陀螺仪、电压电流传感器、ESP32s微控制器和可选的RPi4单板计算机。

组装

  • 连接关节命令接口

    让 /joint_commands 接收以弧度表示的目标关节角度,并连接到 Gazebo/RViz 仿真的 ros2_control 前向位置控制器,或转发至 ESP32 的小型中继器。

  • 选择关节命令目标

    仿真使用 ros2_control 前向位置控制器;实体机器人可复用 learning.deploy.servo_command_string,将目标值通过 UDP 转发给 ESP32 固件。

软件与固件

  • 选择机器人控制方式

    在远程设备上运行 Python GUI 脚本,并通过 WiFi 连接到机器人,这是推荐方式。也可以使用远程桌面应用程序,在树莓派上运行该脚本。

  • 修改代码中的 IP 地址

    代码中有多个 IP 地址引用,需要在 Python 文件和 .ino 文件中修改这些地址。

  • 设置启动时的 WiFi 连接

    机器人启动时需要连接 WiFi。默认登录信息为 SSID:dog-net,密码:dognet123。

  • 使用 Arduino IDE 编写固件

    使用 C++ 和 Arduino IDE 编写 ESP32 固件。

  • 配置 FreeRTOS 双任务

    使用 FreeRTOS 将任务分配到 ESP32 的不同核心:一个处理 WiFi 和串行通信,另一个处理 I2C 通信和逆运动学计算。

  • 运行 Python tkinter 控制界面

    使用 Python3 和 tkinter 库生成机器人控制 GUI。

  • 通过 WiFi 或串行连接机器人

    通过 WiFi 或串行通信连接机器人。

  • 实时交换传感器与足部位置

    机器人发送传感器信息,控制软件生成足部位置并实时发回机器人。

  • 查看 ROS 2 使用说明

    按照链接的 ros2/README.md 使用 ROS 2 包。

  • 安装强化学习依赖

    安装基础 requirements.txt 和 learning/requirements-rl.txt 中的依赖,包括 Gymnasium、stable-baselines3、PyTorch 等。

  • 配置 12 维残差动作

    动作空间包含固定站立姿态周围的 12 个关节角残差,由位置控制器跟踪。

  • 配置 48 维观测

    观测包含底盘线速度、底盘角速度、投影重力、速度命令,以及关节位置、关节速度和上一动作。

  • 配置奖励项

    奖励跟踪命令的机体前向、横向和偏航速度,同时惩罚能耗、动作变化率、姿态偏差和跌倒。

  • 设置每回合域随机化

    每个回合随机化底盘质量、脚部摩擦、观测噪声,并施加随机推力。

  • 导出训练后的权重

    导出训练后的策略权重;围绕站立姿态的残差动作设计可直接映射到舵机角度。

  • 在设备上运行策略推理

    在 Raspberry Pi 或笔记本上按控制频率运行推理,使用 IMU 和命令关节状态构建观测。

  • 通过 UDP 发送关节目标

    通过现有 UDP 路径将关节目标流式发送给 ESP32,使用 software/ESP32/firmware 中的 f/a 命令字符串。

  • 配置PyBullet强化学习环境

    将同一个URDF封装在以PyBullet为后端的Gymnasium环境中,使用PPO训练,并对质量、摩擦力、传感器噪声和推力进行域随机化。

  • 安装强化学习依赖

    安装基础requirements以及强化学习requirements。

  • 准备控制软件环境

    使用 Python 3.9 或更新版本。克隆仓库,进入目录,并安装 requirements.txt 中的 Python 依赖。

  • 安装 tkinter 系统包

    在 Debian 或 Ubuntu 上,tkinter 是单独的系统软件包,使用给出的 apt 命令安装。

  • 启动控制图形界面

    从仓库根目录运行 yertle_ui.py,启动 Python 控制 GUI。

  • 准备并打开 ESP32 固件

    安装 ESP32 板卡包以及 FaBoPWM_PCA9685 和 MPU9250 库,然后在 Arduino IDE 中打开 firmware.ino。

  • 配置 WiFi 与 IP 地址

    在 yertle_lib.cpp 文件顶部附近设置 WiFi 凭据和 IP 地址。

  • 创建 ROS 2 工作区

    在已加载 ROS 2 环境的 Linux 工作区中创建 yertle_ws/src,并将仓库中的 yertle_rl 包链接到 src。

  • 编译并加载 yertle_rl

    仅选择 yertle_rl 包进行编译,然后加载生成的工作区环境。

  • 创建 Windows ROS 2 环境

    安装 Miniforge 后,通过 conda-forge 和 robostack-staging 创建 ros2 环境,并在其中安装 pybullet 与 gymnasium。

  • 设置维护者邮箱

    编译前,在 package.xml 和 setup.py 中设置维护者邮箱;当前内容是占位符。

  • 在 Windows 编译 ROS 包

    进入 yertle\ros2,使用 ros2 环境运行 colcon,并将构建和安装输出放在用户目录的 ros_ws 下。

  • 安装 Isaac Lab 依赖

    使用 Python 3.10/3.11 和 NVIDIA RTX GPU,并创建专用的 Python 3.11 虚拟环境 `<isaac_venv>`。按照 Isaac Lab 的 pip 说明安装指定版本的 PyTorch、TorchVision 和 Isaac Lab。

  • 将机器人模型从 URDF 转换为 USD

    运行转换脚本,将 `simulation/yurtle.urdf` 转换为 `simulation/usd/yertle.usd`,合并关节并以无界面模式运行。该转换已经完成,USD 文件位于 `simulation/usd/`。

  • 运行 ROS 2 桥接

    运行 `ros2_bridge.py`,发布 `/joint_states` 和 `/clock`,并订阅 `/joint_command`,将 GPU 仿真连接到 ROS 2 系统。

  • 将 Yertle URDF 转换为 USD

    使用 Isaac Lab 的导入器,将 simulation/yertle.urdf 转换为 simulation/usd/yertle.usd,并启用合并关节和无头模式。生成的 usd/ 目录可重新生成,不会提交到仓库。

标定与测试

  • 校准并保存 IMU 设置

    首次校准 IMU,将设置保存到 .ini 文件,并在机器人重启后重复使用。

  • 组装前执行舵机归零

    在完整组装机器人之前,使用 GUI 将舵机归零。

  • 在伺服控制页居中舵机

    使用伺服控制选项卡,直观地将舵机调整到中心位置。

  • 获取 PWM 并设置舵机偏移

    按 Get PWM 按钮获取当前 PWM 值,并在 .ino 文件中使用这些值设置 servo offsets。

  • 调整站立姿态与执行器增益

    如果机器人生成后坍塌,调整 `yertle_cfg.py` 中的默认站立姿态和执行器增益。

  • 检查机器人模型稳定性

    更改 URDF 或执行器后,以零动作命令机器人进入站立姿态,并确认底座高度保持稳定。

  • 检查仿真环境

    运行快速环境检查,使用随机动作测试环境;该检查只需要 pybullet、gymnasium 和 numpy,无需强化学习依赖。

  • 修正 URDF 物理参数

    原始 URDF 的惯性张量不具备物理有效性,自由仿真时模型会发散。加载环境时,用质量估算值覆盖各连杆惯性,并设置脚部摩擦。

  • 在仿真中测试控制器移动

    使用内置于Python软件中的仿真,无需实体机器人即可测试控制器的移动。

  • 运行强化学习冒烟测试

    运行冒烟测试以检查强化学习环境。

  • 检查站立姿态输出

    不提供 policy_path 运行节点时,它会输出站立姿态,可用于检查管线连接。

  • 配置 IMU 与关节反馈

    按照 learning/README.md 的 sim-to-real 说明连接 IMU 和关节反馈;在硬件上将基础线性速度作为特权项并填零。

采数据与训练

  • 训练步行策略

    使用PPO训练步行策略,运行3,000,000个时间步并使用8个环境。

  • 通过UDP部署训练策略

    将训练好的策略输出到现有UDP命令路径并部署到实体机器人,无需更改固件。

  • 将URDF转换并加入Isaac任务

    在Isaac Sim 5.1与PhysX中,将包含固件关节限制和执行器上限的URDF转换为USD,并加入Isaac Lab的速度跟踪步行任务。

  • 在RTX GPU上并行训练

    使用rsl_rl的PPO,在单个RTX GPU上的4,096个并行环境中训练;步行策略约十分钟收敛,速度约为每秒80,000个仿真步。

  • 运行粗糙地形任务

    使用程序化地形和高度扫描仪运行粗糙地形任务。

  • 蒸馏仅用机载传感器的策略

    执行教师-学生蒸馏,在不损失性能的情况下移除有特权的机体速度观测,得到仅使用机载传感器运行的策略。

  • 训练平地运动策略

    在仓库根目录的 Isaac Sim Python 环境中运行平地训练命令,使用 4096 个环境进行 1500 次迭代。

  • 训练崎岖地形运动策略

    在仓库根目录的 Isaac Sim Python 环境中运行崎岖地形训练命令,使用 4096 个环境进行 1000 次迭代。

  • 播放并录制训练策略

    使用指定的 model.pt 检查点运行平地任务,启用 16 个环境并录制视频。

  • 蒸馏教师策略

    在无头模式下运行蒸馏脚本,并指定 model.pt 作为教师模型。

  • 执行短时训练检查

    使用 2 个并行环境训练 20,000 个时间步,以检查 PPO 训练流程。

  • 执行完整策略训练

    使用 8 个并行环境训练 3,000,000 个时间步;耗时取决于硬件,从数分钟到数小时不等。

  • 观看训练后的策略

    加载 learning/runs/ppo_yertle/policy.zip 中保存的训练策略并观看其运行结果。

  • 录制 8 秒 PPO 演示视频

    使用 PPO 策略文件运行视频记录器,录制时长设为 8 秒。

  • 绘制训练进度

    读取 Yertle PPO 训练日志并绘制训练进度。

  • 蒸馏特权观测项

    在 GPU 管线的 isaac_lab/distill.py 中使用教师-学生蒸馏。移除学生策略中的底盘线速度特权项后,部署仅需机载信号。

  • 使用 GPU 训练平地策略

    从仓库根目录运行,接受 Isaac Sim 的 EULA,并直接运行脚本文件而不是使用 `-m`。在 Windows 上,脚本会在 Kit 应用启动前处理重型库的导入顺序,以避免 DLL 冲突崩溃。平地任务使用 4096 个环境和 1500 次迭代。

  • 使用 GPU 训练崎岖地形策略

    使用相同的 Isaac Sim Python 环境,从仓库根目录直接运行训练脚本而不是使用 `-m`。在 Windows 上,脚本会在 Kit 应用启动前处理重型库的导入顺序,以避免 DLL 冲突崩溃。崎岖地形任务使用 4096 个环境和 1000 次迭代。日志和检查点保存在 `isaac_lab/runs/<experiment>/<timestamp>/`,可使用 TensorBoard 查看。

  • 播放并录制平地策略

    使用 `play.py` 播放平地任务,指定检查点路径、16 个环境并录制视频。

  • 蒸馏为可部署策略

    平坦策略会观察底座线速度,而真实机器人无法测量该速度。蒸馏使用可部署的观测集合训练学生策略,使其模仿已训练的教师策略;观测集合不包含底座线速度,也不包含高度扫描。该机器人上的学生平均奖励为 40.4,教师平均奖励为 40.5,模仿损失约为 1e-3。

  • 运行 ROS 2 运动策略

    使用 ROS 2 包 ros2/yertle_rl,将训练好的运动策略作为节点运行。

  • 连接 ROS 2 实时主题

    让策略节点订阅 /cmd_vel 和 /imu/data,并发布 12 个关节目标。

  • 运行闭环行走与仿真桥接

    使用实时主题运行闭环行走演示,并使用双向 Isaac Sim 桥接。

  • 运行策略节点

    将仓库根目录加入 PYTHONPATH,使节点能够导入 learning 包,并运行指定 policy.zip 的策略节点。

用起来

  • 运行并驾驶数字孪生

    启动 GUI 后按 Start Simulation 打开 PyBullet 数字孪生,再使用方向键驾驶机器人。

  • 使用 PyBullet 仿真控制机器人

    Python 控制软件中包含 PyBullet 仿真,可通过用户界面控制机器人。使用键盘方向键让机器人移动。

常见问题

  • 左右肩部模型设计不一致 #5
  • 下肩架的 STL 文件缺失 #4
  • 左右胫骨模型不一致且内胫骨缺少螺栓座 #11
  • 部分三维打印零件需要支撑结构 #8
  • 物料清单中的轴承规格和数量有误 #6 #10

文档