正在连接信源…

ToddlerBot 的做法

ToddlerBot 的 32 个步骤,附出处文档。

项目页未写总价,物料表以链接提供

软件与固件

  • 克隆机器人仓库

    在 ~/projects 目录中克隆 toddlerbot 仓库。

  • 配置 GitHub SSH 密钥

    如果尚未配置 GitHub SSH 密钥,请按照文档链接中的步骤设置。

  • 安装 Miniforge

    如果尚未安装 conda,建议安装 Miniforge。

  • 检查系统架构

    运行 uname -m 并根据输出确定系统架构。

  • 下载并安装对应安装包

    根据系统架构下载相应的 Miniforge 安装包;不要使用 sudo 运行安装脚本,并回答所有选项为 yes。

  • 激活 conda 环境

    运行 source ~/.bashrc 以激活 conda 环境。

  • 设置 Linux 环境

    创建名为 toddlerbot 的 Python 3.10 conda 环境,激活该环境并安装 linux 额外依赖。

  • 设置 macOS ARM 环境

    创建 osx-arm64 子目录下的 toddlerbot Python 3.10 环境,将其设为环境子目录并安装 macos 额外依赖。

  • 设置 macOS x86 环境

    创建 osx-64 子目录下的 toddlerbot Python 3.10 环境,将其设为环境子目录并安装 macos 额外依赖。

  • 设置 Windows 环境

    创建名为 toddlerbot 的 Python 3.10 conda 环境,激活该环境并安装 windows 额外依赖。

  • 设置 Jetson 环境

    创建名为 toddlerbot 的 Python 3.10 conda 环境,激活该环境并安装 jetson 额外依赖。

  • 处理 Jetson 的 pyaudio 问题

    如果在 Jetson 上安装 pyaudio 时遇到问题,安装 portaudio19-dev、python3-dev 和 build-essential,然后重新安装 jetson 额外依赖。

  • 安装基础软件包

    创建名为 toddlerbot 的 Python 3.10 conda 环境,激活该环境并安装基础软件包。

  • 运行深度模块自动设置脚本

    运行 `bash scripts/setup_depth_module.sh`,安装 PyCUDA 和 PyTools,配置系统 TensorRT 访问,安装 cuSPARSELt 库和 Jetson 版 PyTorch,并构建安装 ONNX-TensorRT。

  • 下载预构建 TensorRT 引擎

    适用于 Jetson Orin NX 16GB 和 JetPack 6.1,从链接下载预构建引擎文件 `foundation_stereo_vits_96x128_16.engine`。

  • 遵循引擎文件命名约定

    按照 `foundation_stereo_vits_{height}x{width}_{valid_iters}.engine` 格式命名引擎文件,其中高度、宽度和有效迭代次数对应占位符。

  • 放置引擎文件

    将下载的引擎文件放置在 `toddlerbot/depth/models/foundation_stereo_vits_96x128_16.engine`。

  • 启动深度估计服务器

    运行 run_foundation_stereo.py 启动深度估计服务器。

  • 按设置页面完成环境配置

    按文档链接的设置页面完成 ToddlerBot 的安装与配置。

  • 查看 examples 目录中的示例脚本

    文档中的 examples 文件夹提供了一些可直接运行的起始脚本,其中许多可在真实的 ToddlerBot 上运行。

标定与测试

  • 配置技能检查点路径

    在 run_multiple_policy.py 的 POLICY_CONFIGS 中,为每个已训练技能指定检查点路径。

  • 运行测试验证安装

    tests 文件夹中的测试可以通过 pytest 运行,用来验证安装是否成功。

  • 采集立体相机标定图像

    将 9x6 棋盘格放在视野中,运行命令采集标定图像。

  • 执行标定和校正

    运行标定和校正命令,生成 `toddlerbot/depth/params/calibration.pkl` 和 `toddlerbot/depth/params/rectification.npz`。

采数据与训练

  • 创建参考动作

    使用 Keyframe App 创建参考动作。

  • 为每项技能训练策略

    对每个技能运行 train_mjx.py,将 <skill_name> 同时用于 --gin-file 和 --env。

  • 采集 RGB 立体图像数据

    按照提示选择技能标签,按空格开始录制,再按空格暂停;对每项技能重复此操作。

  • 创建深度图

    离线处理采集的立体图像,以创建深度图。

  • 训练技能分类器

    使用带有技能标签的深度图像训练分类器,并将数据目录传给 train.py。

用起来

  • 运行多技能运动系统

    运行多技能运动系统并传入分类器检查点。服务器预热完成、所有策略检查点加载完毕且机器人达到站立姿态后,将持续发送深度估计值进行技能分类,机器人自主执行相应技能。

  • 用回放策略在 MuJoCo 中查看动作

    motion 文件夹包含为 ToddlerBot 精心制作的关键帧动画,可用 replay 策略在 MuJoCo 中查看俯卧撑动作。

  • 在 MacOS 上用 mjpython 查看动作

    在 MacOS 上使用 mjpython 运行同一回放命令来查看俯卧撑动作。

常见问题

  • 电机参数辨识中的电阻建模不清晰 #16
  • macOS 可编辑安装构建 PyBullet 失败 #9
  • 首次校准时持续无限循环报告缺少状态包 #2
  • BOM 指定了错误的 Dynamixel 舵机型号 #8

物料

  • Jetson Orin NX 16GB
  • 鱼眼相机 2 个、麦克风 2 个、扬声器、IMU
  • 30 个主动自由度(执行器型号项目页未写)
  • 3D 打印件(Onshape CAD 与 MakerWorld 模型)

工具

  • 3D 打印机
  • 装配视频与手册

技能

  • MuJoCo/MJX 强化学习
  • Jetson 部署

软件

  • MuJoCo 仿真与 RL 训练脚本
  • 扩散策略训练

文档