ToddlerBot 的做法
ToddlerBot 的 32 个步骤,附出处文档。
项目页未写总价,物料表以链接提供
软件与固件
- 克隆机器人仓库
在 ~/projects 目录中克隆 toddlerbot 仓库。
- 配置 GitHub SSH 密钥
如果尚未配置 GitHub SSH 密钥,请按照文档链接中的步骤设置。
- 安装 Miniforge
如果尚未安装 conda,建议安装 Miniforge。
- 检查系统架构
运行 uname -m 并根据输出确定系统架构。
- 下载并安装对应安装包
根据系统架构下载相应的 Miniforge 安装包;不要使用 sudo 运行安装脚本,并回答所有选项为 yes。
- 激活 conda 环境
运行 source ~/.bashrc 以激活 conda 环境。
- 设置 Linux 环境
创建名为 toddlerbot 的 Python 3.10 conda 环境,激活该环境并安装 linux 额外依赖。
- 设置 macOS ARM 环境
创建 osx-arm64 子目录下的 toddlerbot Python 3.10 环境,将其设为环境子目录并安装 macos 额外依赖。
- 设置 macOS x86 环境
创建 osx-64 子目录下的 toddlerbot Python 3.10 环境,将其设为环境子目录并安装 macos 额外依赖。
- 设置 Windows 环境
创建名为 toddlerbot 的 Python 3.10 conda 环境,激活该环境并安装 windows 额外依赖。
- 设置 Jetson 环境
创建名为 toddlerbot 的 Python 3.10 conda 环境,激活该环境并安装 jetson 额外依赖。
- 处理 Jetson 的 pyaudio 问题
如果在 Jetson 上安装 pyaudio 时遇到问题,安装 portaudio19-dev、python3-dev 和 build-essential,然后重新安装 jetson 额外依赖。
- 安装基础软件包
创建名为 toddlerbot 的 Python 3.10 conda 环境,激活该环境并安装基础软件包。
- 运行深度模块自动设置脚本
运行 `bash scripts/setup_depth_module.sh`,安装 PyCUDA 和 PyTools,配置系统 TensorRT 访问,安装 cuSPARSELt 库和 Jetson 版 PyTorch,并构建安装 ONNX-TensorRT。
- 下载预构建 TensorRT 引擎
适用于 Jetson Orin NX 16GB 和 JetPack 6.1,从链接下载预构建引擎文件 `foundation_stereo_vits_96x128_16.engine`。
- 遵循引擎文件命名约定
按照 `foundation_stereo_vits_{height}x{width}_{valid_iters}.engine` 格式命名引擎文件,其中高度、宽度和有效迭代次数对应占位符。
- 放置引擎文件
将下载的引擎文件放置在 `toddlerbot/depth/models/foundation_stereo_vits_96x128_16.engine`。
- 启动深度估计服务器
运行 run_foundation_stereo.py 启动深度估计服务器。
- 按设置页面完成环境配置
按文档链接的设置页面完成 ToddlerBot 的安装与配置。
- 查看 examples 目录中的示例脚本
文档中的 examples 文件夹提供了一些可直接运行的起始脚本,其中许多可在真实的 ToddlerBot 上运行。
标定与测试
- 配置技能检查点路径
在 run_multiple_policy.py 的 POLICY_CONFIGS 中,为每个已训练技能指定检查点路径。
- 运行测试验证安装
tests 文件夹中的测试可以通过 pytest 运行,用来验证安装是否成功。
- 采集立体相机标定图像
将 9x6 棋盘格放在视野中,运行命令采集标定图像。
- 执行标定和校正
运行标定和校正命令,生成 `toddlerbot/depth/params/calibration.pkl` 和 `toddlerbot/depth/params/rectification.npz`。
采数据与训练
- 创建参考动作
使用 Keyframe App 创建参考动作。
- 为每项技能训练策略
对每个技能运行 train_mjx.py,将 <skill_name> 同时用于 --gin-file 和 --env。
- 采集 RGB 立体图像数据
按照提示选择技能标签,按空格开始录制,再按空格暂停;对每项技能重复此操作。
- 创建深度图
离线处理采集的立体图像,以创建深度图。
- 训练技能分类器
使用带有技能标签的深度图像训练分类器,并将数据目录传给 train.py。
用起来
- 运行多技能运动系统
运行多技能运动系统并传入分类器检查点。服务器预热完成、所有策略检查点加载完毕且机器人达到站立姿态后,将持续发送深度估计值进行技能分类,机器人自主执行相应技能。
- 用回放策略在 MuJoCo 中查看动作
motion 文件夹包含为 ToddlerBot 精心制作的关键帧动画,可用 replay 策略在 MuJoCo 中查看俯卧撑动作。
- 在 MacOS 上用 mjpython 查看动作
在 MacOS 上使用 mjpython 运行同一回放命令来查看俯卧撑动作。
常见问题
物料
- Jetson Orin NX 16GB
- 鱼眼相机 2 个、麦克风 2 个、扬声器、IMU
- 30 个主动自由度(执行器型号项目页未写)
- 3D 打印件(Onshape CAD 与 MakerWorld 模型)
工具
- 3D 打印机
- 装配视频与手册
技能
- MuJoCo/MJX 强化学习
- Jetson 部署
软件
- MuJoCo 仿真与 RL 训练脚本
- 扩散策略训练