正在连接信源…

LeKiwi 复刻全流程

LeKiwi 从采购、打印、组装到装软件、标定和训练的 230 个步骤,附物料表、购买链接与官方出处。

12V 版含 SO‑101 遥操作套装约 482 美元;仅底盘约 251.5 美元;有线底盘约 184 美元(仓库物料表,美国价)

物料 · Mobile Base Structure

零件数量USEUCN
4" Omni wheels3USD 9.99EUR 24.5CNY 135
M2 M3 M4 Assorted Screw Set1USD 14.99EUR 23.5CNY 25

物料 · Sensors and Compute

零件数量USEUCN
Raspberry Pi 5 (4GB)1USD 60EUR 57CNY 410
USB camera2USD 12.98EUR 12CNY 48
microSD card1USD 11.23EUR 10CNY 58

采购

  • 选择电机与电子版本

    LeKiwi 有 5V、12V 和有线(wired)三种电机与电子方案。

  • 新手推荐 5V 版本

    第一次造机器人建议选 5V 版本,因为装配更容易;有经验且要举更重物体可选 12V 版本。

  • 最便宜可选有线 LeKiwi

    想省钱可以选择有线(wired)版 LeKiwi,它列在物料清单末尾。

  • 采购移动底盘结构件

    Mobile Base Structure 表中的 3 项结构件在 5V 与 12V 版本中通用。

  • 采购传感器与计算单元

    按 Sensors and Compute 表中的 4 项购买传感器与计算部件。

  • 采购其他零件

    按 Other 表中的 4 项购买其余零件。

  • 进入 12V 版本清单

    12V 版本包含移动底盘电子件和 SO-101 2 机械臂遥操作套件两部分。

  • 采购 12V 移动底盘电子件

    按 Mobile Base Electronics (12V) 表中的 6 项购买 12V 版本的移动底盘电子件。

  • 采购 12V 机械臂遥操作套件

    Buy the four items in the SO-101 2 Robot Arm Teleoperation Set (12V) table.

  • 进入 5V 版本清单

    5V 版本的移动底盘电子件清单中包含 20000mAh 85W 移动电源。

  • 选择 5V SO-101 遥操作套装

    Buy the SO-101 2 Robot Arm Teleoperation Set (5V) listed in the BOM.

  • 选择有线版本所需部件

    按照 BOM 中有线版本的 11 行表格准备所需部件。

  • 查看 LeKiwi 套件选配件

    可从 Seeed Studio 的国际页面选购 LeKiwi Full Kit 12V Verision 等可选套件。

  • 获取 Arducam 5MP 广角摄像头

    准备 Arducam 5MP 广角摄像头,用于底座和腕部摄像头安装。

  • 获取网络摄像头

    准备用于腕部和底座摄像头安装的网络摄像头。

  • 获取可打印的 STL 文件

    获取文档中提供的全部 3D 打印部件 STL 文件。

  • 准备一台 3D 打印机

    如果没有 3D 打印机,可考虑 Bambu Lab、Prusa 或文档列出的其他品牌。

  • 购买 XL330 机架与惰轮套装

    Buy 1 XL330 Frame and Idler Wheel 4pcs set according to the BOM. The table lists suppliers including Robotis, MyBotShop, GenRobots, RoboSavvy, TaoBao, and the Robotis Japan store, with prices for different regions.

  • 购买 XL430 惰轮套装

    按 BOM 购买 1 套 XL430 Idler Wheel set。表中列出了 Robotis、MyBotShop、GenRobots、Robosavvy、TaoBao 和 Robotis 日本商店等供应商及不同地区价格。

  • 采购 LeKiwi 零件

    打开链接的 README,使用其中的物料清单和采购链接。

  • 准备一台 3D 打印机

    如果还没有 3D 打印机,请先获得一台;文档推荐 Bambu Lab 或 Prusa。

  • 按照 BOM 购买零件

    打开 BOM 并购买其中列出的所有零件。

打印与加工

  • 为指定零件启用支撑

    对于指定需要支撑的 3D 打印零件,启用支撑。

  • 校准打印机并调平打印床

    按照打印机的专用说明校准打印机并调平打印床。

  • 清洁打印床

    清洁打印床。

  • 装入打印耗材

    将耗材装入打印机。

  • 上传 STL 并自动排列

    将 STL 文件上传到打印或切片软件,然后自动旋转和自动排列。

  • 启用支撑并进行切片

    在指定需要支撑时启用支撑,然后对模型进行切片。

  • 设置 15% 填充密度

    将填充密度设置为 15%。

  • 设置 0.2 毫米层高

    将层高设置为 0.2 毫米。

  • 设置 150 毫米每秒速度

    将打印速度设置为 150 毫米每秒。

  • 上传 G-code 并打印

    如有需要,将 G-code 切片文件上传到打印机并开始打印;文档给出的总估计时间为约 34 小时。

  • 取下打印零件

    从打印机上取下打印完成的零件。

  • 必要时清洁打印床

    如果需要,清洁打印床。

  • 拆除打印支撑

    从打印零件上拆除所有支撑。

  • 校准打印机并调平打印床

    按照所用打印机的专用说明校准打印机并调平打印床。

  • 清洁打印床

    在开始打印前清洁打印床。

  • 装入打印耗材

    将打印耗材装入 3D 打印机。

  • 上传 STL 并自动排列

    将 STL 文件上传到打印或切片软件,然后使用自动旋转和自动排列功能。

  • 启用支撑并切片

    如果部件有指定要求,请启用支撑,然后对模型进行切片。

  • 使用测试过的打印设置

    测试设置为:填充密度 15%,层高 0.2 mm,打印速度 150 mm/s。

  • 上传 G-code 并打印

    如需要,将切片生成的 G-code 文件上传到打印机并开始打印。

  • 取下打印部件

    从 3D 打印机上取下已打印的部件。

  • 必要时清洁打印床

    如果需要,清洁打印床。

  • 去除打印部件上的支撑

    从打印好的部件上移除所有支撑结构。

  • 打印有线版专用零件

    打印 `3DPrintMeshes/wired_specific/cable_holder v0.stl` 和 `3DPrintMeshes/wired_specific/usb_connector_case v1.stl`,并按图组装。

  • 打印底座摄像头支架

    打印 `3DPrintMeshes/base_camera_mount.stl`。

  • 打印腕部摄像头支架

    打印 `3DPrintMeshes/wrist_camera_mount.stl`。

  • 打印底座网络摄像头支架

    打印 `3DPrintMeshes/webcam_mount/webcam_mount.stl`。

  • 打印夹爪摄像头嵌件

    打印 `3DPrintMeshes/webcam_mount/so100_gripper_cam_mount_insert.stl`,用于夹爪中的 M3 螺母。

  • 打印腕部网络摄像头支架

    打印 `3DPrintMeshes/webcam_mount/webcam_mount_wrist.stl`。

  • 打印 LeKiwi 零件

    按照 README 中的 3D 打印说明操作。如果是第一次打印或没有 3D 打印机,请参考其中的建议。

  • 打印修改版 Koch 组件

    打印修改后的 Koch 臂底座和修改后的静态夹爪。

  • 进入 3D 打印步骤

    完成 BOM 中的零件采购后,进入 3D Printing 指南。

  • 打印所有列出的零件

    打开 3DPrinting 文档,打印其中列出的所有零件。

组装

  • 将驱动电机安装到电机支架

    使用 4 颗 m2x5 自攻螺钉将驱动电机固定到电机支架上。

  • 将驱动电机支架固定到底板

    使用 4 颗 m3x12 机制螺钉将驱动电机支架固定到底部底板上。

  • 将轮毂连接到全向轮

    使用 2 颗 m4x12 机制螺钉将轮毂连接到全向轮上。

  • 将舵机 horn 连接到轮毂

    使用 2 颗 m3x16 机制螺钉将舵机 horn 固定到轮毂上。

  • 将舵机 horn 连接到驱动电机

    使用 1 颗 m3x6 机制螺钉将舵机 horn 固定到驱动电机上。

  • 安装全部三个轮模块

    将全部 3 个轮模块固定到底部底板上。

  • 安装舵机控制器和电池支架

    将 m3 螺母插入舵机控制器支架和电池支架中。使用 4 颗 m3x12 机制螺钉将两者固定到底部底板上。

  • 安装舵机驱动器并连接驱动舵机

    加入舵机驱动器,并将导线连接到 3 个驱动舵机。

  • 连接 12V 版本电源线

    使用 wago 杠杆连接器,将电池线的地线和电源线连接到 12v->5v 转换器及 DC 桶形插头适配器的引线上。使用 2 颗 m3x16 机制螺钉和 2 个 m3 螺母将转换器固定到底部底板上。

  • 安装 5V 电源 bank 支架

    使用 `3DPrintMeshes/5v_specific/5v_power_bank_holder.stl` 中的电源 bank 支架固定电源 bank。可将支架安装在底板后部。

  • 按图连接 5V 版本线缆

    按照所示接线图连接线缆。

  • 安装 Raspberry Pi 5

    将 Raspberry Pi 5 放入 Pi 保护壳底座,然后扣上保护壳的上半部分。

  • 安装顶板与机械臂

    用 2 颗 m3x12 机器螺钉将 Pi 固定到顶板上,再用 4 颗 m3x20 机器螺钉安装 SO-101 机械臂。改装版或原版 SO-101 底座均可使用。

  • 安装有线版电缆支架

    USB-C 延长线连接时,UGreen 标志应与 `20GBS, 240W` 标签位于同侧,并使该标签一侧朝上。如果无法检测摄像头或电机控制板,应将线缆翻转 180 度。

  • 连接摄像头和控制部件

    按图连接两个摄像头、电机控制板和 USB-C 延长线的电缆。

  • 穿过顶板走线

    将舵机控制器的 USB-C 转 USB-A 电缆、5V USB-C 电源线和 SO-101 舵机线穿过顶板上的孔。

  • 完成顶板总装

    使用 4 颗 m3x12 机器螺钉,将顶板安装到电机支架上。

  • 安装底座 Arducam 摄像头

    将底座摄像头支架拧到底座底板上,并用 2 个 M2.5x12 机械螺钉固定 Arducam 5MP 广角摄像头。摄像头支架的线缆也可穿过开孔。

  • 安装腕部 Arducam 摄像头

    用 4 个 M2x5 自攻螺钉将腕部摄像头支架固定到静态夹爪上,并用 2 个 M2.5x12 机械螺钉固定 Arducam 5MP 广角摄像头。

  • 安装带 M3 螺母的夹爪

    打印带 M3 螺母嵌件的新夹爪并插入螺母,然后插入电机并安装夹爪。

  • 固定腕部网络摄像头

    在腕部摄像头支架中加入 M3x12mm 螺栓,并拧紧至与夹爪中的 M3 螺母锁合。插入摄像头后,在背面孔中加入 2 根 M3x35mm 螺栓,并在槽中插入 2 个螺母锁紧。

  • 安装底座网络摄像头

    同样安装底座摄像头,使用 `3DPrintMeshes/webcam_mount/webcam_mount.stl` 并将其固定到 LeKiwi 前部。

  • 连接控制器与树莓派电源

    将 DC 桶形插头适配器插入伺服电机控制器,并将 5V USB-C 接头插入 Raspberry Pi 5。

  • 连接伺服控制器和摄像头

    将伺服控制器和摄像头的 USB 线缆直接插入 Raspberry Pi。

  • 安装驱动电机

    使用 4 颗 m2x5 自攻螺丝将驱动电机固定到电机支架上。

  • 连接轮毂与全向轮

    使用 2 颗 m4x12 机械螺丝将轮毂固定到全向轮上。

  • 连接轮毂与舵机舵盘

    使用 4 颗 m3x16 机械螺丝将轮毂固定到舵机舵盘上。

  • 组装两块底板

    将 3D 打印的三角形嵌件对准 TB3 底板上的外侧孔,使用 6 颗 M3x8 机械螺丝和配套螺母固定。

  • 安装驱动电机支架

    将每个驱动电机支架固定到底板上,前部使用 2 颗 m3x12 机械螺丝,后部使用 2 颗 m2.5x12 机械螺丝。

  • 串联电机线并安装支架

    将电机线串联,并在电池支架和底板摄像头支架的槽中各放入 2 颗 m3 螺母。

  • 固定电池与摄像头支架

    使用 2 颗 m3x12mm 机械螺丝将电池支架固定到底板上。

  • 固定摄像头支架

    使用 2 颗 m3x16mm 机械螺丝将摄像头支架固定到底板上。

  • 连接电源转换器与插头

    使用 Wago 杠杆式连接器,将电池线的地线和电源线连接到 12V→5V 转换器及 DC 圆头插头适配器的引线。

  • 安装电源转换器

    使用 2 颗 m4x16mm 机械螺丝和 2 颗 m4 螺母,将 12V 转 5V 转换器固定到底板上。

  • 连接并固定 U2D2

    将尚未连接的电机线、USB 数据线和电源线连接到 U2D2 电源集线板。

  • 用支柱固定 U2D2 板

    将支柱安装到 U2D2 板上,再使用 3 颗 m3x16mm 机械螺丝将其固定到底板。

  • 安装 Raspberry Pi 5 外壳

    将 Raspberry Pi 5 放入 Pi 外壳的下半部分,然后扣上上盖。

  • 安装网络摄像头

    如图所示,将网络摄像头安装到打印的组件上。

  • 安装顶板组件

    使用两枚 M2x12 机械螺钉和螺母将 Raspberry Pi 安装到顶板上,再使用四枚 M3x12 机械螺钉和螺母固定 Koch 臂。

  • 连接电机电源线

    使用跳线将 5V 电机线连接到 U2D2 电源集线板,并将电源线和地线穿过降压器后接入相应的 5V 和 GND 端口。

软件与固件

  • 为 Conda 安装 Miniforge

    下载并运行适合你的操作系统和处理器架构的 Miniforge 安装程序。

  • 创建 Conda 环境

    创建一个名为 lerobot、使用 Python 3.12 的 Conda 虚拟环境。

  • 创建 uv 虚拟环境

    作为 Conda 的替代方案,使用 uv 安装 Python 3.12 并用它创建虚拟环境。

  • 激活 Conda 环境

    每次打开 shell 以使用 LeRobot 时,都要激活 lerobot Conda 环境。

  • 使用 Conda 安装 evdev

    在 WSL 中安装 LeRobot 时,还要从 conda-forge 渠道安装 evdev。

  • 激活 uv 环境

    在 Linux 或 macOS 上使用 source 命令激活虚拟环境。在 Windows PowerShell 中使用 Windows 激活命令。

  • 使用 uv 安装 evdev

    在 WSL 中使用 uv 安装 LeRobot 时,安装 libevdev 开发软件包,并在虚拟环境中安装 evdev。

  • 检查 Apple Silicon 要求

    在 Apple Silicon 上,PyTorch 需要 macOS 14 或更高版本,MPS 加速需要 macOS 15 或更高版本。在 macOS 14 上,LeRobot 改用 CPU。

  • 检查 Linux NVIDIA 要求

    在 Linux 上,默认 PyTorch 轮子需要 580.65 或更高版本的 NVIDIA 驱动程序。对于较旧的驱动程序,请参阅所引用的 PyTorch CUDA 变体。

  • 在 Ubuntu 或 Debian 上安装 FFmpeg

    在 Ubuntu/Debian 上系统级安装 FFmpeg。文档说明,此方式支持 PyTorch >= 2.10 和 TorchCodec ≥ 0.10;较旧的 PyTorch 版本需要使用 conda-forge 的 FFmpeg 软件包。

  • 在 Apple Silicon Mac 上安装 FFmpeg

    在采用 Apple Silicon 的 macOS 上使用 Homebrew 安装 FFmpeg。

  • 克隆 LeRobot 仓库

    克隆 LeRobot 的 GitHub 仓库并进入其目录。

  • 从源码安装 LeRobot

    使用 pip 或 uv 以可编辑模式安装 LeRobot。core_scripts 用于录制、回放和校准等机器人工作流;training 添加策略训练依赖;all 包含所有策略、环境、硬件和开发工具。

  • 安装 LeRobot 核心软件包

    使用 pip 或 uv 从 PyPI 安装 LeRobot 基础软件包。该安装仅包含核心机器学习依赖,因此大多数工作流还需要添加 extras。

  • 安装 LeRobot 组合 extras

    安装组合 extras,用于核心机器人脚本、策略训练、录制与训练组合,或完整软件包。

  • 安装特定策略和硬件 extras

    添加 Pi、SmolVLA 或 diffusion 策略 extras,ALOHA 和 PushT 仿真环境 extras,或 Feetech 电机支持 extra。可以组合多个 extras。

  • 选择平台的 CUDA 构建

    在 Linux 上,torch 和 torchvision 的 PyPI 默认轮子是 CUDA 13 构建,要求驱动版本不低于 580.65。macOS 和 Windows 使用 PyPI 默认轮子,可以跳过本节。

  • 安装匹配 CUDA 的 PyTorch 组件

    对于较旧的驱动程序或 GPU,请先从匹配的索引安装 PyTorch。cu126 索引适用于仅支持 CUDA 12 的驱动程序;由于 torch 2.15 没有 CUDA 12 构建,它会安装 torch 2.14。然后从 CPU 索引安装 torchcodec;当 torch 低于 2.11 时选择匹配版本。

  • 从源码或 PyPI 安装 LeRobot

    安装匹配的 PyTorch 构建后,可以选择将 LeRobot 作为可编辑源码包安装,或从 PyPI 安装。

  • 使用 uv 和 CUDA 后端安装

    使用 uv pip 时,可通过 --torch-backend 选项选择 CUDA 索引,并一步安装 LeRobot。

  • 为 uv 锁文件配置 CUDA

    uv sync 会使用已提交的锁文件。要更改其中的 CUDA 构建,请在 pyproject.toml 的 [tool.uv.index] 和 [tool.uv.sources] 中添加索引,然后使用 uv lock 重新生成锁文件。

  • 安装 Linux 构建依赖

    如果遇到构建错误,请使用 apt-get 安装 Linux 所需的额外系统依赖。

  • 查阅 PyAV 编译指南

    对于 Linux 以外的系统,请参阅链接的 Compiling PyAV 指南,了解自带 FFmpeg 的安装方法。

  • 组合并安装可选附加项

    可以组合多个附加项,例如 .[aloha,feetech];所有可用附加项见 pyproject.toml。使用 uv 时,将 pip install 替换为 uv pip install。

  • 安装仿真环境

    安装 aloha、pusht、仅限 Linux 的 libero 或 metaworld;它们会自动包含 dataset 附加项。使用 uv 时,将 pip install 替换为 uv pip install。

  • 安装电机控制附加项

    Koch v1.1 安装 dynamixel,SO100/SO101/Moss 安装 feetech。两种电机选项都通过 rustypot 与电机通信。

  • 打开本地 Trackio 仪表板

    Trackio 已包含在 training 附加项中,本地运行不需要账户或登录。运行记录存放在 ~/.cache/huggingface/trackio 下的本地 SQLite 数据库中,可通过 trackio show --project lerobot 打开。

  • 登录 Hugging Face CLI

    使用在 Hugging Face 设置中生成的写入访问令牌,通过 Hugging Face CLI 登录,并将其添加到 git 凭据中。

  • 设置 Hugging Face 用户变量

    运行提供的命令,根据 CLI 用户名设置 HF_USER 并显示该值。

  • 初始化机器人接口

    使用各自的配置实例化 SO101 跟随机器人和 SO101 主臂。

  • 构建数据集特征集

    将机器人的动作特征和观察特征转换为数据集特征,再合并为一个特征字典。

  • 启动键盘和可视化工具

    初始化用于录制控制的键盘监听器,并以会话名称“recording”启动 Rerun 可视化。

  • 创建默认处理器

    为遥操作动作、机器人动作和机器人观察创建默认处理器。

  • 固定已推送的检查点版本

    添加 --policy.pretrained_revision 并指定提交哈希、分支或标签,以固定特定已推送版本。可以使用步骤号选择已推送的检查点,例如 010000。

  • 使用有线版本设置

    对于有线版 LeKiwi,可跳过 Raspberry Pi 安装和 SSH 设置,直接在 PC 上运行 LeKiwi 脚本和主臂遥操作脚本。

  • 准备远程计算机

    设置运行 LeKiwi 机器人的远程计算机。使用 Raspberry Pi,或使用支持 5V 且至少有两个 USB 端口的 PC,以连接摄像头和电机控制板。

  • 在树莓派上安装 LeRobot 和 LeKiwi 支持

    按照链接的 Installation Guide 在树莓派上操作,然后使用 LeKiwi extra 安装 Feetech 电机支持和 ZeroMQ。

  • 在本地电脑安装 LeRobot 和 LeKiwi 支持

    如果笔记本电脑或 PC 尚未安装 LeRobot,请按照链接的 Installation Guide 操作,并使用 LeKiwi extra 安装 Feetech 电机支持和 ZeroMQ。

  • 查找每个电机板 USB 端口

    为每个总线舵机适配器运行端口查找脚本。出现提示时,断开对应的 leader 或 follower 机械臂并按 Enter,识别端口后重新连接 USB 线。

  • 授予 Linux USB 端口访问权限

    在 Linux 上运行两个 chmod 命令,为识别出的 USB 端口授予访问权限。

标定与测试

  • 检查 Raspberry Pi IP 地址

    在 Raspberry Pi 命令行中运行该命令,以检查 Raspberry Pi 的 IP 地址。

  • 检查 Pi 的网络连通性

    从笔记本电脑或电脑 ping Raspberry Pi。如果 ping 失败,请确保 Pi 已通电并连接到同一网络,同时检查 SSH 是否已启用。

  • 测试 SSH 连接

    使用 Pi 用户名和 IP 地址建立 SSH 连接。如果出现连接错误,请运行 sudo raspi-config 确保 SSH 已启用,然后进入 Interfacing Options -> SSH 并启用它。

  • 校准主臂和从臂

    校准主臂和从臂。轮子电机不需要校准。

  • 校准移动底座上的从臂

    将机械臂连接到树莓派,通过 SSH 连接树莓派,并使用唯一的机器人名称运行校准命令。将机器人移动到每个关节处于行程中间的位置并按 Enter,然后让所有关节完成整个行程运动。

  • 在笔记本电脑上运行命令

    对于有线版 LeKiwi,请在笔记本电脑上运行所有命令。

  • 校准主臂

    在主臂所连接的笔记本电脑上运行校准命令或 API 示例。使用主臂的端口,并通过 --teleop.id 设置唯一名称。

  • 设置并校准机器人

    按照机器人及遥操作设备的设置和校准教程操作,例如 LeKiwi、SO-101、OpenArm 或 Koch。

  • 为机器人添加摄像头

    按照链接中的 Cameras 指南为机器人添加摄像头。

  • 配置跟随机器人

    使用指定的串口和 ID 创建 SO101 跟随机器人配置。配置索引 0 上的腕部摄像头和索引 1 上的顶部摄像头,分辨率均为 640×480,帧率均为 30 FPS。

  • 配置遥操作器

    使用指定的串口和 ID“my_leader_arm”创建 SO101 主臂配置。

  • 复用已记录的校准和任务

    使用相同的 --robot.id 以查找校准,并使用与记录数据集相同的 --robot.cameras 和任务描述。

  • 配置 Space 隐私设置

    除非组织默认设置为私有,否则新 Space 默认为公开。传入 --trackio.private=true 可创建私有 Space。

  • 配置控制台输出捕获

    每次运行都会在运行页面的仪表板中记录启动命令和控制台输出,包括 prints、logs 与 tracebacks。传入 --trackio.capture_console=false 可不将控制台输出记录到运行中。

  • 连接电源并启动

    将 DC 桶形插头适配器接入舵机电机控制器,并将 5V USB-C 接头接入 Raspberry Pi 5。U2D2 电源集线板和摄像头的 USB 电缆可直接插入 Raspberry Pi。

  • 配置端口和 IP 地址

    根据具体设备设置更改端口、IP 地址等配置。

采数据与训练

  • 从命令行开始遥操作

    使用从端和主端的类型、端口及 ID 运行遥操作命令。该命令会识别缺失的校准、启动所需校准、连接两个设备并开始遥操作。

  • 使用 Python API 开始遥操作

    创建从端和主端配置,连接两个设备,从主端读取动作并发送给从端。对同一设置进行遥操作、记录和评估时,请使用相同的机器人 ID。

  • 使用摄像头画面进行遥操作

    使用指定的 SO-101 从臂和主臂 ID 及端口运行 lerobot-teleoperate。将腕部和顶部 OpenCV 摄像头配置为 640×480、30 fps,并启用 display_data=true。

  • 构建 Rerun 遥操作循环

    将 SO-101 从臂配置为腕部摄像头 0、顶部摄像头 1,分辨率 640×480、帧率 30 fps,并配置主臂。初始化 rerun 可视化,连接两个设备,运行 30 Hz 循环以获取观测和动作、发送动作并记录可视化数据。

  • 录制并上传五个片段

    根据你的机器人调整端口、ID、摄像头和遥操作设置,然后执行命令录制 5 个片段并将数据集上传到 Hub。

  • 设置录制参数

    将脚本设置为录制 5 个回合,帧率为 30 FPS;每个回合 60 秒,重置时间为 10 秒,任务描述为“My task description”。

  • 创建录制数据集

    使用指定的仓库 ID、30 FPS、合并后的特征、跟随机器人类型、视频功能和四个图像写入线程创建 LeRobotDataset。

  • 运行回合录制循环

    在回合索引小于 5 且未触发停止录制事件时继续录制。运行录制循环前记录每个回合的日志。

  • 录制遥操作机器人数据

    使用机器人、遥操作器、数据集、处理器和事件,以 30 FPS 运行录制循环。将控制时间设置为 60 秒,任务描述设置为“My task description”,并显示录制数据。

  • 录制之间重置环境

    当录制未停止且仍有后续片段或正在重新录制时,重置环境。

  • 重新录制当前片段

    对于重新录制的片段,清除录制事件标志和片段缓冲区,然后继续录制循环。

  • 保存每个录制的片段

    录制完成后保存该片段,并递增片段索引。

  • 完成并上传数据集

    完成数据集,断开机器人和遥操作设备,并将数据集推送到 Hugging Face Hub。

  • 保持一致的相机名称

    选择 wrist 和 top 作为相机名称,对应 observation.images.wrist 和 observation.images.top 数据集键,并在整个教程中重复使用相同的 --robot.cameras 值。

  • 确定带时间戳的数据集名称

    lerobot-record 会在 --dataset.repo_id 末尾附加会话日期和时间,生成诸如 record-test_20260929_143012 的唯一名称。

  • 查找本地数据集名称

    在 Hugging Face 个人资料或 ~/.cache/huggingface/lerobot/${HF_USER} 中查找完整的生成数据集名称。

  • 禁用数据集名称时间戳

    添加 --dataset.no_stamp=true,以保留传给录制命令的准确仓库 ID。

  • 定位录制的数据集

    录制的数据集存储在本地 ~/.cache/huggingface/lerobot/{repo-id} 中。

  • 打开数据集 Hub 页面

    录制结束后,数据集会上传到 https://huggingface.co/datasets/${HF_USER}/record-test_YYYYMMDD_HHMMSS 数据集页面。

  • 添加数据集标签以便查找

    数据集会自动添加 LeRobot 标签,也可以添加 --dataset.tags='["tutorial"]' 等自定义标签。

  • 手动推送数据集

    手动将本地数据集推送到 Hugging Face Hub。

  • 上传录制的数据集

    将带时间戳的 record-test 数据集从本地 Hugging Face 缓存上传到数据集仓库。

  • 以 LeRobot 格式存储录制数据

    lerobot-record 在录制期间使用 LeRobotDataset 格式将采集的数据存储在磁盘上。

  • 禁用数据集自动上传

    设置 `--dataset.push_to_hub=False` 以禁用上传。

  • 允许自动创建录制检查点

    录制过程中会自动创建检查点。

  • 恢复现有的录制数据集

    使用 `--resume=true` 和包含时间戳的完整 `--dataset.repo_id` 重新运行相同命令。将 `--dataset.num_episodes` 设置为额外录制的 episode 数量,并提供必需的本地 `--dataset.root="local_path"`。

  • 开始新的录制数据集

    不使用 `--resume=true` 时,重新运行命令会创建一个带新时间戳的数据集。使用 `--dataset.no_stamp=true` 时,必须先删除现有的数据集目录。

  • 设置每个 episode 的录制时长

    设置 `--dataset.episode_time_s=60`,使每个录制 episode 持续 60 秒。

  • 设置环境重置时长

    设置 `--dataset.reset_time_s=60`,为每个 episode 后的环境重置提供 60 秒。

  • 设置 episode 数量

    设置 `--dataset.num_episodes=50`,总共录制 50 个 episode。

  • 进入下一个 episode

    按右方向键或 `n`,提前停止当前 episode 或重置时间,并进入下一个 episode。

  • 重新录制当前 episode

    按左方向键或 `r`,取消当前 episode 并重新录制。

  • 停止录制并上传数据

    按 Escape 或 `q`,立即停止会话、编码视频并上传数据集。

  • 在任何会话中使用录制快捷键

    录制快捷键可用于 X11、Wayland 以及无头或 SSH 会话。如果全局键盘后端不可用,请从交互式终端启动 lerobot-record 并保持终端聚焦;无需设置 `$DISPLAY`。

  • 检查键盘遥操作支持

    键盘遥操作需要全局按键后端,仅适用于 X11、Windows 桌面或已授予辅助功能或输入监控权限的 macOS。它不能在 Wayland 或无头会话中运行。

  • 创建更大的抓取数据集

    通过在不同位置抓取物体并将其放入箱子,创建用于训练的更大数据集。

  • 至少录制五十个回合

    至少录制50个回合,每个物体位置录制10个回合。

  • 保持录制设置一致

    保持摄像机固定,并在整个录制过程中维持一致的抓取行为。

  • 确保物体在画面中可见

    确保正在操作的物体在摄像机画面中可见。你应该能仅根据摄像机图像完成该任务。

  • 逐步增加数据变化

    获得可靠的抓取性能后,逐步增加抓取位置、抓取方式或摄像机位置的变化。不要过快加入过多变化,因为可能妨碍结果。

用起来

  • 运行 base 自主 rollout

    base 策略执行不记录数据的自主 rollout,适合快速评估。示例从 ${HF_USER}/my_policy 加载策略,并运行 60 的时长。

  • 从安装目录运行 LeRobot

    每次使用 LeRobot 时,进入安装目录 ~/lerobot 并运行其中一个命令。

常见问题

  • 遥操作失败,或运行约30秒后报错 #23 #24
  • 地区版 BOM 的电源组件规格和额定值不一致 #6 #12
  • 提供的 STL 和 3MF 文件无法打开 #16 #21
  • 稳定供电下机械臂静止时仍会抖动 #10
  • 打印和装配文件仍引用旧版电机支架 #11
  • 电机支架变更后 URDF 仍未更新 #14
  • Discord 邀请链接无法让用户加入服务器 #5

数据集

物料

  • ST3215 舵机 3 个(约 13.89 美元/个)
  • 4 英寸全向轮 3 个(VEX,约 9.99 美元/个)
  • 树莓派 5 4GB(约 60 美元)
  • USB 摄像头 2 个(工作区与手腕,约 12.98 美元/个)
  • 12V 5A 锂电池(约 32.99 美元)或 85W 移动电源(5V 版)
  • SO‑101 双臂遥操作套装(约 199.78 美元)
  • 3D 打印件(仓库 3DPrintMeshes 目录)

工具

  • 3D 打印机
  • 工具清单见仓库 Assembly.md

技能

  • 树莓派与 Linux 基础
  • LeRobot 配置

软件

  • LeRobot
  • 键盘/手柄遥操作与数据采集

文档