正在连接信源…

SO‑101 机械臂 复刻全流程

SO‑101 机械臂 从采购、打印、组装到装软件、标定和训练的 255 个步骤,附物料表、购买链接与官方出处。

主从臂一对约 229.88 美元(约 1,343 元);仅从动臂约 121.94 美元。不含 3D 打印与运费

物料 · Parts For Two Arms (Follower and Leader Setup)

零件数量USEUCNJP
STS3215 Servo 7.4V, 1/345 gear (C001)7USD 13.89EUR 12.2CNY 97.72JPY 2980
STS3215 Servo 7.4V, 1/191 gear (C044)2USD 13.89EUR 12.2CNY 97.72JPY 2980
STS3215 Servo 7.4V, 1/147 gear (C046)3USD 13.89EUR 12.2CNY 97.72JPY 2980
Motor Control Board2USD 10.6EUR 11.4CNY 27JPY 980
USB-C Cable 2 pcs1USD 7EUR 7CNY 47.8JPY 1498
Power Supply2USD 10EUR 15.7CNY 22.31JPY 1550
Table Clamp 4pcs1USD 9EUR 9.7CNY 20.8JPY 2200
Screwdriver Set1USD 6EUR 9CNY 14.9JPY 500

物料 · Parts for One Follower Arm

零件数量USEUCNJP
STS3215 Servo 7.4V, 1/345 gear (C001)6USD 13.89EUR 12.2CNY 97.72JPY 2980
Motor Control Board1USD 10.6EUR 11.4CNY 27JPY 980
USB-C Cable 2 pcs1USD 7EUR 7CNY 23.9JPY 1498
Power Supply1USD 10EUR 15.7CNY 22.31JPY 1550
Table Clamp 2pcs1USD 5EUR 8CNY 7.8JPY 2200
Screwdriver Set1USD 6EUR 9CNY 14.9JPY 500

采购

  • 自行购买机器人组件

    按照物料清单采购自行搭建 SO‑101 所需的组件。

  • 购买套件或成品机械臂

    从文档列出的供应商之一购买已装配的机械臂或零件套件。

  • 购买双臂遥操作零件

    为使用 `LeRobot` 库创建经典遥操作系统时,请从“双臂零件”部分购买零件。

  • 购买主臂舵机

    Alibaba 上的套装包含 SO-101 主臂所需的全部六个 STS3215 舵机:3 个 1/147 齿比 C046、2 个 1/191 齿比 C044 和 1 个 1/345 齿比 C001。

  • 购买从臂零件

    从这一部分购买一个从臂所需的标准现货零件。

  • 选择从臂电机电压

    7.4V STS3215 从臂电机已足够使用;若需要更强大的动力,可选择 12V 版本。12V 版本还需要 12V、5A 以上电源,而不能使用 5V 电源。

  • 准备十字螺丝刀

    不必使用指定套装,但强烈建议准备 #0 和 #1 规格的十字头螺丝刀,以便安装和拆卸螺钉。

  • 搭建XLeRobot双臂移动机器人

    XLeRobot由2个SO101机械臂、1个Lekiwi底盘、1个300Wh Anker电池、2个腕部RGB摄像头和1个头部深度摄像头(2自由度颈部)组成,总成本660美元。

  • 加装AnySkin触觉传感器

    在夹爪上加装触觉感知,可从WOWROBO购买AnySkin。

  • 采购 SO-101 零件

    按照链接的 SO-ARM100 README 获取物料清单并采购零件。该 README 提供了零件采购链接。

  • 选择 USB 摄像头模块

    准备 1 个 USB 摄像头模块;推荐使用文档所列型号,也可使用尺寸为 32 × 32 mm、最低规格为 720p/30 fps 的模块。

  • 准备 M2 螺钉

    准备 4 个 M2 螺钉,即随 Feetech 舵机附带的较小螺钉。

  • 准备 M3 × 8 mm 螺钉

    准备 2 个 M3 × 8 mm 螺钉。

  • 准备 M3 六角螺母

    准备 2 个 M3 六角螺母。

  • 获取32毫米UVC摄像头模块

    准备1个USB Camera Module。推荐使用文档中的型号,也可使用尺寸为32 mm × 32 mm、最低720p/30 fps的兼容模块。

  • 准备四颗M2螺钉

    准备4颗M2 Screws;它们是Feetech舵机随附的较小螺钉。

  • 准备相机模块和螺丝

    准备一个 32mm x 32mm 相机模块,并准备 16 个随 Feetech 舵机提供的 M2 螺丝。

打印与加工

  • 打印或订购零件

    按照“Printing the Parts”部分的说明,3D 打印零件或订购 3D 打印件。

  • 选择3D打印机

    使用FDM打印机打印跟随臂和主臂所需的零件。可选示例包括Prusa MINI+、UP Plus 2、Creality Ender 3和Bambu Lab A/P/X系列。

  • 使用PLA+耗材

    选择PLA+作为打印材料。

  • 设置喷嘴和层高

    使用直径0.4毫米的喷嘴和0.2毫米层高,或使用直径0.6毫米的喷嘴和0.4毫米层高。

  • 设置15%填充密度

    将填充密度设置为15%。

  • 清洁打印床

    清洁打印床,确保没有灰尘或油脂。如果使用水或其他液体清洁,请将打印床擦干。

  • 按需涂抹打印胶

    如果打印机建议使用胶,则用普通胶棒在打印区域均匀涂上薄薄一层,避免结块或涂抹不均。

  • 装入打印耗材

    按照打印机专用说明装入打印耗材。

  • 匹配建议的打印设置

    将打印机设置调整为与上述建议尽可能接近的值。

  • 配置45度支撑

    在所有位置启用支撑,但忽略与水平面夹角大于45度的斜面。

  • 排除水平螺孔中的支撑

    确保具有水平轴线的螺孔中没有支撑。

  • 从打印床取下零件

    打印完成后,用刮刀把零件从打印床上刮下来,并清除零件上的支撑材料。

  • 使用打印服务

    如果没有3D打印机,请参考打印服务文档。

  • 扩展可选硬件

    这些可选附件可用于扩展SO-100/SO-101机器人。

  • 打印安装辅助夹具

    打印这个便捷的安装夹具,可在装配时更容易地对准。

  • 打印俯视摄像头支架

    用于单臂或双臂 setups 的鸟瞰视角;可分别下载Webcam版和32×32 Cam Module版的安装说明。

  • 打印底座支架

    提供Raised Leader Base的STL文件和4040铝型材支架的安装说明。

  • 打印柔性夹爪

    下载柔性夹爪零件并使用TPU 95A等柔性耗材打印,详见README。

  • 打印新版柔性夹爪

    新版夹爪手指用TPU 95A打印,底座用PLA打印;TPU手指无需支撑,还需2个额外的M3螺丝,可选3M防滑胶带提升摩擦力。

  • 上传 SO-101 打印文件

    在 PCBWay 上传 Leader 的 `STL/SO101/Leader/Ender_Leader_SO101.stl` 和 Follower 的 `STL/SO101/Follower/Ender_Follower_SO101.stl`。

  • 设置打印订单选项

    两件的数量均设为 1(需要更多时可增加),设计单位设为 mm,材料选择 Custom material 并输入 `PLA+`,产品描述选择 DIY Entertainment → Robot components。

  • 指定 FDM 打印要求并提交

    在 Other special requests 中输入 `FDM, 20% infill`,也可以指定颜色。确认所有设置后,点击 `Submit`。

  • 等待审核并查看报价

    零件经过验证后,PCBWay 会提供包含运费的最终报价;也可以通过其在线门户联系 PCBWay。

  • 准备 3D 打印零件

    按照链接的 SO-ARM100 README 中的说明 3D 打印零件。如果是第一次打印或没有 3D 打印机,请参考其中的建议。

  • 下载底座安装座模型

    下载 4040 底座安装座的 STL 文件,用于 3D 打印。

  • 下载 STEP 模型

    下载 4040 底座安装座的 STEP 文件。

  • 按建议方向打印

    为获得最佳强度,请按照图示方向打印安装座。

  • 启用打印支撑

    打印此零件时需要使用支撑。

  • 打印柔性夹爪

    使用Bambu Lab打印机和Shore硬度为95A的TPU柔性丝材打印;打印设置包括20%和支撑生成。

  • 拆除打印支撑

    打印完成后,使用齐平剪手动拆除支撑。

  • 打印两个夹爪零件

    使用TPU 95A打印Compliant_Moving_Jaw_SO101.stl和Compliant_Wrist_Roll_Follower_SO101.stl。

  • 打印摄像头适配器

    按 STL 中的方向打印 1 个六角螺母凹槽摄像头适配器,并使用树状支撑。建议填充率为 40%,以提高强度并避免晃动。

  • 打印六角螺母摄像头适配器

    3D打印六角螺母凹槽摄像头适配器。

  • 打印支架和底座

    每个 follower arm 打印一个 Arm Base;打印一个 Camera Mount Bottom、一个 Camera Mount Middle 和一个 Camera Mount Top。

  • 打印机器人专用腕部替换件

    根据机器人型号打印1个Wrist Roll Replacement,即3D打印的Jaw Replacement Part。SO-100和SO-101分别使用对应的STL文件。

组装

  • 选择各关节电机

    使用电机表确定各关节需要的电机。从动臂使用 6 个 1/345 齿比的 STS3215 电机;主臂使用三种不同齿比的电机,以支撑自身重量并用较小力移动。

  • 连接夹爪和腕部旋转电机

    断开控制器板的3针线缆,但让它继续连接夹爪电机。将另一条3针线缆连接腕部旋转电机和控制器板,确保板上只连接这一台电机,且该电机未连接其他电机。

  • 串联电机线缆

    将每台电机的3针线缆插入下一台电机。将 id=1 的肩部平移电机连接到控制器板,并把控制器板安装到机械臂底座。

  • 移除支撑材料

    移除所有3D打印部件上的支撑材料。使用小螺丝刀伸到支撑材料下方将其撬起。

  • 为已放置的电机安装3针线缆

    放置电机后,在继续组装前为每台电机安装一条3针线缆。

  • 安装第一个电机的两个舵盘

    安装两个电机舵盘,用一颗 M3x6mm 螺钉固定顶部舵盘,底部舵盘不需要螺钉。

  • 放置第一个电机

    将第一个电机放入底座。

  • 固定第一个电机

    用四颗 M2x6mm 螺钉固定电机,顶部两颗、底部两颗。

  • 安装第一个电机支架

    套上第一个电机支架,并用两颗 M2x6mm 螺钉固定,每侧一颗。

  • 连接肩部零件

    连接肩部零件。

  • 拧紧肩部零件

    用顶部四颗和底部四颗 M3x6mm 螺钉拧紧肩部零件。

  • 添加肩部电机支架

    添加肩部电机支架。

  • 安装第二个电机的两个舵盘

    安装两个电机舵盘,用一颗 M3x6mm 螺钉固定顶部舵盘,底部舵盘不需要螺钉。

  • 从顶部滑入第二个电机

    从顶部滑入第二个电机。

  • 固定第二个电机

    用四颗 M2x6mm 螺钉固定第二个电机。

  • 连接上臂

    每侧使用四颗 M3x6mm 螺钉连接上臂。

  • 安装电机3的两个舵盘

    安装两个电机舵盘,用一颗 M3x6mm 螺钉固定顶部舵盘,底部舵盘不需要螺钉。

  • 插入并固定电机3

    插入电机3,并用四颗 M2x6mm 螺钉固定。

  • 连接前臂

    每侧使用四颗 M3x6mm 螺钉将前臂连接到电机3。

  • 安装电机4的两个舵盘

    安装两个电机舵盘,用一颗 M3x6mm 螺钉固定顶部舵盘,底部舵盘不需要螺钉。

  • 套上电机支架4

    套上电机支架4。

  • 滑入电机4

    滑入电机4。

  • 固定电机4

    用四颗 M2x6mm 螺钉固定电机4。

  • 将电机5装入手腕支架

    将电机5插入手腕支架,并用两颗 M2x6mm 前侧螺钉固定。

  • 安装手腕电机舵盘

    只在手腕电机上安装一个电机舵盘,并用一颗 M3x6mm 舵盘螺钉固定。

  • 将手腕固定到电机4

    两侧各使用四颗 M3x6mm 螺钉,将手腕固定到电机4。

  • 安装夹爪

    使用4个M3x6mm螺钉,将夹爪安装到电机5,并连接到腕部的电机舵盘。

  • 固定夹爪电机

    插入夹爪电机,并在每一侧用2个M2x6mm螺钉固定。

  • 安装夹爪电机舵盘

    在夹爪电机上安装两个电机舵盘。上方舵盘使用一个M3x6mm螺钉固定,下方舵盘不需要螺钉。

  • 安装夹爪爪片

    安装夹爪爪片,并在两侧使用4个M3x6mm螺钉固定。

  • 安装主臂支架

    将主臂支架安装到腕部,并使用4个M3x6mm螺钉固定。

  • 安装主臂手柄

    使用1个M2x6mm螺钉,将手柄安装到主臂支架。

  • 安装主臂夹爪电机

    插入夹爪电机,每侧使用2个M2x6mm螺钉固定,并使用M3x6mm舵盘螺钉安装电机舵盘。

  • 安装从臂扳机

    使用4个M3x6mm螺钉安装从臂扳机。

  • 按照装配指南组装

    按照 Assembly Guide 装配自行采购并打印的 SO‑101。

  • 选择按照指南完成组装

    如果购买了套件,可以选择按照 Assembly Guide 完成组装。

  • 组装 SO-101 机器人

    按照侧边栏 Robots 下 SO-101 页面中的说明组装机器人。

  • 对齐并安装网络摄像头

    将网络摄像头推入摄像头支架顶部,对齐圆形关节孔。

  • 用六角螺栓固定网络摄像头

    将六角螺栓放入六角形孔,再把M2螺钉旋入摄像头支架顶部圆形关节的相对孔。

  • 对齐摄像头支架上下两部分

    将摄像头支架顶部推入底部,对齐顶部底面的直线关节线与底部顶面的直线关节线。

软件与固件

  • 安装 Miniforge

    下载适合你的操作系统和架构的 Miniforge 安装程序并运行。

  • 创建 Conda 环境

    使用 Python 3.12 创建一个名为 lerobot 的 conda 环境。

  • 创建 UV 环境

    作为 conda 的替代方案,使用 uv 安装 Python 3.12 并用它创建虚拟环境。

  • 激活 Conda 环境

    每次打开 shell 以使用 LeRobot 时,都要激活 lerobot conda 环境。

  • 在 WSL Conda 中安装 evdev

    在 WSL 中使用 conda 安装 LeRobot 时,还要从 conda-forge 渠道安装 evdev。

  • 在 Linux 上激活环境

    在 Linux 或 macOS 上,使用 LeRobot 前激活虚拟环境。

  • 在 PowerShell 中激活环境

    在 Windows PowerShell 中,使用 LeRobot 前激活虚拟环境。

  • 在 WSL UV 中安装 evdev

    在 WSL 中使用 uv 安装 LeRobot 时,安装 evdev 开发库和 evdev Python 包。

  • 在 Ubuntu 或 Debian 上安装 FFmpeg

    使用 apt 安装系统级 FFmpeg 软件包。

  • 在 Apple Silicon macOS 上安装 FFmpeg

    在运行 Apple Silicon 的 macOS 上使用 Homebrew 安装 FFmpeg。

  • 使用 Conda 作为 FFmpeg 安装备用方案

    系统级 FFmpeg 需要 PyTorch >= 2.10 和 TorchCodec >= 0.10。对于较旧的 PyTorch 版本,请通过 Conda 从 conda-forge 安装 FFmpeg。

  • 克隆 LeRobot 仓库

    克隆 LeRobot 仓库并进入该目录。

  • 使用 pip 安装可编辑源码及附加组件

    安装用于记录、回放和校准的核心脚本。training 附加组件安装策略训练依赖项,all 则安装全部内容。

  • 使用 uv 安装可编辑源码及附加组件

    使用 uv 安装核心脚本、训练组件和完整的可编辑安装。

  • 安装 LeRobot 核心软件包

    使用 pip 从 PyPI 安装 LeRobot 基础软件包。

  • 使用 uv 安装 LeRobot 核心软件包

    使用 uv 从 PyPI 安装 LeRobot 基础软件包。

  • 添加所需的功能附加组件

    选择与所需工作流对应的功能附加组件。使用 uv 时,将 pip install 替换为 uv pip install。

  • 安装组合式工作流附加组件

    安装 core_scripts 以进行记录、回放和校准。将 core_scripts 与 training 结合可进行记录和训练,也可安装全部附加组件。

  • 安装特定的策略和硬件附加组件

    根据需要安装 Pi0、SmolVLA、扩散策略、仿真环境或 Feetech 电机对应的附加组件。

  • 安装 CUDA 12 版 PyTorch

    当驱动程序仅支持 CUDA 12 时,使用 cu126 索引。该索引会安装 torch 2.14;继续使用 CUDA 12 时需使用 torch 2.14 或更旧版本。

  • 安装 CPU 版 TorchCodec

    在 Linux 上,从 CPU 索引安装 TorchCodec,因为 PyPI 提供的是 CUDA 13 构建。对于低于 2.11 的 torch,请从 TorchCodec 兼容性表中选择匹配的版本。

  • 安装 LeRobot 软件包

    使用 all 附加项从源代码安装 LeRobot,或从 PyPI 安装已发布的软件包。

  • 使用 uv 安装 LeRobot

    使用 uv pip 和 cu126 后端,一次即可选择 PyTorch 索引并安装 LeRobot。

  • 配置锁定的 CUDA 构建

    uv sync 始终安装已提交的锁定文件。若要更改其中的 CUDA 构建,请在 pyproject.toml 的 tool.uv.index 和 tool.uv.sources 下添加索引,然后重新运行 uv lock。

  • 安装构建依赖项

    如果出现构建错误,使用 apt-get 安装列出的 Linux 系统依赖项,包括 cmake、build-essential、Python 开发头文件、pkg-config 和 FFmpeg 库。

  • 安装 SO101 电机 extra

    为 SO100、SO101 或 Moss 电机安装 feetech extra。dynamixel 和 feetech 都通过 rustypot 与电机通信。

  • 打开本地 Trackio 仪表板

    training extra 中已包含 Trackio。本地运行不需要账户或登录,运行数据存储在 ~/.cache/huggingface/trackio 下的本地 SQLite 数据库中。

  • 设置 Space 隐私选项

    除非组织默认设置为私有,否则新 Space 默认公开。传入 --trackio.private=true 可创建私有 Space。

  • 控制控制台输出捕获

    Trackio 会在仪表板的运行页面记录启动该运行的命令及其控制台输出,包括打印信息、日志和回溯。传入 --trackio.capture_console=false 可防止控制台输出进入运行记录。

  • 生成 Hub 写入访问令牌

    在 Hugging Face 设置页面生成写入访问令牌。

  • 认证 Hugging Face CLI

    使用 HUGGINGFACE_TOKEN 中的令牌运行 CLI 登录命令,并将其添加到 Git 凭据存储。

  • 存储 Hugging Face 用户名

    运行 whoami 命令并将显示的用户名存储在 HF_USER 中。录制示例使用此变量构成数据集仓库 ID。

  • 配置 SO101 从臂

    使用串行端口、从臂 ID、腕部摄像头和顶部摄像头配置 SO101Follower。两个 OpenCV 摄像头均使用 640×480 分辨率和 30 FPS。

  • 配置 SO101 主臂

    使用指定的串行端口和主臂 ID 配置 SO101Leader。示例使用 /dev/tty.usbmodem5AB90689011 和 my_leader_arm。

  • 安装 Feetech SDK

    如果 LeRobot 是从 PyPI 安装的,请改为运行 `pip install 'lerobot[feetech]'`。否则,使用 `pip install -e ".[feetech]"` 安装带 Feetech 扩展的可编辑软件包。

  • 可视化 SO100 URDF

    使用 rerun 和 URDF visualizer plugin 可视化 SO100 的 URDF 文件。运行命令打开 Simulation/SO100/so100.urdf。

  • 可视化 SO101 URDF 文件

    使用 rerun 和 URDF visualizer plugin 可视化 SO101 的 URDF 文件。运行命令打开新校准和旧校准的 URDF 文件。

  • 配置顶置摄像头软件

    在软件中添加顶置摄像头,并设置其分辨率和帧率。通用设置为30 FPS;分辨率为640 x 480, workspaces较宽时可使用1280 x 720。查看新摄像头的视频画面,应能看到机械臂工作区;必要时将屏幕分辨率调宽,以显示更多工作区。Mac也可使用QuickTime的“New Movie Recording”查看画面。

  • 在软件中添加顶置摄像头

    在软件中添加顶置摄像头,并设置分辨率和FPS。建议将分辨率设为640 × 480、FPS设为30,即使摄像头模块支持更高或更宽的设置。

  • 设置分辨率和帧率

    在软件中设置分辨率和FPS;通常建议使用640 x 480和30 FPS,因为大多数型号在较低分辨率下工作正常,而更高设置只会造成数据膨胀。

标定与测试

  • 识别每个机械臂的 USB 端口

    使用 USB 连接并通电 MotorBus,然后运行 `lerobot-find-port`。出现提示时断开相应的主动臂或从动臂,记录对应端口,并重新连接 USB 线。

  • 授予 Linux USB 端口访问权限

    在 Linux 上,如果需要访问已识别的 USB 端口,请使用文档中的权限命令。按照所示对 `/dev/ttyACM0` 和 `/dev/ttyACM1` 执行命令。

  • 设置唯一 ID 和波特率

    逐个连接每个电机并分配唯一 ID。控制器和所有电机应配置为相同波特率;这些设置存储在 EEPROM 中,只需配置一次。

  • 连接从臂控制器

    使用 USB 线将计算机连接到从臂控制板,并连接电源。

  • 运行电机设置命令

    运行 so101_follower 机器人的设置命令,将示例中的端口替换为上一步找到的端口。

  • 通过 API 设置电机

    使用从臂端口和用于命名从臂的 id 创建 SO101FollowerConfig,然后创建 follower 并调用 setup_motors()。

  • 仅连接夹爪电机

    出现提示时,仅将夹爪电机连接到控制板并按 Enter。不要将其与其他电机菊花链连接;脚本随后会设置其 ID 和波特率。

  • 检查连接和跳线

    如果出现错误,请检查电源、计算机与控制板之间的 USB 线,以及控制板到电机的 3 针线。使用 Waveshare 控制板时,应将两个跳线设置在 B 通道(USB)。

  • 确认夹爪电机 ID

    继续连接下一个电机前,检查设置程序是否报告夹爪电机 ID 已设置为 6。

  • 连接腕滚转电机

    按照指示,仅将控制板连接到 wrist_roll 电机并按 Enter,以设置其 ID 和波特率。

  • 按指示依次设置每台电机

    按指示对每台电机重复此操作。每次按 Enter 前检查线缆,包括电源线。

  • 完成电机设置脚本

    运行设置流程直到脚本结束。此后电机即可使用。

  • 为Leader机械臂重复设置

    为 Leader 机械臂执行相同的电机连接和设置步骤。

  • 通过命令配置SO101 Leader

    运行 SO101 Leader 的电机设置命令,并粘贴上一步找到的端口。

  • 使用Python配置Leader

    使用指定端口和 id 创建 SO101Leader,然后调用 setup_motors。示例使用 /dev/tty.usbmodem585A0076841 和 id my_awesome_leader_arm。

  • 将从臂关节置于中位

    移动从臂机器人,使所有关节处于其活动范围的中点。

  • 运行从臂校准

    使用从臂端口和唯一的机器人ID运行校准命令。文档还提供了使用SO101FollowerConfig和SO101Follower的API示例。

  • 移动每个从臂关节

    按下Enter后,将每个关节移动 through 其完整运动范围。

  • 校准主臂

    使用主臂校准命令或API示例,对主臂重复从臂校准步骤。

  • 校准 SO-101 主臂

    在 /dev/tty.usbmodem58760431551 连接主臂,将其标识为 my_awesome_leader_arm,然后运行校准。

  • 在 Python 中运行主臂校准

    使用指定的端口和 id 创建 SO101LeaderConfig,连接 SO101Leader 且不自动校准,调用 calibrate(),然后断开连接。

  • 仅凭相机画面验证任务

    检查自己能否仅通过查看相机图像完成该任务。

  • 训练前检查节奏报告

    在数据集上训练前,阅读每个回合和整个会话的节奏报告。

  • 比较实际与目标节奏

    将实际达到的频率与目标频率进行比较。以25 Hz运行的会话仍可能生成声称30 Hz的数据集,但记录的动作只是比现实更快。

  • 检查节奏余量和瓶颈

    检查节奏余量是否接近零;接近零表示循环已饱和。示例中,观察占工作的74.4%,最坏耗时40.20毫秒,而预算是33.3毫秒。

  • 覆盖恢复作业的设置

    作业设置来自当前命令,因此可按需覆盖 --job.target、--job.timeout 等设置。

  • 将检查点保留在 Hub 上

    保持 --save_checkpoint_to_hub=true,使恢复后的运行以后仍可再次恢复。

  • 匹配已记录的机器人设置

    使用与记录数据集相同的 --robot.id,以便找到其校准信息;同时使用相同的 --robot.cameras 和任务描述。

  • 检查平台要求

    在 Apple Silicon 上,PyTorch 需要 macOS 14 或更高版本,MPS 加速需要 macOS 15 或更高版本;macOS 14 会回退到 CPU。在 Linux 上,默认 PyTorch 轮子需要 NVIDIA 580.65 或更高版本的驱动;更旧的驱动需要使用 PyTorch CUDA 变体。

  • 校准 SO-101 机器人

    按照侧边栏 Robots 下 SO-101 页面中的说明校准机器人。

  • 校准打印机和打印床

    按照打印机专用说明完成打印机校准,并正确设置打印床的平整度。

  • 开启机械臂并查看视频

    开启机械臂并查看新安装摄像头的视频画面。在Mac上也可通过QuickTime的New Movie Recording查看该画面。

  • 调节摄像头对焦

    摄像头采用手动对焦,初始画面可能很模糊。顺时针或逆时针转动镜头,直到视频画面清晰。

  • 检查摄像头视频画面

    查看新安装摄像头的视频画面,应能看到机械臂的工作区域。在Mac上也可使用QuickTime的“New Movie Recording”查看。

  • 配置软件并调整对焦

    在软件中设置分辨率和帧率;即使摄像头模块支持更高规格,通常仍建议使用640 x 480分辨率和30 FPS,因为大多数模型在较低分辨率下运行效果更好,更高分辨率只会增加数据量。打开手臂并查看摄像头视频画面;如果画面最初模糊,可顺时针或逆时针旋转镜头,直到画面清晰。

采数据与训练

  • 录制并上传五个回合

    Adapt the example for the SO-101 follower and leader, their listed ports and IDs, and the front, wrist, and top OpenCV camera settings. Record 5 episodes for the task "Grab the black cube," display the data, and upload the dataset to ${HF_USER}/record-test with streaming encoding and 2 encoder threads.

  • 创建 LeRobot 录制数据集

    将机器人的动作和观察特征转换为数据集特征,然后使用指定的仓库 ID 和 30 FPS 创建 LeRobotDataset。示例启用视频,将机器人类型设为从臂名称,并使用四个图像写入线程。

  • 连接机器人和遥操作设备

    初始化键盘监听器和重放可视化,然后连接从臂机器人和 SO101 主臂遥操作设备。创建默认的遥操作动作、机器人动作和机器人观察处理器。

  • 录制五个遥操作回合

    运行录制循环,直到录制五个回合或触发停止录制事件。每个回合使用 30 FPS、60 秒控制时间、任务描述“My task description”,并启用数据显示。

  • 在集之间重置环境

    当录制尚未停止且需要下一个回合时,使用配置的 FPS、处理器、遥操作、控制时间和任务描述通过 record_loop 重置环境。

  • 重新录制当前回合

    请求重新录制时,清除回合缓冲区,重置重新录制和提前退出事件,然后继续下一次录制迭代。

  • 保存每个录制的回合

    将已完成的回合保存到数据集,并递增回合索引。

  • 完成录制的数据集

    记录完所有回合后完成数据集。

  • 断开设备并推送数据集

    停止录制,断开机器人和遥操作设备,并将数据集推送到 Hub。

  • 保持相机名称一致

    腕部和顶部相机名称分别成为 observation.images.wrist 和 observation.images.top。部署的策略需要相同的相机名称和分辨率,因此在整个教程中重复使用相同的 --robot.cameras 值。

  • 使用带时间戳的数据集名称

    lerobot-record 会将会话日期和时间附加到 --dataset.repo_id,生成诸如 record-test_20260929_143012 的唯一名称。

  • 查找完整数据集名称

    在 Hugging Face 个人页面上或通过列出本地 LeRobot 缓存目录来查找完整的时间戳数据集名称。

  • 禁用自动数据集时间戳

    添加 --dataset.no_stamp=true,以保留传递给 lerobot-record 的确切数据集仓库 ID。

  • 定位本地数据集

    本地数据集存储在 ~/.cache/huggingface/lerobot/{repo-id} 下。

  • 将数据集上传到 Hub

    数据录制结束时,数据集会上传到用户的 Hugging Face 页面。

  • 打印已上传的数据集网址

    使用带时间戳的数据集名称打印 Hugging Face 数据集网址。

  • 添加数据集标签以便发现

    数据集会自动带有 LeRobot 标签,也可以通过 --dataset.tags 添加 tutorial 等自定义标签。

  • 手动推送本地数据集

    也可以手动将本地数据集推送到 Hugging Face Hub。

  • 上传录制的数据集

    将本地录制数据上传到 Hugging Face 数据集仓库。

  • 以 LeRobotDataset 格式存储录制数据

    使用 lerobot-record 录制机器人操作数据;录制期间,数据以 LeRobotDataset 格式存储在磁盘上。

  • 禁用数据集自动上传

    如果不应上传数据集,启动录制时使用 --dataset.push_to_hub=False。

  • 允许自动创建录制检查点

    开始录制,并让 lerobot-record 在录制会话期间自动创建检查点。

  • 恢复现有录制

    使用 --resume=true 重新运行相同命令,通过 --dataset.repo_id 传入包含时间戳的完整数据集名称,将 --dataset.num_episodes 设置为额外录制的片段数量,并将 --dataset.root 设置为所需的本地路径。

  • 开始新的带时间戳数据集

    不使用 --resume=true 重新运行命令会创建带新时间戳的数据集。如果使用 --dataset.no_stamp=true,请先删除现有数据集目录。

  • 配置录制时长和片段数量

    将每个录制片段的 --dataset.episode_time_s 设置为 60,将环境重置的 --dataset.reset_time_s 设置为 60,并将总片段数 --dataset.num_episodes 设置为 50。

  • 使用键盘快捷键控制录制

    按右箭头或 n 可提前停止当前片段或重置时间并进入下一个;按左箭头或 r 可取消并重新录制当前片段;按 Escape 或 q 可立即停止会话、编码视频并上传数据集。

  • 使用终端录制控制

    在 Wayland、无头系统或缺少所需权限的 macOS 上,从交互式终端启动 lerobot-record 并保持终端聚焦,以使用 n、r 和 q。

  • 选择抓取并放入箱子的任务

    将不同位置抓取物体并放入箱子作为起始任务。

  • 至少录制五十个回合

    至少录制50个回合,每个物体位置录制10个回合。

  • 保持录制过程一致

    保持相机固定,并在整个录制过程中保持一致的抓取行为。

  • 确保物体在画面中可见

    确保正在操作的物体始终能在相机画面中看到。

  • 进入神经网络训练

    收集数据集后,进入神经网络训练部分。

  • 逐渐增加变化

    不要过快加入过多变化,因为这可能妨碍结果。

  • 通过打印的链接打开第一个回合

    在可视化工具主页输入仓库 ID,或使用打印的链接直接打开 episode_0。

  • 登录以查看私有数据集

    如果数据集是私有的,请在可视化工具中登录。

  • 使用命令重放一个回合

    使用 so101_follower 机器人类型、端口、机器人 ID、数据集仓库 ID 和回合编号运行重放命令。

  • 使用 API 重放一个回合

    将 episode_idx 设置为 0,配置并连接 SO101Follower,从数据集加载回合 0,选择 action 列,将每个动作发送给机器人,按照数据集的帧时间休眠,然后断开连接。

  • 开始训练 ACT 策略

    运行 lerobot-train,使用已记录的 SO-101 数据集、ACT 策略、输出目录、任务名称、CUDA 设备、Trackio 和策略仓库。

  • 选择已记录的数据集

    将 --dataset.repo_id 设置为数据集的完整名称,包括时间戳。

  • 配置 ACT 策略

    设置 policy.type=act。ACT 会加载 configuration_act.py,并自动适应数据集中的电机状态数、电机动作数和摄像头数量,例如腕部及顶部摄像头。

用起来

  • 尝试 Colab 笔记本

    尝试 LeRobot 的 Colab 笔记本。

  • 备查 LeRobot 速查表

    将速查表放在手边,其中集中列出了所有 LeRobot 命令。

  • 在交互式终端中恢复录制控制

    在 Linux 上,请在已聚焦的交互式 TTY 中运行 lerobot-record。使用方向键或 Escape,也可使用对应的 n / r /q;无需设置 $DISPLAY。

常见问题

  • 关键零件及地区替代采购链接不可用或不确定 #68 #16 #76 #6 #161
  • 打印底座的舵机座与夹具配合过紧 #63 #12
  • 主臂壁厚低于打印服务的最小要求 #175
  • 安装辅助件朝向不适合常规打印 #119
  • 底座和肩部关节松动导致持续振动 #24
  • 电源电压与舵机控制板的兼容性不明确 #142
  • 舵机位置或机械止挡不正确导致校准失败 #60 #170
  • URDF 的关节限位、轴向和动力学定义不正确 #54

数据集

物料

  • STS3215 7.4V 舵机 12 个(一对;从动臂 6 个 1/345,主臂含 1/191 与 1/147 减速比)
  • 电机控制板 2 块、USB‑C 线 2 根、电源 2 个
  • 桌面夹具 4 个
  • 3D 打印结构件(STL 公开,建议 PLA+、15% 填充)

工具

  • 3D 打印机(或代打印服务)
  • 十字螺丝刀 #0 与 #1
  • 铲刀(取件)

技能

  • Python 与命令行基础
  • LeRobot 安装与标定

软件

  • LeRobot(Hugging Face)

文档