SO‑101 机械臂 复刻全流程
SO‑101 机械臂 从采购、打印、组装到装软件、标定和训练的 255 个步骤,附物料表、购买链接与官方出处。
主从臂一对约 229.88 美元(约 1,343 元);仅从动臂约 121.94 美元。不含 3D 打印与运费
物料 · Parts For Two Arms (Follower and Leader Setup)
| 零件 | 数量 | US | EU | CN | JP |
|---|---|---|---|---|---|
| STS3215 Servo 7.4V, 1/345 gear (C001) | 7 | USD 13.89 | EUR 12.2 | CNY 97.72 | JPY 2980 |
| STS3215 Servo 7.4V, 1/191 gear (C044) | 2 | USD 13.89 | EUR 12.2 | CNY 97.72 | JPY 2980 |
| STS3215 Servo 7.4V, 1/147 gear (C046) | 3 | USD 13.89 | EUR 12.2 | CNY 97.72 | JPY 2980 |
| Motor Control Board | 2 | USD 10.6 | EUR 11.4 | CNY 27 | JPY 980 |
| USB-C Cable 2 pcs | 1 | USD 7 | EUR 7 | CNY 47.8 | JPY 1498 |
| Power Supply | 2 | USD 10 | EUR 15.7 | CNY 22.31 | JPY 1550 |
| Table Clamp 4pcs | 1 | USD 9 | EUR 9.7 | CNY 20.8 | JPY 2200 |
| Screwdriver Set | 1 | USD 6 | EUR 9 | CNY 14.9 | JPY 500 |
物料 · Parts for One Follower Arm
| 零件 | 数量 | US | EU | CN | JP |
|---|---|---|---|---|---|
| STS3215 Servo 7.4V, 1/345 gear (C001) | 6 | USD 13.89 | EUR 12.2 | CNY 97.72 | JPY 2980 |
| Motor Control Board | 1 | USD 10.6 | EUR 11.4 | CNY 27 | JPY 980 |
| USB-C Cable 2 pcs | 1 | USD 7 | EUR 7 | CNY 23.9 | JPY 1498 |
| Power Supply | 1 | USD 10 | EUR 15.7 | CNY 22.31 | JPY 1550 |
| Table Clamp 2pcs | 1 | USD 5 | EUR 8 | CNY 7.8 | JPY 2200 |
| Screwdriver Set | 1 | USD 6 | EUR 9 | CNY 14.9 | JPY 500 |
采购
- 自行购买机器人组件
按照物料清单采购自行搭建 SO‑101 所需的组件。
- 购买套件或成品机械臂
从文档列出的供应商之一购买已装配的机械臂或零件套件。
- 购买双臂遥操作零件
为使用 `LeRobot` 库创建经典遥操作系统时,请从“双臂零件”部分购买零件。
- 购买主臂舵机
Alibaba 上的套装包含 SO-101 主臂所需的全部六个 STS3215 舵机:3 个 1/147 齿比 C046、2 个 1/191 齿比 C044 和 1 个 1/345 齿比 C001。
- 购买从臂零件
从这一部分购买一个从臂所需的标准现货零件。
- 选择从臂电机电压
7.4V STS3215 从臂电机已足够使用;若需要更强大的动力,可选择 12V 版本。12V 版本还需要 12V、5A 以上电源,而不能使用 5V 电源。
- 准备十字螺丝刀
不必使用指定套装,但强烈建议准备 #0 和 #1 规格的十字头螺丝刀,以便安装和拆卸螺钉。
- 搭建XLeRobot双臂移动机器人
XLeRobot由2个SO101机械臂、1个Lekiwi底盘、1个300Wh Anker电池、2个腕部RGB摄像头和1个头部深度摄像头(2自由度颈部)组成,总成本660美元。
- 加装AnySkin触觉传感器
在夹爪上加装触觉感知,可从WOWROBO购买AnySkin。
- 采购 SO-101 零件
按照链接的 SO-ARM100 README 获取物料清单并采购零件。该 README 提供了零件采购链接。
- 选择 USB 摄像头模块
准备 1 个 USB 摄像头模块;推荐使用文档所列型号,也可使用尺寸为 32 × 32 mm、最低规格为 720p/30 fps 的模块。
- 准备 M2 螺钉
准备 4 个 M2 螺钉,即随 Feetech 舵机附带的较小螺钉。
- 准备 M3 × 8 mm 螺钉
准备 2 个 M3 × 8 mm 螺钉。
- 准备 M3 六角螺母
准备 2 个 M3 六角螺母。
- 获取32毫米UVC摄像头模块
准备1个USB Camera Module。推荐使用文档中的型号,也可使用尺寸为32 mm × 32 mm、最低720p/30 fps的兼容模块。
- 准备四颗M2螺钉
准备4颗M2 Screws;它们是Feetech舵机随附的较小螺钉。
- 准备相机模块和螺丝
准备一个 32mm x 32mm 相机模块,并准备 16 个随 Feetech 舵机提供的 M2 螺丝。
打印与加工
- 打印或订购零件
按照“Printing the Parts”部分的说明,3D 打印零件或订购 3D 打印件。
- 选择3D打印机
使用FDM打印机打印跟随臂和主臂所需的零件。可选示例包括Prusa MINI+、UP Plus 2、Creality Ender 3和Bambu Lab A/P/X系列。
- 使用PLA+耗材
选择PLA+作为打印材料。
- 设置喷嘴和层高
使用直径0.4毫米的喷嘴和0.2毫米层高,或使用直径0.6毫米的喷嘴和0.4毫米层高。
- 设置15%填充密度
将填充密度设置为15%。
- 清洁打印床
清洁打印床,确保没有灰尘或油脂。如果使用水或其他液体清洁,请将打印床擦干。
- 按需涂抹打印胶
如果打印机建议使用胶,则用普通胶棒在打印区域均匀涂上薄薄一层,避免结块或涂抹不均。
- 装入打印耗材
按照打印机专用说明装入打印耗材。
- 匹配建议的打印设置
将打印机设置调整为与上述建议尽可能接近的值。
- 配置45度支撑
在所有位置启用支撑,但忽略与水平面夹角大于45度的斜面。
- 排除水平螺孔中的支撑
确保具有水平轴线的螺孔中没有支撑。
- 从打印床取下零件
打印完成后,用刮刀把零件从打印床上刮下来,并清除零件上的支撑材料。
- 使用打印服务
如果没有3D打印机,请参考打印服务文档。
- 扩展可选硬件
这些可选附件可用于扩展SO-100/SO-101机器人。
- 打印安装辅助夹具
打印这个便捷的安装夹具,可在装配时更容易地对准。
- 打印俯视摄像头支架
用于单臂或双臂 setups 的鸟瞰视角;可分别下载Webcam版和32×32 Cam Module版的安装说明。
- 打印底座支架
提供Raised Leader Base的STL文件和4040铝型材支架的安装说明。
- 打印柔性夹爪
下载柔性夹爪零件并使用TPU 95A等柔性耗材打印,详见README。
- 打印新版柔性夹爪
新版夹爪手指用TPU 95A打印,底座用PLA打印;TPU手指无需支撑,还需2个额外的M3螺丝,可选3M防滑胶带提升摩擦力。
- 上传 SO-101 打印文件
在 PCBWay 上传 Leader 的 `STL/SO101/Leader/Ender_Leader_SO101.stl` 和 Follower 的 `STL/SO101/Follower/Ender_Follower_SO101.stl`。
- 设置打印订单选项
两件的数量均设为 1(需要更多时可增加),设计单位设为 mm,材料选择 Custom material 并输入 `PLA+`,产品描述选择 DIY Entertainment → Robot components。
- 指定 FDM 打印要求并提交
在 Other special requests 中输入 `FDM, 20% infill`,也可以指定颜色。确认所有设置后,点击 `Submit`。
- 等待审核并查看报价
零件经过验证后,PCBWay 会提供包含运费的最终报价;也可以通过其在线门户联系 PCBWay。
- 准备 3D 打印零件
按照链接的 SO-ARM100 README 中的说明 3D 打印零件。如果是第一次打印或没有 3D 打印机,请参考其中的建议。
- 下载底座安装座模型
下载 4040 底座安装座的 STL 文件,用于 3D 打印。
- 下载 STEP 模型
下载 4040 底座安装座的 STEP 文件。
- 按建议方向打印
为获得最佳强度,请按照图示方向打印安装座。
- 启用打印支撑
打印此零件时需要使用支撑。
- 打印柔性夹爪
使用Bambu Lab打印机和Shore硬度为95A的TPU柔性丝材打印;打印设置包括20%和支撑生成。
- 拆除打印支撑
打印完成后,使用齐平剪手动拆除支撑。
- 打印两个夹爪零件
使用TPU 95A打印Compliant_Moving_Jaw_SO101.stl和Compliant_Wrist_Roll_Follower_SO101.stl。
- 打印摄像头适配器
按 STL 中的方向打印 1 个六角螺母凹槽摄像头适配器,并使用树状支撑。建议填充率为 40%,以提高强度并避免晃动。
- 打印六角螺母摄像头适配器
3D打印六角螺母凹槽摄像头适配器。
- 打印支架和底座
每个 follower arm 打印一个 Arm Base;打印一个 Camera Mount Bottom、一个 Camera Mount Middle 和一个 Camera Mount Top。
- 打印机器人专用腕部替换件
根据机器人型号打印1个Wrist Roll Replacement,即3D打印的Jaw Replacement Part。SO-100和SO-101分别使用对应的STL文件。
组装
- 选择各关节电机
使用电机表确定各关节需要的电机。从动臂使用 6 个 1/345 齿比的 STS3215 电机;主臂使用三种不同齿比的电机,以支撑自身重量并用较小力移动。
- 连接夹爪和腕部旋转电机
断开控制器板的3针线缆,但让它继续连接夹爪电机。将另一条3针线缆连接腕部旋转电机和控制器板,确保板上只连接这一台电机,且该电机未连接其他电机。
- 串联电机线缆
将每台电机的3针线缆插入下一台电机。将 id=1 的肩部平移电机连接到控制器板,并把控制器板安装到机械臂底座。
- 移除支撑材料
移除所有3D打印部件上的支撑材料。使用小螺丝刀伸到支撑材料下方将其撬起。
- 为已放置的电机安装3针线缆
放置电机后,在继续组装前为每台电机安装一条3针线缆。
- 安装第一个电机的两个舵盘
安装两个电机舵盘,用一颗 M3x6mm 螺钉固定顶部舵盘,底部舵盘不需要螺钉。
- 放置第一个电机
将第一个电机放入底座。
- 固定第一个电机
用四颗 M2x6mm 螺钉固定电机,顶部两颗、底部两颗。
- 安装第一个电机支架
套上第一个电机支架,并用两颗 M2x6mm 螺钉固定,每侧一颗。
- 连接肩部零件
连接肩部零件。
- 拧紧肩部零件
用顶部四颗和底部四颗 M3x6mm 螺钉拧紧肩部零件。
- 添加肩部电机支架
添加肩部电机支架。
- 安装第二个电机的两个舵盘
安装两个电机舵盘,用一颗 M3x6mm 螺钉固定顶部舵盘,底部舵盘不需要螺钉。
- 从顶部滑入第二个电机
从顶部滑入第二个电机。
- 固定第二个电机
用四颗 M2x6mm 螺钉固定第二个电机。
- 连接上臂
每侧使用四颗 M3x6mm 螺钉连接上臂。
- 安装电机3的两个舵盘
安装两个电机舵盘,用一颗 M3x6mm 螺钉固定顶部舵盘,底部舵盘不需要螺钉。
- 插入并固定电机3
插入电机3,并用四颗 M2x6mm 螺钉固定。
- 连接前臂
每侧使用四颗 M3x6mm 螺钉将前臂连接到电机3。
- 安装电机4的两个舵盘
安装两个电机舵盘,用一颗 M3x6mm 螺钉固定顶部舵盘,底部舵盘不需要螺钉。
- 套上电机支架4
套上电机支架4。
- 滑入电机4
滑入电机4。
- 固定电机4
用四颗 M2x6mm 螺钉固定电机4。
- 将电机5装入手腕支架
将电机5插入手腕支架,并用两颗 M2x6mm 前侧螺钉固定。
- 安装手腕电机舵盘
只在手腕电机上安装一个电机舵盘,并用一颗 M3x6mm 舵盘螺钉固定。
- 将手腕固定到电机4
两侧各使用四颗 M3x6mm 螺钉,将手腕固定到电机4。
- 安装夹爪
使用4个M3x6mm螺钉,将夹爪安装到电机5,并连接到腕部的电机舵盘。
- 固定夹爪电机
插入夹爪电机,并在每一侧用2个M2x6mm螺钉固定。
- 安装夹爪电机舵盘
在夹爪电机上安装两个电机舵盘。上方舵盘使用一个M3x6mm螺钉固定,下方舵盘不需要螺钉。
- 安装夹爪爪片
安装夹爪爪片,并在两侧使用4个M3x6mm螺钉固定。
- 安装主臂支架
将主臂支架安装到腕部,并使用4个M3x6mm螺钉固定。
- 安装主臂手柄
使用1个M2x6mm螺钉,将手柄安装到主臂支架。
- 安装主臂夹爪电机
插入夹爪电机,每侧使用2个M2x6mm螺钉固定,并使用M3x6mm舵盘螺钉安装电机舵盘。
- 安装从臂扳机
使用4个M3x6mm螺钉安装从臂扳机。
- 按照装配指南组装
按照 Assembly Guide 装配自行采购并打印的 SO‑101。
- 选择按照指南完成组装
如果购买了套件,可以选择按照 Assembly Guide 完成组装。
- 组装 SO-101 机器人
按照侧边栏 Robots 下 SO-101 页面中的说明组装机器人。
- 对齐并安装网络摄像头
将网络摄像头推入摄像头支架顶部,对齐圆形关节孔。
- 用六角螺栓固定网络摄像头
将六角螺栓放入六角形孔,再把M2螺钉旋入摄像头支架顶部圆形关节的相对孔。
- 对齐摄像头支架上下两部分
将摄像头支架顶部推入底部,对齐顶部底面的直线关节线与底部顶面的直线关节线。
软件与固件
- 安装 Miniforge
下载适合你的操作系统和架构的 Miniforge 安装程序并运行。
- 创建 Conda 环境
使用 Python 3.12 创建一个名为 lerobot 的 conda 环境。
- 创建 UV 环境
作为 conda 的替代方案,使用 uv 安装 Python 3.12 并用它创建虚拟环境。
- 激活 Conda 环境
每次打开 shell 以使用 LeRobot 时,都要激活 lerobot conda 环境。
- 在 WSL Conda 中安装 evdev
在 WSL 中使用 conda 安装 LeRobot 时,还要从 conda-forge 渠道安装 evdev。
- 在 Linux 上激活环境
在 Linux 或 macOS 上,使用 LeRobot 前激活虚拟环境。
- 在 PowerShell 中激活环境
在 Windows PowerShell 中,使用 LeRobot 前激活虚拟环境。
- 在 WSL UV 中安装 evdev
在 WSL 中使用 uv 安装 LeRobot 时,安装 evdev 开发库和 evdev Python 包。
- 在 Ubuntu 或 Debian 上安装 FFmpeg
使用 apt 安装系统级 FFmpeg 软件包。
- 在 Apple Silicon macOS 上安装 FFmpeg
在运行 Apple Silicon 的 macOS 上使用 Homebrew 安装 FFmpeg。
- 使用 Conda 作为 FFmpeg 安装备用方案
系统级 FFmpeg 需要 PyTorch >= 2.10 和 TorchCodec >= 0.10。对于较旧的 PyTorch 版本,请通过 Conda 从 conda-forge 安装 FFmpeg。
- 克隆 LeRobot 仓库
克隆 LeRobot 仓库并进入该目录。
- 使用 pip 安装可编辑源码及附加组件
安装用于记录、回放和校准的核心脚本。training 附加组件安装策略训练依赖项,all 则安装全部内容。
- 使用 uv 安装可编辑源码及附加组件
使用 uv 安装核心脚本、训练组件和完整的可编辑安装。
- 安装 LeRobot 核心软件包
使用 pip 从 PyPI 安装 LeRobot 基础软件包。
- 使用 uv 安装 LeRobot 核心软件包
使用 uv 从 PyPI 安装 LeRobot 基础软件包。
- 添加所需的功能附加组件
选择与所需工作流对应的功能附加组件。使用 uv 时,将 pip install 替换为 uv pip install。
- 安装组合式工作流附加组件
安装 core_scripts 以进行记录、回放和校准。将 core_scripts 与 training 结合可进行记录和训练,也可安装全部附加组件。
- 安装特定的策略和硬件附加组件
根据需要安装 Pi0、SmolVLA、扩散策略、仿真环境或 Feetech 电机对应的附加组件。
- 安装 CUDA 12 版 PyTorch
当驱动程序仅支持 CUDA 12 时,使用 cu126 索引。该索引会安装 torch 2.14;继续使用 CUDA 12 时需使用 torch 2.14 或更旧版本。
- 安装 CPU 版 TorchCodec
在 Linux 上,从 CPU 索引安装 TorchCodec,因为 PyPI 提供的是 CUDA 13 构建。对于低于 2.11 的 torch,请从 TorchCodec 兼容性表中选择匹配的版本。
- 安装 LeRobot 软件包
使用 all 附加项从源代码安装 LeRobot,或从 PyPI 安装已发布的软件包。
- 使用 uv 安装 LeRobot
使用 uv pip 和 cu126 后端,一次即可选择 PyTorch 索引并安装 LeRobot。
- 配置锁定的 CUDA 构建
uv sync 始终安装已提交的锁定文件。若要更改其中的 CUDA 构建,请在 pyproject.toml 的 tool.uv.index 和 tool.uv.sources 下添加索引,然后重新运行 uv lock。
- 安装构建依赖项
如果出现构建错误,使用 apt-get 安装列出的 Linux 系统依赖项,包括 cmake、build-essential、Python 开发头文件、pkg-config 和 FFmpeg 库。
- 安装 SO101 电机 extra
为 SO100、SO101 或 Moss 电机安装 feetech extra。dynamixel 和 feetech 都通过 rustypot 与电机通信。
- 打开本地 Trackio 仪表板
training extra 中已包含 Trackio。本地运行不需要账户或登录,运行数据存储在 ~/.cache/huggingface/trackio 下的本地 SQLite 数据库中。
- 设置 Space 隐私选项
除非组织默认设置为私有,否则新 Space 默认公开。传入 --trackio.private=true 可创建私有 Space。
- 控制控制台输出捕获
Trackio 会在仪表板的运行页面记录启动该运行的命令及其控制台输出,包括打印信息、日志和回溯。传入 --trackio.capture_console=false 可防止控制台输出进入运行记录。
- 生成 Hub 写入访问令牌
在 Hugging Face 设置页面生成写入访问令牌。
- 认证 Hugging Face CLI
使用 HUGGINGFACE_TOKEN 中的令牌运行 CLI 登录命令,并将其添加到 Git 凭据存储。
- 存储 Hugging Face 用户名
运行 whoami 命令并将显示的用户名存储在 HF_USER 中。录制示例使用此变量构成数据集仓库 ID。
- 配置 SO101 从臂
使用串行端口、从臂 ID、腕部摄像头和顶部摄像头配置 SO101Follower。两个 OpenCV 摄像头均使用 640×480 分辨率和 30 FPS。
- 配置 SO101 主臂
使用指定的串行端口和主臂 ID 配置 SO101Leader。示例使用 /dev/tty.usbmodem5AB90689011 和 my_leader_arm。
- 安装 Feetech SDK
如果 LeRobot 是从 PyPI 安装的,请改为运行 `pip install 'lerobot[feetech]'`。否则,使用 `pip install -e ".[feetech]"` 安装带 Feetech 扩展的可编辑软件包。
- 可视化 SO100 URDF
使用 rerun 和 URDF visualizer plugin 可视化 SO100 的 URDF 文件。运行命令打开 Simulation/SO100/so100.urdf。
- 可视化 SO101 URDF 文件
使用 rerun 和 URDF visualizer plugin 可视化 SO101 的 URDF 文件。运行命令打开新校准和旧校准的 URDF 文件。
- 配置顶置摄像头软件
在软件中添加顶置摄像头,并设置其分辨率和帧率。通用设置为30 FPS;分辨率为640 x 480, workspaces较宽时可使用1280 x 720。查看新摄像头的视频画面,应能看到机械臂工作区;必要时将屏幕分辨率调宽,以显示更多工作区。Mac也可使用QuickTime的“New Movie Recording”查看画面。
- 在软件中添加顶置摄像头
在软件中添加顶置摄像头,并设置分辨率和FPS。建议将分辨率设为640 × 480、FPS设为30,即使摄像头模块支持更高或更宽的设置。
- 设置分辨率和帧率
在软件中设置分辨率和FPS;通常建议使用640 x 480和30 FPS,因为大多数型号在较低分辨率下工作正常,而更高设置只会造成数据膨胀。
标定与测试
- 识别每个机械臂的 USB 端口
使用 USB 连接并通电 MotorBus,然后运行 `lerobot-find-port`。出现提示时断开相应的主动臂或从动臂,记录对应端口,并重新连接 USB 线。
- 授予 Linux USB 端口访问权限
在 Linux 上,如果需要访问已识别的 USB 端口,请使用文档中的权限命令。按照所示对 `/dev/ttyACM0` 和 `/dev/ttyACM1` 执行命令。
- 设置唯一 ID 和波特率
逐个连接每个电机并分配唯一 ID。控制器和所有电机应配置为相同波特率;这些设置存储在 EEPROM 中,只需配置一次。
- 连接从臂控制器
使用 USB 线将计算机连接到从臂控制板,并连接电源。
- 运行电机设置命令
运行 so101_follower 机器人的设置命令,将示例中的端口替换为上一步找到的端口。
- 通过 API 设置电机
使用从臂端口和用于命名从臂的 id 创建 SO101FollowerConfig,然后创建 follower 并调用 setup_motors()。
- 仅连接夹爪电机
出现提示时,仅将夹爪电机连接到控制板并按 Enter。不要将其与其他电机菊花链连接;脚本随后会设置其 ID 和波特率。
- 检查连接和跳线
如果出现错误,请检查电源、计算机与控制板之间的 USB 线,以及控制板到电机的 3 针线。使用 Waveshare 控制板时,应将两个跳线设置在 B 通道(USB)。
- 确认夹爪电机 ID
继续连接下一个电机前,检查设置程序是否报告夹爪电机 ID 已设置为 6。
- 连接腕滚转电机
按照指示,仅将控制板连接到 wrist_roll 电机并按 Enter,以设置其 ID 和波特率。
- 按指示依次设置每台电机
按指示对每台电机重复此操作。每次按 Enter 前检查线缆,包括电源线。
- 完成电机设置脚本
运行设置流程直到脚本结束。此后电机即可使用。
- 为Leader机械臂重复设置
为 Leader 机械臂执行相同的电机连接和设置步骤。
- 通过命令配置SO101 Leader
运行 SO101 Leader 的电机设置命令,并粘贴上一步找到的端口。
- 使用Python配置Leader
使用指定端口和 id 创建 SO101Leader,然后调用 setup_motors。示例使用 /dev/tty.usbmodem585A0076841 和 id my_awesome_leader_arm。
- 将从臂关节置于中位
移动从臂机器人,使所有关节处于其活动范围的中点。
- 运行从臂校准
使用从臂端口和唯一的机器人ID运行校准命令。文档还提供了使用SO101FollowerConfig和SO101Follower的API示例。
- 移动每个从臂关节
按下Enter后,将每个关节移动 through 其完整运动范围。
- 校准主臂
使用主臂校准命令或API示例,对主臂重复从臂校准步骤。
- 校准 SO-101 主臂
在 /dev/tty.usbmodem58760431551 连接主臂,将其标识为 my_awesome_leader_arm,然后运行校准。
- 在 Python 中运行主臂校准
使用指定的端口和 id 创建 SO101LeaderConfig,连接 SO101Leader 且不自动校准,调用 calibrate(),然后断开连接。
- 仅凭相机画面验证任务
检查自己能否仅通过查看相机图像完成该任务。
- 训练前检查节奏报告
在数据集上训练前,阅读每个回合和整个会话的节奏报告。
- 比较实际与目标节奏
将实际达到的频率与目标频率进行比较。以25 Hz运行的会话仍可能生成声称30 Hz的数据集,但记录的动作只是比现实更快。
- 检查节奏余量和瓶颈
检查节奏余量是否接近零;接近零表示循环已饱和。示例中,观察占工作的74.4%,最坏耗时40.20毫秒,而预算是33.3毫秒。
- 覆盖恢复作业的设置
作业设置来自当前命令,因此可按需覆盖 --job.target、--job.timeout 等设置。
- 将检查点保留在 Hub 上
保持 --save_checkpoint_to_hub=true,使恢复后的运行以后仍可再次恢复。
- 匹配已记录的机器人设置
使用与记录数据集相同的 --robot.id,以便找到其校准信息;同时使用相同的 --robot.cameras 和任务描述。
- 检查平台要求
在 Apple Silicon 上,PyTorch 需要 macOS 14 或更高版本,MPS 加速需要 macOS 15 或更高版本;macOS 14 会回退到 CPU。在 Linux 上,默认 PyTorch 轮子需要 NVIDIA 580.65 或更高版本的驱动;更旧的驱动需要使用 PyTorch CUDA 变体。
- 校准 SO-101 机器人
按照侧边栏 Robots 下 SO-101 页面中的说明校准机器人。
- 校准打印机和打印床
按照打印机专用说明完成打印机校准,并正确设置打印床的平整度。
- 开启机械臂并查看视频
开启机械臂并查看新安装摄像头的视频画面。在Mac上也可通过QuickTime的New Movie Recording查看该画面。
- 调节摄像头对焦
摄像头采用手动对焦,初始画面可能很模糊。顺时针或逆时针转动镜头,直到视频画面清晰。
- 检查摄像头视频画面
查看新安装摄像头的视频画面,应能看到机械臂的工作区域。在Mac上也可使用QuickTime的“New Movie Recording”查看。
- 配置软件并调整对焦
在软件中设置分辨率和帧率;即使摄像头模块支持更高规格,通常仍建议使用640 x 480分辨率和30 FPS,因为大多数模型在较低分辨率下运行效果更好,更高分辨率只会增加数据量。打开手臂并查看摄像头视频画面;如果画面最初模糊,可顺时针或逆时针旋转镜头,直到画面清晰。
采数据与训练
- 录制并上传五个回合
Adapt the example for the SO-101 follower and leader, their listed ports and IDs, and the front, wrist, and top OpenCV camera settings. Record 5 episodes for the task "Grab the black cube," display the data, and upload the dataset to ${HF_USER}/record-test with streaming encoding and 2 encoder threads.
- 创建 LeRobot 录制数据集
将机器人的动作和观察特征转换为数据集特征,然后使用指定的仓库 ID 和 30 FPS 创建 LeRobotDataset。示例启用视频,将机器人类型设为从臂名称,并使用四个图像写入线程。
- 连接机器人和遥操作设备
初始化键盘监听器和重放可视化,然后连接从臂机器人和 SO101 主臂遥操作设备。创建默认的遥操作动作、机器人动作和机器人观察处理器。
- 录制五个遥操作回合
运行录制循环,直到录制五个回合或触发停止录制事件。每个回合使用 30 FPS、60 秒控制时间、任务描述“My task description”,并启用数据显示。
- 在集之间重置环境
当录制尚未停止且需要下一个回合时,使用配置的 FPS、处理器、遥操作、控制时间和任务描述通过 record_loop 重置环境。
- 重新录制当前回合
请求重新录制时,清除回合缓冲区,重置重新录制和提前退出事件,然后继续下一次录制迭代。
- 保存每个录制的回合
将已完成的回合保存到数据集,并递增回合索引。
- 完成录制的数据集
记录完所有回合后完成数据集。
- 断开设备并推送数据集
停止录制,断开机器人和遥操作设备,并将数据集推送到 Hub。
- 保持相机名称一致
腕部和顶部相机名称分别成为 observation.images.wrist 和 observation.images.top。部署的策略需要相同的相机名称和分辨率,因此在整个教程中重复使用相同的 --robot.cameras 值。
- 使用带时间戳的数据集名称
lerobot-record 会将会话日期和时间附加到 --dataset.repo_id,生成诸如 record-test_20260929_143012 的唯一名称。
- 查找完整数据集名称
在 Hugging Face 个人页面上或通过列出本地 LeRobot 缓存目录来查找完整的时间戳数据集名称。
- 禁用自动数据集时间戳
添加 --dataset.no_stamp=true,以保留传递给 lerobot-record 的确切数据集仓库 ID。
- 定位本地数据集
本地数据集存储在 ~/.cache/huggingface/lerobot/{repo-id} 下。
- 将数据集上传到 Hub
数据录制结束时,数据集会上传到用户的 Hugging Face 页面。
- 打印已上传的数据集网址
使用带时间戳的数据集名称打印 Hugging Face 数据集网址。
- 添加数据集标签以便发现
数据集会自动带有 LeRobot 标签,也可以通过 --dataset.tags 添加 tutorial 等自定义标签。
- 手动推送本地数据集
也可以手动将本地数据集推送到 Hugging Face Hub。
- 上传录制的数据集
将本地录制数据上传到 Hugging Face 数据集仓库。
- 以 LeRobotDataset 格式存储录制数据
使用 lerobot-record 录制机器人操作数据;录制期间,数据以 LeRobotDataset 格式存储在磁盘上。
- 禁用数据集自动上传
如果不应上传数据集,启动录制时使用 --dataset.push_to_hub=False。
- 允许自动创建录制检查点
开始录制,并让 lerobot-record 在录制会话期间自动创建检查点。
- 恢复现有录制
使用 --resume=true 重新运行相同命令,通过 --dataset.repo_id 传入包含时间戳的完整数据集名称,将 --dataset.num_episodes 设置为额外录制的片段数量,并将 --dataset.root 设置为所需的本地路径。
- 开始新的带时间戳数据集
不使用 --resume=true 重新运行命令会创建带新时间戳的数据集。如果使用 --dataset.no_stamp=true,请先删除现有数据集目录。
- 配置录制时长和片段数量
将每个录制片段的 --dataset.episode_time_s 设置为 60,将环境重置的 --dataset.reset_time_s 设置为 60,并将总片段数 --dataset.num_episodes 设置为 50。
- 使用键盘快捷键控制录制
按右箭头或 n 可提前停止当前片段或重置时间并进入下一个;按左箭头或 r 可取消并重新录制当前片段;按 Escape 或 q 可立即停止会话、编码视频并上传数据集。
- 使用终端录制控制
在 Wayland、无头系统或缺少所需权限的 macOS 上,从交互式终端启动 lerobot-record 并保持终端聚焦,以使用 n、r 和 q。
- 选择抓取并放入箱子的任务
将不同位置抓取物体并放入箱子作为起始任务。
- 至少录制五十个回合
至少录制50个回合,每个物体位置录制10个回合。
- 保持录制过程一致
保持相机固定,并在整个录制过程中保持一致的抓取行为。
- 确保物体在画面中可见
确保正在操作的物体始终能在相机画面中看到。
- 进入神经网络训练
收集数据集后,进入神经网络训练部分。
- 逐渐增加变化
不要过快加入过多变化,因为这可能妨碍结果。
- 通过打印的链接打开第一个回合
在可视化工具主页输入仓库 ID,或使用打印的链接直接打开 episode_0。
- 登录以查看私有数据集
如果数据集是私有的,请在可视化工具中登录。
- 使用命令重放一个回合
使用 so101_follower 机器人类型、端口、机器人 ID、数据集仓库 ID 和回合编号运行重放命令。
- 使用 API 重放一个回合
将 episode_idx 设置为 0,配置并连接 SO101Follower,从数据集加载回合 0,选择 action 列,将每个动作发送给机器人,按照数据集的帧时间休眠,然后断开连接。
- 开始训练 ACT 策略
运行 lerobot-train,使用已记录的 SO-101 数据集、ACT 策略、输出目录、任务名称、CUDA 设备、Trackio 和策略仓库。
- 选择已记录的数据集
将 --dataset.repo_id 设置为数据集的完整名称,包括时间戳。
- 配置 ACT 策略
设置 policy.type=act。ACT 会加载 configuration_act.py,并自动适应数据集中的电机状态数、电机动作数和摄像头数量,例如腕部及顶部摄像头。
用起来
- 尝试 Colab 笔记本
尝试 LeRobot 的 Colab 笔记本。
- 备查 LeRobot 速查表
将速查表放在手边,其中集中列出了所有 LeRobot 命令。
- 在交互式终端中恢复录制控制
在 Linux 上,请在已聚焦的交互式 TTY 中运行 lerobot-record。使用方向键或 Escape,也可使用对应的 n / r /q;无需设置 $DISPLAY。
常见问题
数据集
物料
- STS3215 7.4V 舵机 12 个(一对;从动臂 6 个 1/345,主臂含 1/191 与 1/147 减速比)
- 电机控制板 2 块、USB‑C 线 2 根、电源 2 个
- 桌面夹具 4 个
- 3D 打印结构件(STL 公开,建议 PLA+、15% 填充)
工具
- 3D 打印机(或代打印服务)
- 十字螺丝刀 #0 与 #1
- 铲刀(取件)
技能
- Python 与命令行基础
- LeRobot 安装与标定
软件
- LeRobot(Hugging Face)