T-Top 桌面社交辅助机器人 复刻全流程
T-Top 桌面社交辅助机器人 从采购、打印、组装到装软件、标定和训练的 100 个步骤,附物料表、购买链接与官方出处。
不出售,无套件。BOM(00_ORDER_PRINT_LASER_CUTTING.md)只列数量与购买链接,不给单价与总价;最贵的部件包括 NVIDIA Jetson AGX Xavier 或 AGX Orin 开发者套件、Intel RealSense D435i 与 7 个 Dynamixel XL430‑W250‑T
物料 · Digi-Key
| 零件 | 数量 | ANY |
|---|---|---|
| Audio Amplifier - Adafruit MAX9744 · X · X · 1 · 2 | 2 | |
| Robot Power Connector - Female · X · X · 1 · 1 | 1 | |
| Robot Power Connector - Male · X · X · 1 · 1 | 1 | |
| 19V Power Adapter · X · X · 1 · 1 | 1 | |
| Computer Power Connector - Male · X · X · 1 · 1 | 1 | |
| Power Switch · X · X · 1 · 1 | 1 | |
| Micro USB Connector · X · X · 1 · 1 | 1 | |
| Ethernet Connector · X · X · 1 · 1 | 1 | |
| Jumper · X · 1 · 1 | 1 | |
| WiFi Antenna · X · 1 · 2 | 2 | |
| Intel RealSense D435i · X · X · 1 · 1 | 1 | |
| Standoff - M2x10mm · X · X · 1 · 4 | 4 | |
| Standoff - M2x15mm · X · X · 1 · 4 | 4 | |
| Standoff - M3x10mm · X · X · 1 · 8 | 8 | |
| Standoff - M3x25mm · X · X · 1 · 4 | 4 | |
| Standoff - M3x10mm - Plastic · X · X · 1 · 4 | 4 | |
| M3 Plastic Nuts · X · X · 1 · 4 | 4 | |
| JST B2P-VH · X · X · 1 · 2 | 2 | |
| JST VHR-2N · X · X · 1 · 2 | 2 | |
| JST SVH-21T-1.1 · X · X · 1 · 4 | 4 | |
| Push Button · X · X · 1 · 4 | 4 | |
| Light Sensor · X · X · 1 · 4 | 4 |
物料 · McMaster-Carr
| 零件 | 数量 | ANY |
|---|---|---|
| Plastic Screw - M2x5mm · X · X · 25 · 1 | 4 | |
| Plastic Screw - M2.5x5mm · X · X · 25 · 1 | 4 | |
| Plastic Screw - M2.5x8mm · X · X · 25 · 3 | 52 | |
| Plastic Screw - M2.5x12mm · X · X · 25 · 1 | 6 | |
| Plastic Screw - M3x5mm · X · X · 25 · 3 | 68 | |
| Plastic Screw - M3x6mm · X · X · 25 · 1 | 16 | |
| Plastic Screw - M3x8mm · X · X · 25 · 2 | 50 | |
| Plastic Screw - M3x12mm · X · X · 25 · 4 | 84 | |
| Plastic Screw - M5x10mm · X · X · 25 · 1 | 3 | |
| Socket Cap Screw - M2x5mm · X · X · 100 · 1 | 4 | |
| Socket Cap Screw - M2x12mm · X · X · 100 · 1 | 28 | |
| Socket Cap Screw - M3x5mm · X · X · 100 · 1 | 18 | |
| Socket Cap Screw - M3x10mm · X · X · 100 · 1 | 6 | |
| Socket Cap Screw - M3x55mm · X · 1 · 4 | 4 | |
| Socket Cap Screw - M5x16mm · X · X · 100 · 1 | 6 | |
| Socket Cap Screw - M5x30mm · X · X · 10 · 1 | 3 | |
| M2 Nuts · X · X · 100 · 1 | 4 | |
| M3 Nuts · X · X · 100 · 1 | 10 | |
| M5 Washer · X · X · 100 · 1 | 18 | |
| Dowel Pin · X · X · 50 · 1 | 2 | |
| Small Spring · X · X · 5 · 1 | 4 | |
| Big Spring · X · X · 5 · 1 | 2 | |
| Diffuser Plastic Sheet · X · X · 1 · 1 | 1 | |
| Cast Acrylic Sheet · X · X · 1 · 1 | 1 |
采购
- 没有 SOLIDWORKS 时打开 STEP 文件
下载并打开 step/robot.STEP,以查看机器人装配模型。
- 查看不含定制 PCB 的物料清单
打开链接中的物料清单,以获取不含定制 PCB 的所需零件。
- 购买机器人物料
根据不含定制PCB的物料清单,从列出的供应商购买所需物品。机器人可使用Jetson AGX Xavier或Jetson AGX Orin。
- 准备 T-Top 机器人
准备一台配备 Jetson Orin AGX 或 Xavier AGX 的 T-Top 机器人,并运行 Jetpack 5.x.x。
打印与加工
- 制造电源控制PCB
根据Gerber文件制造PSU控制PCB。Gerber文件位于../../PCB/psu_control/gerber。
- 制造Dynamixel控制PCB
根据Gerber文件制造Dynamixel控制PCB。Gerber文件位于../../PCB/dynamixel_control/gerber。
- 制造Buck-Boost PCB
根据Gerber文件制造Buck-Boost PCB。Gerber文件位于../../PCB/psu_control/gerber。
- 准备两种Buck-Boost PCB的共用元件
为12V Buck-Boost PCB和19V Buck-Boost PCB准备Common部分列出的元件。
- 准备12V Buck-Boost PCB专用元件
另外准备12V Buck-Boost PCB所需的其他元件。
- 准备19V Buck-Boost PCB专用元件
另外准备19V Buck-Boost PCB所需的其他元件。
- 3D打印机器人零件
打印位于../../CAD/STL的3D打印零件,以组装机器人。
- 切割亚克力零件
使用6毫米厚的亚克力切割机器人所需的零件。切割文件位于../../CAD/DXF目录。
- 按照指南进行 3D 打印
打开链接中的 3D 打印指南,并按照其中的打印说明准备零件。
- 按照指南进行激光切割
打开链接中的激光切割指南,并按照其中的切割说明准备零件。
- 取得 DXF 和 STL 制造文件
从 CAD 文件夹取得 DXF 和 STL 制造文件。
- 制造 PSU 控制 PCB
使用 psu_control 文件夹中的 Gerber 文件制造控制并监测电池、音频放大器、风扇和 LED 的 PCB。
- 制造 Dynamixel 控制 PCB
使用 dynamixel_control 文件夹中的 Gerber 文件制造控制 Dynamixel 电机的 PCB。
- 制造 Buck-Boost PCB
使用 buck_boost 文件夹中的 Gerber 文件制造 Buck-Boost PCB。
软件与固件
- 安装 Visual Studio Code
在电脑上安装 Visual Studio Code,以便通过 SSH 在机器人上工作。
- 安装 Remote - SSH 扩展
在 Visual Studio Code 的 Extensions 标签页或菜单中安装 Remote - SSH 扩展。
- 安装 ROS 扩展包
在 Visual Studio Code 的 Extensions 标签页或菜单中安装 ROS extension pack。
- 安装 Python 扩展
在 Visual Studio Code 的 Extensions 标签页或菜单中安装 Python 扩展。
- 安装 C/C++ 扩展
在 Visual Studio Code 的 Extensions 标签页或菜单中安装 C/C++ 扩展。
- 安装 CMake Tools 扩展
在 Visual Studio Code 的 Extensions 标签页或菜单中安装 CMake Tools 扩展。
- 创建并复制 SSH 密钥
在电脑终端中进入 ~/.ssh,创建一个 ED25519 SSH 密钥对,并将公钥复制到机器人。若已配置 SSH 密钥,则跳过此步骤。
- 测试 SSH 连接
运行 SSH 命令并连接机器人;文档说明此时不应要求输入密码。
- 打开 SSH 配置文件
使用 nano 打开当前用户的 SSH 配置文件。
- 添加 SSH 主机配置
为 `ttop` 主机设置 `HostName`、`User` 和 `IdentityFile`,并将占位值替换为自己的值。
- 使用 SSH 别名连接
保存配置后,使用 `ssh ttop` 代替原来的完整 SSH 命令连接机器人。
- 连接 ttop 主机
选择 `Remote-SSH: Connect to Host...`,然后从列表中选择 `ttop`。
- 打开 VS Code 终端
连接后,从顶部菜单选择 `Terminal`,再选择 `New Terminal` 打开终端。
- 创建工作区并克隆仓库
创建 `~/t_top_ws/src` 工作区目录并进入该目录;如果目录已存在,则使用其他名称。示例随后通过带子模块的克隆命令获取 t-top 仓库。
- 返回工作区根目录
从 `~/t_top_ws/src` 返回工作区根目录 `~/t_top_ws`,以创建 colcon 配置文件。
- 创建 colcon_defaults.yaml 文件
在工作区根目录创建 `colcon_defaults.yaml` 文件。
- 添加 colcon 默认配置
设置 CMake 导出编译命令、忽略未使用的 CLI 参数、使用 `/usr/bin/python3`、采用 Debug 构建类型,并为 C++ 与 C 启用 `-march=native -ffast-math`;同时启用 `symlink-install`。
- 复制 Jetson 示例配置
进入 `~/t_top_ws`,将仓库中的 `colcon_defaults_jetson.yaml` 复制为工作区的 `colcon_defaults.yaml`。随后可在 nano 中按需修改该文件。
- 构建 ROS 2 工作区
进入工作区根目录,加载 ROS 2 Humble 环境,然后使用 colcon 构建工作区。
- 加载 ROS 2 和工作区
在 Visual Studio Code 中打开终端,进入 `~/t_top_ws`,并依次加载 ROS 2 Humble 和已构建工作区的环境。
- 启动机器人控制面板
从终端启动控制面板。该图形界面可显示机器人状态、控制机器人移动并与其传感器交互。
- 连接到 ttop 主机
选择 `Remote-SSH: Connect to Host...`,然后从列表中选择 `ttop`。
- 打开机器人工作区
连接后,从顶部菜单选择 `File`,再选择 `Open Folder...`。
- 选择 t_top_ws 文件夹
选择 `~/t_top_ws` 文件夹,然后点击“确定”。
- 确认 colcon 默认文件
确认 `colcon_defaults.yaml` 文件位于工作区根目录。
- 安装所需的 VS Code 扩展
确认已安装 CMake Tools、C/C++、Python 和 ROS 扩展。
- 配置 ROS 和集成终端
在工作区的 `.vscode/settings.json` 中配置 ROS 扩展和集成终端。
- 打开 VS Code 集成终端
在 Visual Studio Code 中,从顶部菜单选择 `Terminal`,再选择 `New Terminal`。
- 构建机器人工作区
在终端中运行 `colcon build` 来构建工作区。
- 打开工作区文件夹
按照前一节所述打开工作区文件夹。
- 创建 launch.json 文件
在 `.vscode` 文件夹中创建 `launch.json` 文件。
- 添加 VS Code 启动配置
打开 `launch.json` 文件,并添加文档中给出的 ROS 启动调试配置。将 `target` 替换为完整启动文件路径。
- 设置 Debug 构建类型
调试时,在 `colcon_defaults.yaml` 文件中将 `CMAKE_BUILD_TYPE` 设置为 `Debug`。
- 设置 Python 解释器
调试时,在 `colcon_defaults.yaml` 文件中将 `PYTHON_EXECUTABLE` 设置为 `/usr/bin/python3`。
- 了解调试器会启动全部节点
启动调试器时,启动文件中的所有节点都会启动,其他节点会一直运行直到断点被命中。可以创建一个只启动要调试节点的独立启动文件。
- 安装 T-Top 依赖
按照 T-Top 组装文档中的计算机配置指南安装依赖。
- 克隆 OpenTera WebRTC ROS 仓库
在工作区中克隆 opentera-webrtc-ros 仓库。
- 安装 OpenTera 和 Python 依赖
按照 opentera-webrtc-ros 文档安装 OpenTera 的系统依赖和 Python 依赖。
- 构建 ROS 工作区
使用 colcon build 构建 ROS 工作区。
- 生成独立模式证书和密钥
按照 CA 证书设置指南生成 CA 证书和密钥,以便在独立模式下启动。
标定与测试
- 设置输出位置和文件名前缀
将 output_directory 设置为保存录制文件的目录,将 filename_prefix 设置为录制文件名前缀。
- 设置视频流参数
设置 video_stream_name、video_stream_format、video_stream_width 和 video_stream_height;video_stream_format 使用 rgb8 或 bgr8。
- 设置视频帧率和编码
设置 video_stream_framerate、video_stream_codec、video_stream_bitrate、video_stream_delay_s 和 video_stream_language_code;视频编码器使用 h264、h265、vp8、vp9 或 av1。
- 设置音频流参数
设置 audio_stream_name、audio_stream_format、audio_stream_channel_count 和 audio_stream_sampling_frequency。
- 设置音频编码和声道合并
设置 audio_stream_codec、audio_stream_merge_channels 和 audio_stream_language_code;音频编码器使用 aac 或 mp3,audio_stream_merge_channels 为布尔值。
- 控制录制状态
使用 video_recorder/filter_state 服务启用或禁用录制,该服务类型为 hbba_lite_srvs/SetOnOffFilterState。
- 设置 database_path 数据库路径参数
将 database_path(string)设为 SQLite 数据库的路径。
- 设置 frame_id 坐标系参数
将 frame_id(string)设为数据库中位置与方向所使用的坐标系 id。
- 配置 Google 节点参数
将 `sampling_frequency` 设为 16000、`frame_sample_count` 设为 92、`request_frame_count` 设为 20,并将 `language` 设为 `en` 或 `fr`;这些是默认值。
- 连接 Google 节点的音频输入
将声音输入连接到 `audio_in` 话题,其消息类型为 `audio_utils_msgs/AudioFrame`。
- 配置 Whisper 节点参数
将 `language` 设为 `en` 或 `fr`,`model_size` 设为 `base.en`,`device` 设为 `cpu`,`compute_type` 设为 `float32`,`prebuffering_frame_count` 设为 4,`minimum_voice_sequence_size` 设为 8000;这些是默认值。
- 选择 Whisper 模型大小
可选择 `tiny`、`tiny.en`、`base`、`base.en`、`small`、`small.en`、`medium`、`medium.en`、`large` 或 `large.en`,默认值为 `base.en`。
- 连接 Whisper 节点的声音输入
将声音输入连接到 `audio_in`,并将语音活动检测器的输出连接到 `voice_activity`;两者分别使用 `audio_utils_msgs/AudioFrame` 和 `audio_utils_msgs/VoiceActivity` 消息类型。
- 用 JSON 文件配置工具与初始上下文
工具通过服务名和服务消息动态调用,可用一个 JSON 文件配置;初始上下文也可用另一个 JSON 文件配置。
采数据与训练
- 录制图像与音频
使用 video_recorder_node.py 录制一个图像主题和一个音频主题。
- 连接图像录制主题
订阅 video_{video_stream_name} 图像主题;其消息类型为 sensor_msgs/Image。
- 连接音频录制主题
订阅 audio_{audio_stream_name} 音频主题;其消息类型为 audio_utils_msgs/AudioFrame。
- 订阅 video_analysis 与 audio_analysis 话题
节点订阅 video_analysis(perception_msgs/VideoAnalysis,需含 3d 位置)和 audio_analysis(perception_msgs/AudioAnalysis,含音频类别、语音嵌入与声音方向)。
- 订阅 talk/text 与语音转写话题
节点还订阅 talk/text(talk/Text,机器人说的话)和 speech_to_text/transcript(perception_msgs/Transcript,人说的话)。
- 按照帮助使用脚本
按照帮助信息提供的用法运行 script.py。
用起来
- 读取 Google 节点的文字输出
从 `transcript` 话题读取识别出的文字,其消息类型为 `perception_msgs/Transcript`。
- 启用或禁用 Google 处理
使用 `audio_in/filter_state` 服务启用或禁用处理,该服务类型为 `hbba_lite_srvs/SetOnOffFilterState`。
- 读取 Whisper 节点的文字输出
从 `transcript` 话题读取识别出的文字,其消息类型为 `perception_msgs/Transcript`。
- 启用或禁用 Whisper 处理
使用 `audio_in/filter_state` 服务启用或禁用处理,该服务类型为 `hbba_lite_srvs/SetOnOffFilterState`。
- 启动控制面板并测试机器人
将显示重定向到机器人并启动控制面板,然后使用 GUI 中的多个选项卡测试机器人功能。
- 通过控制面板运行机器人
在终端中运行 `ros2 launch control_panel control_panel.launch.xml`,即可运行机器人。
- 打开机器人独立界面
在开发计算机上打开机器人局域网 IP 对应的独立界面。
- 打开 OpenTera 服务器登录页
在开发计算机上打开 OpenTera 登录页面,使用账户登录,然后选择要控制的机器人。
- 查看 demos/chatbot 聊天机器人演示
仓库的 demos/chatbot 文件夹中提供了一个聊天机器人演示应用,用于试用该聊天节点。
常见问题
物料
- NVIDIA Jetson AGX Xavier 或 AGX Orin 开发者套件(SSD、Wi‑Fi 网卡等按版本区分);Teensy 4.0 电机 MCU 与 Teensy LC 电池 MCU
- 7 个 Dynamixel XL430‑W250‑T(BOM):Stewart 平台(±3 cm 平移,x/y ±20°、z ±30°,6 根 M3×180 mm 螺杆连杆、12 个球头)与无限旋转底座(经 M220-24 滑环,BOM 标 36 线)
- Intel RealSense D435i、Arducam AR0230 广角摄像头与镜头、16 个 xSoundsMicrophones + 16SoundsUSB 声卡
- 7 英寸 1024×600 触摸屏、4 个 Dayton Audio DMA45‑8 扬声器与 2 个 MAX9744 功放、WS2812B LED 灯带、2 个 Noctua NF‑A4x20 5V 风扇
- RRC2054‑2 电池与 RRC‑PMM240 充电模块、19 V 电源适配器;3 块自制 PCB(PSU 控制、Dynamixel 控制、Buck‑Boost,KiCad 与 Gerber)
- 32 个 STL 打印文件(Xavier 与 Orin 各用一种躯干内支架,多为 1.2 mm 壁厚、25% 填充)与 1 块 6 mm 亚克力底盘(激光切割)
工具
- 3D 打印机与激光切割机(或 CNC)
- 螺丝刀、钳子、烙铁与焊锡、热风枪
- JST XH 与 RJ12 压线钳、扎带、环氧胶、瞬干胶、蓝色螺纹胶
- Micro USB 线与 12 V 电源(装配文档所列)
技能
- 焊接与组装 3 块自制 PCB、压接 JST 与 RJ12 线束
- Dynamixel 设置、Teensy 固件烧录与整机校准(文档第 3、12、13 步)
- Jetson(JetPack 5)上的 ROS 2 Humble 与 colcon 构建,经 SSH 与 VS Code 远程开发
软件
- ROS 2 感知包:视频与音频分析、人物识别、机器人名字检测、语音转文字(Google Cloud 或 Faster Whisper)、自身噪声抑制
- 行为包:说话(Piper 或 Google 语音合成并驱动嘴型)、LLM 对话(OpenAI 或本地 Ollama,可调用工具)、人脸跟随、跳舞、探索、声源跟随、遥操作、LED 情绪
- 演示:控制面板、智能音箱、OpenTera 网真、聊天机器人、四子棋实验、家庭记录;HBBA Lite 行为架构