正在连接信源…

T-Top 桌面社交辅助机器人 复刻全流程

T-Top 桌面社交辅助机器人 从采购、打印、组装到装软件、标定和训练的 100 个步骤,附物料表、购买链接与官方出处。

不出售,无套件。BOM(00_ORDER_PRINT_LASER_CUTTING.md)只列数量与购买链接,不给单价与总价;最贵的部件包括 NVIDIA Jetson AGX Xavier 或 AGX Orin 开发者套件、Intel RealSense D435i 与 7 个 Dynamixel XL430‑W250‑T

物料 · Digi-Key

零件数量ANY
Audio Amplifier - Adafruit MAX9744 · X · X · 1 · 22
Robot Power Connector - Female · X · X · 1 · 11
Robot Power Connector - Male · X · X · 1 · 11
19V Power Adapter · X · X · 1 · 11
Computer Power Connector - Male · X · X · 1 · 11
Power Switch · X · X · 1 · 11
Micro USB Connector · X · X · 1 · 11
Ethernet Connector · X · X · 1 · 11
Jumper · X · 1 · 11
WiFi Antenna · X · 1 · 22
Intel RealSense D435i · X · X · 1 · 11
Standoff - M2x10mm · X · X · 1 · 44
Standoff - M2x15mm · X · X · 1 · 44
Standoff - M3x10mm · X · X · 1 · 88
Standoff - M3x25mm · X · X · 1 · 44
Standoff - M3x10mm - Plastic · X · X · 1 · 44
M3 Plastic Nuts · X · X · 1 · 44
JST B2P-VH · X · X · 1 · 22
JST VHR-2N · X · X · 1 · 22
JST SVH-21T-1.1 · X · X · 1 · 44
Push Button · X · X · 1 · 44
Light Sensor · X · X · 1 · 44

物料 · McMaster-Carr

零件数量ANY
Plastic Screw - M2x5mm · X · X · 25 · 14
Plastic Screw - M2.5x5mm · X · X · 25 · 14
Plastic Screw - M2.5x8mm · X · X · 25 · 352
Plastic Screw - M2.5x12mm · X · X · 25 · 16
Plastic Screw - M3x5mm · X · X · 25 · 368
Plastic Screw - M3x6mm · X · X · 25 · 116
Plastic Screw - M3x8mm · X · X · 25 · 250
Plastic Screw - M3x12mm · X · X · 25 · 484
Plastic Screw - M5x10mm · X · X · 25 · 13
Socket Cap Screw - M2x5mm · X · X · 100 · 14
Socket Cap Screw - M2x12mm · X · X · 100 · 128
Socket Cap Screw - M3x5mm · X · X · 100 · 118
Socket Cap Screw - M3x10mm · X · X · 100 · 16
Socket Cap Screw - M3x55mm · X · 1 · 44
Socket Cap Screw - M5x16mm · X · X · 100 · 16
Socket Cap Screw - M5x30mm · X · X · 10 · 13
M2 Nuts · X · X · 100 · 14
M3 Nuts · X · X · 100 · 110
M5 Washer · X · X · 100 · 118
Dowel Pin · X · X · 50 · 12
Small Spring · X · X · 5 · 14
Big Spring · X · X · 5 · 12
Diffuser Plastic Sheet · X · X · 1 · 11
Cast Acrylic Sheet · X · X · 1 · 11

采购

  • 没有 SOLIDWORKS 时打开 STEP 文件

    下载并打开 step/robot.STEP,以查看机器人装配模型。

  • 查看不含定制 PCB 的物料清单

    打开链接中的物料清单,以获取不含定制 PCB 的所需零件。

  • 购买机器人物料

    根据不含定制PCB的物料清单,从列出的供应商购买所需物品。机器人可使用Jetson AGX Xavier或Jetson AGX Orin。

  • 准备 T-Top 机器人

    准备一台配备 Jetson Orin AGX 或 Xavier AGX 的 T-Top 机器人,并运行 Jetpack 5.x.x。

打印与加工

  • 制造电源控制PCB

    根据Gerber文件制造PSU控制PCB。Gerber文件位于../../PCB/psu_control/gerber。

  • 制造Dynamixel控制PCB

    根据Gerber文件制造Dynamixel控制PCB。Gerber文件位于../../PCB/dynamixel_control/gerber。

  • 制造Buck-Boost PCB

    根据Gerber文件制造Buck-Boost PCB。Gerber文件位于../../PCB/psu_control/gerber。

  • 准备两种Buck-Boost PCB的共用元件

    为12V Buck-Boost PCB和19V Buck-Boost PCB准备Common部分列出的元件。

  • 准备12V Buck-Boost PCB专用元件

    另外准备12V Buck-Boost PCB所需的其他元件。

  • 准备19V Buck-Boost PCB专用元件

    另外准备19V Buck-Boost PCB所需的其他元件。

  • 3D打印机器人零件

    打印位于../../CAD/STL的3D打印零件,以组装机器人。

  • 切割亚克力零件

    使用6毫米厚的亚克力切割机器人所需的零件。切割文件位于../../CAD/DXF目录。

  • 按照指南进行 3D 打印

    打开链接中的 3D 打印指南,并按照其中的打印说明准备零件。

  • 按照指南进行激光切割

    打开链接中的激光切割指南,并按照其中的切割说明准备零件。

  • 取得 DXF 和 STL 制造文件

    从 CAD 文件夹取得 DXF 和 STL 制造文件。

  • 制造 PSU 控制 PCB

    使用 psu_control 文件夹中的 Gerber 文件制造控制并监测电池、音频放大器、风扇和 LED 的 PCB。

  • 制造 Dynamixel 控制 PCB

    使用 dynamixel_control 文件夹中的 Gerber 文件制造控制 Dynamixel 电机的 PCB。

  • 制造 Buck-Boost PCB

    使用 buck_boost 文件夹中的 Gerber 文件制造 Buck-Boost PCB。

软件与固件

  • 安装 Visual Studio Code

    在电脑上安装 Visual Studio Code,以便通过 SSH 在机器人上工作。

  • 安装 Remote - SSH 扩展

    在 Visual Studio Code 的 Extensions 标签页或菜单中安装 Remote - SSH 扩展。

  • 安装 ROS 扩展包

    在 Visual Studio Code 的 Extensions 标签页或菜单中安装 ROS extension pack。

  • 安装 Python 扩展

    在 Visual Studio Code 的 Extensions 标签页或菜单中安装 Python 扩展。

  • 安装 C/C++ 扩展

    在 Visual Studio Code 的 Extensions 标签页或菜单中安装 C/C++ 扩展。

  • 安装 CMake Tools 扩展

    在 Visual Studio Code 的 Extensions 标签页或菜单中安装 CMake Tools 扩展。

  • 创建并复制 SSH 密钥

    在电脑终端中进入 ~/.ssh,创建一个 ED25519 SSH 密钥对,并将公钥复制到机器人。若已配置 SSH 密钥,则跳过此步骤。

  • 测试 SSH 连接

    运行 SSH 命令并连接机器人;文档说明此时不应要求输入密码。

  • 打开 SSH 配置文件

    使用 nano 打开当前用户的 SSH 配置文件。

  • 添加 SSH 主机配置

    为 `ttop` 主机设置 `HostName`、`User` 和 `IdentityFile`,并将占位值替换为自己的值。

  • 使用 SSH 别名连接

    保存配置后,使用 `ssh ttop` 代替原来的完整 SSH 命令连接机器人。

  • 连接 ttop 主机

    选择 `Remote-SSH: Connect to Host...`,然后从列表中选择 `ttop`。

  • 打开 VS Code 终端

    连接后,从顶部菜单选择 `Terminal`,再选择 `New Terminal` 打开终端。

  • 创建工作区并克隆仓库

    创建 `~/t_top_ws/src` 工作区目录并进入该目录;如果目录已存在,则使用其他名称。示例随后通过带子模块的克隆命令获取 t-top 仓库。

  • 返回工作区根目录

    从 `~/t_top_ws/src` 返回工作区根目录 `~/t_top_ws`,以创建 colcon 配置文件。

  • 创建 colcon_defaults.yaml 文件

    在工作区根目录创建 `colcon_defaults.yaml` 文件。

  • 添加 colcon 默认配置

    设置 CMake 导出编译命令、忽略未使用的 CLI 参数、使用 `/usr/bin/python3`、采用 Debug 构建类型,并为 C++ 与 C 启用 `-march=native -ffast-math`;同时启用 `symlink-install`。

  • 复制 Jetson 示例配置

    进入 `~/t_top_ws`,将仓库中的 `colcon_defaults_jetson.yaml` 复制为工作区的 `colcon_defaults.yaml`。随后可在 nano 中按需修改该文件。

  • 构建 ROS 2 工作区

    进入工作区根目录,加载 ROS 2 Humble 环境,然后使用 colcon 构建工作区。

  • 加载 ROS 2 和工作区

    在 Visual Studio Code 中打开终端,进入 `~/t_top_ws`,并依次加载 ROS 2 Humble 和已构建工作区的环境。

  • 启动机器人控制面板

    从终端启动控制面板。该图形界面可显示机器人状态、控制机器人移动并与其传感器交互。

  • 连接到 ttop 主机

    选择 `Remote-SSH: Connect to Host...`,然后从列表中选择 `ttop`。

  • 打开机器人工作区

    连接后,从顶部菜单选择 `File`,再选择 `Open Folder...`。

  • 选择 t_top_ws 文件夹

    选择 `~/t_top_ws` 文件夹,然后点击“确定”。

  • 确认 colcon 默认文件

    确认 `colcon_defaults.yaml` 文件位于工作区根目录。

  • 安装所需的 VS Code 扩展

    确认已安装 CMake Tools、C/C++、Python 和 ROS 扩展。

  • 配置 ROS 和集成终端

    在工作区的 `.vscode/settings.json` 中配置 ROS 扩展和集成终端。

  • 打开 VS Code 集成终端

    在 Visual Studio Code 中,从顶部菜单选择 `Terminal`,再选择 `New Terminal`。

  • 构建机器人工作区

    在终端中运行 `colcon build` 来构建工作区。

  • 打开工作区文件夹

    按照前一节所述打开工作区文件夹。

  • 创建 launch.json 文件

    在 `.vscode` 文件夹中创建 `launch.json` 文件。

  • 添加 VS Code 启动配置

    打开 `launch.json` 文件,并添加文档中给出的 ROS 启动调试配置。将 `target` 替换为完整启动文件路径。

  • 设置 Debug 构建类型

    调试时,在 `colcon_defaults.yaml` 文件中将 `CMAKE_BUILD_TYPE` 设置为 `Debug`。

  • 设置 Python 解释器

    调试时,在 `colcon_defaults.yaml` 文件中将 `PYTHON_EXECUTABLE` 设置为 `/usr/bin/python3`。

  • 了解调试器会启动全部节点

    启动调试器时,启动文件中的所有节点都会启动,其他节点会一直运行直到断点被命中。可以创建一个只启动要调试节点的独立启动文件。

  • 安装 T-Top 依赖

    按照 T-Top 组装文档中的计算机配置指南安装依赖。

  • 克隆 OpenTera WebRTC ROS 仓库

    在工作区中克隆 opentera-webrtc-ros 仓库。

  • 安装 OpenTera 和 Python 依赖

    按照 opentera-webrtc-ros 文档安装 OpenTera 的系统依赖和 Python 依赖。

  • 构建 ROS 工作区

    使用 colcon build 构建 ROS 工作区。

  • 生成独立模式证书和密钥

    按照 CA 证书设置指南生成 CA 证书和密钥,以便在独立模式下启动。

标定与测试

  • 设置输出位置和文件名前缀

    将 output_directory 设置为保存录制文件的目录,将 filename_prefix 设置为录制文件名前缀。

  • 设置视频流参数

    设置 video_stream_name、video_stream_format、video_stream_width 和 video_stream_height;video_stream_format 使用 rgb8 或 bgr8。

  • 设置视频帧率和编码

    设置 video_stream_framerate、video_stream_codec、video_stream_bitrate、video_stream_delay_s 和 video_stream_language_code;视频编码器使用 h264、h265、vp8、vp9 或 av1。

  • 设置音频流参数

    设置 audio_stream_name、audio_stream_format、audio_stream_channel_count 和 audio_stream_sampling_frequency。

  • 设置音频编码和声道合并

    设置 audio_stream_codec、audio_stream_merge_channels 和 audio_stream_language_code;音频编码器使用 aac 或 mp3,audio_stream_merge_channels 为布尔值。

  • 控制录制状态

    使用 video_recorder/filter_state 服务启用或禁用录制,该服务类型为 hbba_lite_srvs/SetOnOffFilterState。

  • 设置 database_path 数据库路径参数

    将 database_path(string)设为 SQLite 数据库的路径。

  • 设置 frame_id 坐标系参数

    将 frame_id(string)设为数据库中位置与方向所使用的坐标系 id。

  • 配置 Google 节点参数

    将 `sampling_frequency` 设为 16000、`frame_sample_count` 设为 92、`request_frame_count` 设为 20,并将 `language` 设为 `en` 或 `fr`;这些是默认值。

  • 连接 Google 节点的音频输入

    将声音输入连接到 `audio_in` 话题,其消息类型为 `audio_utils_msgs/AudioFrame`。

  • 配置 Whisper 节点参数

    将 `language` 设为 `en` 或 `fr`,`model_size` 设为 `base.en`,`device` 设为 `cpu`,`compute_type` 设为 `float32`,`prebuffering_frame_count` 设为 4,`minimum_voice_sequence_size` 设为 8000;这些是默认值。

  • 选择 Whisper 模型大小

    可选择 `tiny`、`tiny.en`、`base`、`base.en`、`small`、`small.en`、`medium`、`medium.en`、`large` 或 `large.en`,默认值为 `base.en`。

  • 连接 Whisper 节点的声音输入

    将声音输入连接到 `audio_in`,并将语音活动检测器的输出连接到 `voice_activity`;两者分别使用 `audio_utils_msgs/AudioFrame` 和 `audio_utils_msgs/VoiceActivity` 消息类型。

  • 用 JSON 文件配置工具与初始上下文

    工具通过服务名和服务消息动态调用,可用一个 JSON 文件配置;初始上下文也可用另一个 JSON 文件配置。

采数据与训练

  • 录制图像与音频

    使用 video_recorder_node.py 录制一个图像主题和一个音频主题。

  • 连接图像录制主题

    订阅 video_{video_stream_name} 图像主题;其消息类型为 sensor_msgs/Image。

  • 连接音频录制主题

    订阅 audio_{audio_stream_name} 音频主题;其消息类型为 audio_utils_msgs/AudioFrame。

  • 订阅 video_analysis 与 audio_analysis 话题

    节点订阅 video_analysis(perception_msgs/VideoAnalysis,需含 3d 位置)和 audio_analysis(perception_msgs/AudioAnalysis,含音频类别、语音嵌入与声音方向)。

  • 订阅 talk/text 与语音转写话题

    节点还订阅 talk/text(talk/Text,机器人说的话)和 speech_to_text/transcript(perception_msgs/Transcript,人说的话)。

  • 按照帮助使用脚本

    按照帮助信息提供的用法运行 script.py。

用起来

  • 读取 Google 节点的文字输出

    从 `transcript` 话题读取识别出的文字,其消息类型为 `perception_msgs/Transcript`。

  • 启用或禁用 Google 处理

    使用 `audio_in/filter_state` 服务启用或禁用处理,该服务类型为 `hbba_lite_srvs/SetOnOffFilterState`。

  • 读取 Whisper 节点的文字输出

    从 `transcript` 话题读取识别出的文字,其消息类型为 `perception_msgs/Transcript`。

  • 启用或禁用 Whisper 处理

    使用 `audio_in/filter_state` 服务启用或禁用处理,该服务类型为 `hbba_lite_srvs/SetOnOffFilterState`。

  • 启动控制面板并测试机器人

    将显示重定向到机器人并启动控制面板,然后使用 GUI 中的多个选项卡测试机器人功能。

  • 通过控制面板运行机器人

    在终端中运行 `ros2 launch control_panel control_panel.launch.xml`,即可运行机器人。

  • 打开机器人独立界面

    在开发计算机上打开机器人局域网 IP 对应的独立界面。

  • 打开 OpenTera 服务器登录页

    在开发计算机上打开 OpenTera 登录页面,使用账户登录,然后选择要控制的机器人。

  • 查看 demos/chatbot 聊天机器人演示

    仓库的 demos/chatbot 文件夹中提供了一个聊天机器人演示应用,用于试用该聊天节点。

常见问题

  • 迁移天气 API 后仍保留旧依赖,导致演示无法运行。 #117
  • 感知分析节点存在重复回调,且类别配置不灵活。 #118
  • 智能音箱和家庭记录器演示无法运行。 #120
  • ODAS 输出缺少 VAD 前样本,降低短语音识别效果。 #127
  • 依赖安装流程分散,设置文档也缺少统一方法。 #115

物料

  • NVIDIA Jetson AGX Xavier 或 AGX Orin 开发者套件(SSD、Wi‑Fi 网卡等按版本区分);Teensy 4.0 电机 MCU 与 Teensy LC 电池 MCU
  • 7 个 Dynamixel XL430‑W250‑T(BOM):Stewart 平台(±3 cm 平移,x/y ±20°、z ±30°,6 根 M3×180 mm 螺杆连杆、12 个球头)与无限旋转底座(经 M220-24 滑环,BOM 标 36 线)
  • Intel RealSense D435i、Arducam AR0230 广角摄像头与镜头、16 个 xSoundsMicrophones + 16SoundsUSB 声卡
  • 7 英寸 1024×600 触摸屏、4 个 Dayton Audio DMA45‑8 扬声器与 2 个 MAX9744 功放、WS2812B LED 灯带、2 个 Noctua NF‑A4x20 5V 风扇
  • RRC2054‑2 电池与 RRC‑PMM240 充电模块、19 V 电源适配器;3 块自制 PCB(PSU 控制、Dynamixel 控制、Buck‑Boost,KiCad 与 Gerber)
  • 32 个 STL 打印文件(Xavier 与 Orin 各用一种躯干内支架,多为 1.2 mm 壁厚、25% 填充)与 1 块 6 mm 亚克力底盘(激光切割)

工具

  • 3D 打印机与激光切割机(或 CNC)
  • 螺丝刀、钳子、烙铁与焊锡、热风枪
  • JST XH 与 RJ12 压线钳、扎带、环氧胶、瞬干胶、蓝色螺纹胶
  • Micro USB 线与 12 V 电源(装配文档所列)

技能

  • 焊接与组装 3 块自制 PCB、压接 JST 与 RJ12 线束
  • Dynamixel 设置、Teensy 固件烧录与整机校准(文档第 3、12、13 步)
  • Jetson(JetPack 5)上的 ROS 2 Humble 与 colcon 构建,经 SSH 与 VS Code 远程开发

软件

  • ROS 2 感知包:视频与音频分析、人物识别、机器人名字检测、语音转文字(Google Cloud 或 Faster Whisper)、自身噪声抑制
  • 行为包:说话(Piper 或 Google 语音合成并驱动嘴型)、LLM 对话(OpenAI 或本地 Ollama,可调用工具)、人脸跟随、跳舞、探索、声源跟随、遥操作、LED 情绪
  • 演示:控制面板、智能音箱、OpenTera 网真、聊天机器人、四子棋实验、家庭记录;HBBA Lite 行为架构

文档