T-Top 桌面社交辅助机器人 · 研究用开源桌面社交辅助机器人:Stewart 平台托起 7 英寸触屏脸部,底座可无限旋转,躯干内装 NVIDIA Jetson AGX、16 麦克风阵列、RGB‑D 与广角摄像头
研究用开源桌面社交辅助机器人:Stewart 平台托起 7 英寸触屏脸部,底座可无限旋转,躯干内装 NVIDIA Jetson AGX、16 麦克风阵列、RGB‑D 与广角摄像头 · IntRoLab(舍布鲁克大学智能 / 交互 / 集成 / 跨学科机器人实验室) · Intel RealSense D435i RG…
- 厂商
- IntRoLab(舍布鲁克大学智能 / 交互 / 集成 / 跨学科机器人实验室)
- 形态
- 研究用开源桌面社交辅助机器人:Stewart 平台托起 7 英寸触屏脸部,底座可无限旋转,躯干内装 NVIDIA Jetson AGX、16 麦克风阵列、RGB‑D 与广角摄像头
- 面向
- 人机交互(HRI)研究者与实验室:README 称其用于提供更丰富的交互方式、在与人交互中发展更高认知能力;论文称其为高级 HRI 实验平台
- 传感器
- Intel RealSense D435i RGB‑D 摄像头、Arducam AR0230 广角摄像头;16 个 xSoundsMicrophones 麦克风接 16SoundsUSB 声卡;7 英寸 1024×600 电容触摸屏;INA220 电流电压检测、4 个 ALS‑PT19 光线传感器、4 个按键;输出为 4 个 Dayton Audio DMA45‑8 扬声器(2 个 MAX9744 功放)与 LED 灯带(README)
- 联网与 App
- Intel 8265 双频 Wi‑Fi 与 100 Mbps 以太网;无手机 App,开发者经 SSH 与 VS Code 远程连到机器人上的 ROS 2 Humble,用控制面板图形界面测试各项功能。云服务可选:语音转文字可用 Google Cloud 或本地 Faster Whisper,语音合成默认本地 Piper(可选 Google),对话可用 OpenAI API 或本地 Ollama;网真演示用 OpenTera,可独立运行或连舍布鲁克大学的 OpenTera 服务器
- 订阅
- 开源自建,无订阅;选用 OpenAI 或 Google Cloud 服务时由用户自付(chat 文档称 OpenAI API 为付费服务)
- 开放程度
- README 的 Licensing 一节:源代码文件为 GPLv3(LICENSE_SOURCE_CODE),其余文件为 CC BY‑NC‑SA 4.0(LICENSE_OTHER,GitHub 识别为 NOASSERTION)。按这一划分,SolidWorks CAD、STL/DXF、KiCad PCB 与 Gerber、文档等非源代码文件只许为非商业目的复制、分享与改编,改编须同样以 BY‑NC‑SA 发布。仓库含 Teensy 固件、ROS 2 包、3 块自制 PCB 与 13 步装配文档;深度学习权重以 GitHub Release 发布(DNN_Weights_v4.1.0,2024‑05‑13)
- 隐私
- 带两个摄像头与 16 麦克风阵列。感知(人脸与人物识别、说话人识别、声音分类、Whisper 语音识别)可在 Jetson 上本地运行;选用 Google Cloud 语音转文字时音频发往 Google,选用 OpenAI 对话时文本发往 OpenAI(文档称 T-Top 的 Jetson 上已设置 OPENAI_API_KEY),可改用本地 Ollama。网真经 OpenTera WebRTC 传输音视频。
- 未说明
- 整机尺寸与重量、续航、物料总价、装配时长、适用年龄
厂商宣称
- 开源桌面社交辅助机器人:网真、情绪表达、对话、问候、人脸跟随、跳舞与声源跟随
- 16 麦克风阵列、RGB‑D 与广角摄像头,板载深度学习感知:SLAM、物体检测、姿态估计、人脸识别、说话人识别、语音转文字、声源定位
- 团队已用它对老年人做探索性评估(HRI 2024 论文)
- 源代码 GPLv3,CAD、PCB 与文档 CC BY‑NC‑SA 4.0(禁止商用)
零件
- Teensy 4.0 · 控制云台电机与反馈
- 8265 NGW · 提供双频无线网络连接
- DMA45-8 · 播放机器人语音和音效
- MAX9744 · 驱动扬声器并输出音频
- AR0230 · 采集广角视觉图像
- D435i · 采集彩色图像和深度数据
- ALS-PT19 · 测量环境光照强度
- INA220 · 测量电池电压和电流
- XL430-W250 · 驱动云台和旋转底座
- RRC-PMM240 · 为电池充电
- RRC2054-2 · 为机器人供电
- 16SoundsUSB · 将十六路麦克风连接至计算机
- NF-A4x20 5V · 为车载处理器散热
出处
- github.com/introlab/t-top
- github.com/introlab/t-top/blob/ros2/LICENSE_OTHER
- github.com/introlab/t-top/blob/ros2/LICENSE_SOURCE_CODE
- github.com/introlab/t-top/blob/ros2/documentation/assembly/README.md
- github.com/introlab/t-top/blob/ros2/documentation/assembly/00_ORDER_PRINT_LASER_CUTTING.md
- github.com/introlab/t-top/blob/ros2/documentation/getting_started/README.md
- github.com/introlab/t-top/blob/ros2/ros/behaviors/chat/README.md
- github.com/introlab/t-top/blob/ros2/ros/behaviors/talk/README.md
- github.com/introlab/t-top/blob/ros2/ros/perceptions/speech_to_text/README.md
- github.com/introlab/t-top/blob/ros2/ros/demos/t_top_opentera/README.md
- github.com/introlab/t-top/releases
- youtube.com/watch?v=2jpqTp6jozc