正在连接信源…

T-Top 桌面社交辅助机器人 · 研究用开源桌面社交辅助机器人:Stewart 平台托起 7 英寸触屏脸部,底座可无限旋转,躯干内装 NVIDIA Jetson AGX、16 麦克风阵列、RGB‑D 与广角摄像头

研究用开源桌面社交辅助机器人:Stewart 平台托起 7 英寸触屏脸部,底座可无限旋转,躯干内装 NVIDIA Jetson AGX、16 麦克风阵列、RGB‑D 与广角摄像头 · IntRoLab(舍布鲁克大学智能 / 交互 / 集成 / 跨学科机器人实验室) · Intel RealSense D435i RG…

厂商
IntRoLab(舍布鲁克大学智能 / 交互 / 集成 / 跨学科机器人实验室)
形态
研究用开源桌面社交辅助机器人:Stewart 平台托起 7 英寸触屏脸部,底座可无限旋转,躯干内装 NVIDIA Jetson AGX、16 麦克风阵列、RGB‑D 与广角摄像头
面向
人机交互(HRI)研究者与实验室:README 称其用于提供更丰富的交互方式、在与人交互中发展更高认知能力;论文称其为高级 HRI 实验平台
传感器
Intel RealSense D435i RGB‑D 摄像头、Arducam AR0230 广角摄像头;16 个 xSoundsMicrophones 麦克风接 16SoundsUSB 声卡;7 英寸 1024×600 电容触摸屏;INA220 电流电压检测、4 个 ALS‑PT19 光线传感器、4 个按键;输出为 4 个 Dayton Audio DMA45‑8 扬声器(2 个 MAX9744 功放)与 LED 灯带(README)
联网与 App
Intel 8265 双频 Wi‑Fi 与 100 Mbps 以太网;无手机 App,开发者经 SSH 与 VS Code 远程连到机器人上的 ROS 2 Humble,用控制面板图形界面测试各项功能。云服务可选:语音转文字可用 Google Cloud 或本地 Faster Whisper,语音合成默认本地 Piper(可选 Google),对话可用 OpenAI API 或本地 Ollama;网真演示用 OpenTera,可独立运行或连舍布鲁克大学的 OpenTera 服务器
订阅
开源自建,无订阅;选用 OpenAI 或 Google Cloud 服务时由用户自付(chat 文档称 OpenAI API 为付费服务)
开放程度
README 的 Licensing 一节:源代码文件为 GPLv3(LICENSE_SOURCE_CODE),其余文件为 CC BY‑NC‑SA 4.0(LICENSE_OTHER,GitHub 识别为 NOASSERTION)。按这一划分,SolidWorks CAD、STL/DXF、KiCad PCB 与 Gerber、文档等非源代码文件只许为非商业目的复制、分享与改编,改编须同样以 BY‑NC‑SA 发布。仓库含 Teensy 固件、ROS 2 包、3 块自制 PCB 与 13 步装配文档;深度学习权重以 GitHub Release 发布(DNN_Weights_v4.1.0,2024‑05‑13)
隐私
带两个摄像头与 16 麦克风阵列。感知(人脸与人物识别、说话人识别、声音分类、Whisper 语音识别)可在 Jetson 上本地运行;选用 Google Cloud 语音转文字时音频发往 Google,选用 OpenAI 对话时文本发往 OpenAI(文档称 T-Top 的 Jetson 上已设置 OPENAI_API_KEY),可改用本地 Ollama。网真经 OpenTera WebRTC 传输音视频。
未说明
整机尺寸与重量、续航、物料总价、装配时长、适用年龄

厂商宣称

  • 开源桌面社交辅助机器人:网真、情绪表达、对话、问候、人脸跟随、跳舞与声源跟随
  • 16 麦克风阵列、RGB‑D 与广角摄像头,板载深度学习感知:SLAM、物体检测、姿态估计、人脸识别、说话人识别、语音转文字、声源定位
  • 团队已用它对老年人做探索性评估(HRI 2024 论文)
  • 源代码 GPLv3,CAD、PCB 与文档 CC BY‑NC‑SA 4.0(禁止商用)

零件

  • Teensy 4.0 · 控制云台电机与反馈
  • 8265 NGW · 提供双频无线网络连接
  • DMA45-8 · 播放机器人语音和音效
  • MAX9744 · 驱动扬声器并输出音频
  • AR0230 · 采集广角视觉图像
  • D435i · 采集彩色图像和深度数据
  • ALS-PT19 · 测量环境光照强度
  • INA220 · 测量电池电压和电流
  • XL430-W250 · 驱动云台和旋转底座
  • RRC-PMM240 · 为电池充电
  • RRC2054-2 · 为机器人供电
  • 16SoundsUSB · 将十六路麦克风连接至计算机
  • NF-A4x20 5V · 为车载处理器散热
零件与来源

出处