JBR-001 开源桌面陪伴机器人 复刻全流程
JBR-001 开源桌面陪伴机器人 从采购、打印、组装到装软件、标定和训练的 77 个步骤,附物料表、购买链接与官方出处。
未见出售,无官方套件;官方未给物料总价。Arduino Project Hub 零件表只列 UNO Q 2GB、Modulino Distance、Modulino Motors、Modulino Buzzer 与 USB‑C 扩展坞各 1 个,不含摄像头、舵机、外接电源、线材与螺丝,也不给价格
采购
- 获取所列电子元件
使用 Arduino® UNO™ Q 2GB、Modulino™ Distance、Modulino™ Motors、Modulino™ Buzzer 和 Arduino USB-C Hub (8 in 1)。
组装
- 组装伺服头框
将 Frame_Head_Servo_Top、Frame_Head_Servo_Middle 和 Frame_Head_Servo_Bottom 组装成头部框架。
- 继续组装头部框架
按照图示继续完成 HEAD FRAME 的组装。
- 继续连接头部框架
按照图示继续连接并组装 HEAD FRAME。
- 完成头部框架连接
按照图示完成 HEAD FRAME 剩余的连接。
- 安装十八齿轮
将 Frame_Gear_18_teeth 安装到头部框架。
- 组装头部后框
组装 Frame_Head_Back_Bottom_Left、Frame_Head_Back_Bottom_Right、Frame_Head_Back_Top_Left 和 Frame_Head_Back_Top_Right。
- 组装头部前框
组装 Frame_Head_Front_Bottom_Left、Frame_Head_Front_Bottom_Right、Frame_Head_Front_Top_Left 和 Frame_Head_Front_Top_Right。
- 继续组装前后框架
按照图示继续组装头部的前后框架。
- 安装摄像头支架
将 Frame_Head_Camera_Holder 安装到头部框架。
- 组装机身框架
将 Frame_Cage_Body_Bottom 和 Frame_Cage_Body_Top 组装成机身框架。
- 继续组装机身框架
按照图示继续完成 BODY FRAME 的组装。
- 继续连接机身框架
按照图示继续连接并组装 BODY FRAME。
- 组装机身杆件和齿轮
组装 Frame_Pole_Barrel_Back、Frame_Pole_Barrel_Front、Frame_Pole_White 和 Frame_Gear_36_teeth。
- 安装头部后外壳
安装 Head_Back_White、Head_Back_Left_White 和 Head_Back_Right_White。
- 安装左右耳朵
安装 Head_Ear_Right_Blue 和 Head_Ear_Left_Blue。
- 安装天线和耳部按钮
安装 Head_Antenna_Cap_Left_Blue、Head_Antenna_Cap_Right_Blue、Head_Antenna_Left_White、Head_Antenna_Right_White、Head_Ear_Button_Left_White 和 Head_Ear_Button_Right_White。
- 安装头后蓝色圆环
将 Head_Back_Ring_Blue 安装到头部。
- 安装耳朵内侧件
安装 Head_Ear_Inside_Right_Blue 和 Head_Ear_Inside_Left_Blue。
- 安装摄像头镜头
将 Head_Camera_Lens_Black 和 Head_Camera_Lens_Ring_Blue 安装到摄像头框架。
- 安装头部前面板
将 Head_Front_White 安装到头部。
- 安装前后支架
安装 Frame_Holder_Back_Blue、Frame_Holder_Back_Cap_Left_Blue、Frame_Holder_Back_Cap_Right_Blue 和 Frame_Holder_Front_Blue。
- 连接头部和机身
按照图示将 HEAD AND BODY 连接起来。
- 继续连接头身组件
按照图示继续完成 HEAD AND BODY 的连接。
- 安装机身前面板
安装 Body_Frame_Front_White、Body_Logo_Left_Blue 和 Body_Logo_Right_Blue。
- 安装机身后框架
将 Body_Frame_Back_White 安装到机身。
- 组装两条腿
按照 LEGS x2 图示组装机器人的两条腿。
软件与固件
- 创建所需账户
创建 Edge Impulse 账户并建立项目,同时注册免费的 Vision Datasets 账户。
- 打开 Vision Datasets 控制面板
登录 Vision Datasets 控制面板。
- 查找项目 API 密钥
在 Edge Impulse 项目的 Dashboard → Keys → API Keys 中找到 API 密钥。
- 打开 Edge Impulse 项目
进入 Edge Impulse Studio,打开包含已上传数据集的项目。
- 使用 Edge Impulse API 密钥
在 Edge Impulse 项目中打开 Dashboard → Keys → API Keys,并使用其中的 API 密钥。
- 删除多余字符
删除输入值中多余的空格或字符。
- 生成新的 API 密钥
如果当前 API 密钥无法使用,请生成新的 API 密钥。
- 打开 Edge Impulse 控制台
在 Edge Impulse Studio 中进入 Dashboard。
- 加载机器人控制库
包含 JBR-001 源代码使用的 Servo、Modulino 和 Arduino_LED_Matrix 库。
- 配置头部和手臂舵机
为头部、左臂和右臂创建舵机对象。分别指定引脚 9、10 和 11,并将每个舵机的静止位置设为 90。
- 设置所有舵机中心位置
将头部、左臂和右臂的静止位置设为 90,并将右臂分配到引脚 11。
- 初始化机器人模块和显示屏
创建 Modulino 蜂鸣器和距离传感器对象,并初始化 Arduino LED 矩阵显示屏。
- 配置距离检测阈值
将物体检测距离设为 200.0,复位距离设为 250.0,并将物体检测状态初始设为 false。
- 定义显示屏心形图案
定义 8×13 的小型和大型心形位图,其方向与显示屏一致。
- 实现心跳动画
按照文档中的 120、100、160 和 700 毫秒时序,在 LED 矩阵上渲染大型和小型心形位图。
- 使用摄像头捕获图像
让摄像头捕获机器人前方环境的图像,并将这些图像交给计算机视觉工作流。
- 在 UNO Q 上运行模型
在 Arduino® UNO™ Q 上使用训练好的计算机视觉模型处理摄像头捕获的图像。
- 将模型部署到机器人
确认模型满意后,将其部署到机器人。
- 在 Arduino UNO Q 上运行模型
将训练好的 Edge Impulse 模型部署到 Arduino® UNO™ Q。使用 JBR-001 头部摄像头提供图像输入,让 UNO Q 运行推理并将预测结果返回给应用程序。
- 连接计算机视觉与机器人反应
在 Arduino® 应用程序中把模型预测映射为机器人行为,例如转头、抬臂、播放短音效和更改屏幕动画。不同 Modulino 可以触发不同反应,过程也可连续运行。
标定与测试
- 验证 Modulino 检测结果
将不同的 Modulino 放在摄像头前,并检查模型是否识别出所看到的模块。
- 用未见图像评估模型
训练完成后,使用 Edge Impulse 的模型测试工具评估模型在未参与训练的图像上的表现。
- 使用真实模块测试识别
将真实的 Modulino™ 放在 JBR-001 前方,检查模型能否识别它。
采数据与训练
- 查找相关的视觉数据集
浏览或搜索 Vision Datasets,以查找相关数据集。
- 查看数据集信息
查看说明、预览图像、图像数量、文件大小、类别、版本和许可证。
- 选择上传到 Edge Impulse
Click Upload to Edge Impulse on the selected dataset.
- 配置图像上传
在弹窗中设置图像数量、图像分辨率(例如 96×96、320×320 或 512×512),并选择一个或多个要包含的类别。
- 开始传输数据集
点击 Upload,将所选数据集开始传输到 Edge Impulse。
- 确认上传完成
查看上传完成后显示的成功确认信息。
- 进入 Data Acquisition
在 Edge Impulse 项目中进入 Data Acquisition。
- 验证上传的图像
检查已上传图像的每个所选类别标签是否正确,并核对所选分辨率和训练/测试划分。
- 浏览类别和子集
使用筛选器或搜索浏览特定类别或子集,并点击任意图像进行预览。
- 检查垃圾邮件文件夹
检查垃圾邮件文件夹中是否有邮件或代码。
- 确认邮箱地址
确保用于上传数据集的邮箱地址正确。
- 重新发送代码
根据需要重新发送代码,或使用其他邮箱地址。
- 设置边界框标注方式
在 Project info 卡片中,将 Labeling method 设置为 Bounding boxes (object detection),以正确显示标注。
- 使用公开的 Modulino 数据集
从 VisionDatasets.com 获取 Arduino® Modulino™ 数据集。该数据集包含不同位置、方向、背景和光照条件下的合成图像。
- 训练 Modulino 物体检测模型
使用 Modulino 数据集训练 JBR-001 的计算机视觉模型,使其识别 Arduino® Modulino™ 系列中的不同模块。
- 打开数据集并上传
Open the Arduino® Modulino™ dataset on VisionDatasets.com, then select Upload to Edge Impulse.
- 设置上传参数
输入 Edge Impulse 项目的 API 密钥,并选择图像数量、图像分辨率和要包含的 Modulino™ 类别。
- 确认图像已导入
上传完成后,图像会出现在 Edge Impulse 的 Data Acquisition 下,并已带有标签,可直接使用。
- 检查导入的数据
打开 Data Acquisition 并检查导入的图像,确认不同的 Modulino™ 类别表示正确,训练数据和测试数据符合预期。
- 创建并配置模型管线
创建一个 impulse,并为模型配置图像处理模块和学习模块。
- 训练视觉分类模型
使用导入的图像执行训练,让模型学习区分不同 Modulino 的视觉特征。
- 检查训练数据多样性
检查数据中是否包含不同的物体位置、旋转、背景、光照条件和其他变化,使模型在训练时接触更广泛的外观。
- 训练自己的视觉模型
选择要识别的工具、电子元件、日常物品或项目专用物体。将 VisionDatasets.com 的现成数据集直接导入 Edge Impulse,或创建并使用自己的训练数据,然后训练不同的模型。
用起来
- 连接检测结果与机器人输出
把检测结果连接到 JBR-001 的任意物理输出。计算机视觉模型决定可识别的物体,应用决定机器人的反应。
- 为检测结果设置机器人动作
根据检测结果让机器人转动头部或手臂、播放声音、改变显示,或将多个动作组合为一次反应。
- 训练模型识别其他物体
更换数据集并训练新模型,让 JBR-001 识别完全不同的物体。
- 组合多种检测与行为
训练新模型后无需更改 JBR-001 物理平台,只需决定机器人要识别什么以及检测到目标时执行什么。还可以组合多个检测结果,让它们分别触发不同的动作、声音和屏幕动画。
物料
- Arduino UNO Q 2GB(主控,驱动显示、传感器、蜂鸣器与舵机,并运行计算机视觉)
- 3 个舵机:头部 D9、左臂 D10、右臂 D11(型号未写),由外接舵机电源供电并与 UNO Q 共地
- 摄像头(头部,型号未写)与 Arduino 8 合 1 USB‑C 扩展坞
- Modulino Distance 与 Modulino Buzzer(Modulino 线串接);Project Hub 零件表另列 Modulino Motors 1 个
- 80 个 STL 打印件:机身、内部框架(含 18 齿与 36 齿齿轮)、头部、双臂与双腿;另需线材、螺丝与安装件
工具
- 桌面 3D 打印机(Project Hub 零件表)
- 可给 3 个舵机供电的外接电源
技能
- 按 35 页装配说明 PDF 或装配视频组装头部框架、机身、双腿与双手,装舵机时对准轴与活动件
- 按接线图接线:舵机外接电源并与 UNO Q 共地,摄像头经 USB‑C 扩展坞
- Arduino 编程(Servo、Modulino 与 LED 点阵库);可选在 Edge Impulse 训练目标检测模型并经 Arduino App Lab 部署
软件
- Arduino 示例程序:心跳动画(head-display)、问候音(buzzer)、距离触发问候(distance-and-buzzer)、舵机动作(servo-motors)、跳舞(dance)与完整程序(full-code)
- Arduino App Lab:在 UNO Q 上部署并运行 Edge Impulse 目标检测模型
- VisionDatasets.com 的 Arduino Modulino 合成数据集,可直接导入 Edge Impulse