正在连接信源…

RoBart 大模型控制的 iPhone 平衡车机器人 复刻全流程

RoBart 大模型控制的 iPhone 平衡车机器人 从采购、打印、组装到装软件、标定和训练的 20 个步骤,附物料表、购买链接与官方出处。

创作者未给出造价或物料合计,README 只说初衷是用平衡车和 iPhone Pro 做一个便宜的移动底盘;另需一部 iPhone Pro,以及大模型与 Deepgram 的 API 用量

打印与加工

  • 打印手机支架和充电器外壳

    使用 parts/ 目录中的 STL 文件打印手机支架,以及容纳一个原装 Hover-1 H1 逻辑板的充电器外壳。

组装

  • 搭建 RoBart 车架

    用 2020 铝型材制作框架,将后脚轮和 iPhone 安装到框架上。

  • 安装垂直型材上的手机支架

    将 3D 打印的手机支架安装在垂直铝型材顶部,并连接手机支架。

  • 制作可拆卸式车架接头

    切割并接合铝型材,使用可拆卸塑料连接件连接,以便将 RoBart 放入汽车后备箱运输。

  • 连接电机、控制器和电池

    使用合适的连接器将电机连接到 RioRand 驱动板,用 Dupont 连接器将驱动板连接到 Feather,并用 XT60 分线线分配电池电源。

  • 组装电池充电器外壳

    将一个原装 Hover-1 H1 逻辑板装入 3D 打印的外壳,并将该组合作为电池充电器使用。

软件与固件

  • 使用 AnnotatingCamera 标注照片

    让相机拍照,并使用占据地图为照片添加可导航点。

  • 运行 Brain 语音任务代理

    启动 Brain,使其监听语音,并使用 RoBart 的全部功能和所选 LLM 尝试完成请求的任务。

  • 通过 BLE 连接电机控制器

    在 iOS 上使用 HoverboardController,通过 BLE 与 Arduino 固件通信,并发送范围为 -1.0 至 +1.0 的各电机油门值。

  • 启用 iOS 麦克风转录

    在设置界面输入 Deepgram API 密钥。iOS 应用使用 WebRTC VAD 检测人声,并将音频上传到 Deepgram 进行转录。

标定与测试

  • 验证电机断电看门狗

    验证 BLE 连接丢失或油门值在规定秒数内未更新时,看门狗会切断电机电源。PID 控制模式会持续发送油门更新,从而防止看门狗启动。

采数据与训练

  • 用可导航点标注 ARKit 照片

    让 AnnotatingCamera 捕获包含相机位姿和内参的 ARKit 照片,并使用 ARSessionManager 提供的地面高度,在机器人附近放置固定点。

  • 从 Apple Watch 传输语音

    使用 Watch 应用目标,让 Apple Watch 作为麦克风,并通过 Watch Connectivity 将音频流式传输到 iOS 应用。手动开始和停止录音,以提高可靠性。

用起来

  • 设置左右电机开环油门

    使用 drive 分别设置左、右电机油门值;该模式为开环控制。

  • 按角速度原地旋转

    使用 rotateInPlace 按给定角速度原地旋转;-1 表示左转全油门,+1 表示右转全油门,控制方式为开环。

  • 按指定角度原地旋转

    使用 rotateInPlaceBy,让机器人按指定度数原地旋转。

  • 朝向世界空间方向

    使用 face,让机器人原地旋转并朝向给定的世界空间方向向量。

  • 按米数向前行驶

    使用 driveForward,让机器人按指定的米数向前行驶。

  • 直线驶向世界空间位置

    使用 driveTo,先转向目标位置,再沿直线驶向给定的世界空间位置。

  • 保持朝向驶向目标位置

    使用 driveToFacing,在保持给定朝向的同时驶向指定位置;该命令适合倒车驶向目标点。

物料

  • Hover-1 H1 平衡车:拆掉外壳与原装电路,保留轮毂电机与 36V 电池;一块原装逻辑板装进打印外壳作充电器
  • 2020 铝型材车架、后万向轮与竖杆(中间用可拆的打印接头连接)
  • Adafruit Feather nRF52 Bluefruit LE、36V 转 3.3V 的 DC-DC 降压模块、RioRand 350W 无刷驱动板 ×2、杜邦线与 XT60 分线
  • parts/ 下的打印件:0° 与 15° 手机支架、外壳上下盖、型材接头与端盖、平衡车电路板安装板
  • iPhone Pro(README 用到它的 LiDAR),可选 Apple Watch

工具

  • 3D 打印机;切割铝型材(竖杆截断后用打印接头连接)
  • 装有 Xcode 的 Mac(从源码构建并安装 iOS App),Arduino IDE(刷 Feather 固件)

技能

  • 拆改平衡车、给无刷驱动板与 Feather 接线
  • Swift 与 iOS 开发(ARKit、RealityKit、Metal),在设置中配置模型与 API 密钥
  • 可选:用 Python 调试服务器发调试命令

软件

  • RoBart iOS App(GPL‑3.0):ARSessionManager(ARKit)、语音检测(WebRTC VAD 加 Deepgram)、HoverboardController(PID 轨迹)、NavigationController(占据栅格、粗略寻路、跟随最近的人)、AnnotatingCamera 与类 ReAct 的智能体 Brain
  • Feather 的 Arduino 固件(hoverboard/)、watchOS 遥控 App、Python 调试服务器(server/);webrtc-teleop 分支的网页遥操作客户端

文档