MindPaw 复刻全流程
MindPaw 从采购、打印、组装到装软件、标定和训练的 91 个步骤,附物料表、购买链接与官方出处。
MindPaw 是一款基于 ESP8266 的桌面四足机器狗,支持语音、手势识别、网页遥控和 AI 对话。仓库提供硬件清单、PCB 设计与原理图、3D 打印件、固件、接线及组装说明,可从零复刻整机。
打印与加工
- 打开待制造工程
在立创 EDA 中打开工程。
- 选择 Gerber 导出
选择“文件 → 制造 → Gerber 文件”。
- 检查导出的 Gerber
导出 ZIP,解压后检查层文件数量和板框。
- 提交 PCB 制造订单
将文件上传到 PCB 厂商,并确认板厚、铜厚、阻焊和数量。
- 打印测试脚座
将 `../3Dmodel/` 中的 STL 上传到打印服务,先打印一个 `foot.stl` 验证舵机安装尺寸。
- 修改电路或制作样机
如需修改电路或打样,阅读 `SCH&PCB/README.md`。
组装
- 逐个接入舵机
逐个接入舵机,并确认电源不会掉压。
- 加入其余模块
最后加入 HLK-V20、扬声器和 OV2640。
- 使用 3.3V 逻辑
ESP8266、OLED 和 OV2640 使用 3.3V 逻辑。
- 独立供电并共地
舵机使用独立 5V 供电,不能从 ESP8266 的 3.3V 引脚取电;所有模块必须共地。
- 设置 GPIO15 下拉
GPIO15/D8 必须使用 10KΩ 下拉,否则 ESP8266 可能无法启动。
- 遵守共享总线限制
OV2640 与舵机共享 SPI 信号时,SCK、MISO、MOSI 按接线文档串联 1KΩ。GPIO16/D0 用于舵机 2 和扬声器复用,改板前必须同步修改固件引脚定义。
- 预留启动电流余量
舵机启动电流可能导致复位,建议使用电流足够的 5V 电源和电容。
- 连接 HLK-V20 模块
使用 USB-TTL 连接 HLK-V20 模块。
- 连接 GPIO15 下拉电阻
在 GPIO15 与 GND 之间接入 10KΩ 下拉电阻,否则 ESP8266 无法启动。
- 为共享信号串联电阻
OV2640 的 SCK、MISO、MOSI 与舵机共用时,在线路中串联 1KΩ 电阻以防止信号冲突。
- 选择洞洞板手工焊接
可以用洞洞板(万用板)手焊代替 PCB;第一次制作建议手焊,成功后再打样。
- 用替代材料制作机身
不必使用 3D 打印外壳,可以用纸板、亚克力或积木搭建机器人身体。
- 选择并连接语音模块
LD3320 也可以连接,但需要 5 个 SPI 引脚;HLK-V20 只需要 1 个引脚,识别率更高,文档推荐使用 HLK-V20。
软件与固件
- 加入异步任务队列
加入异步任务队列,并使用 `request_id`。
- 加入设备与会话隔离
为设备或会话加入隔离机制。
- 加入状态感知路由
加入根据网络状态和电量进行路由的机制。
- 加入本地降级机制
加入本地 fallback,以及网络中断时的退化行为。
- 限制动作并设置有效期
加入动作白名单,并为动作设置过期时间。
- 加入语义缓存与去重
加入语义缓存和重复请求去重。
- 记录请求运行统计
统计请求耗时、成本、Token 数量和失败率。
- 创建本地环境配置
进入 `ai-infra` 目录,并将 `.env.example` 复制为 `.env`。
- 配置环境变量
编辑 `.env`,至少设置 `GATEWAY_TOKEN`、`AI_PROVIDER` 和上游配置。
- 安装依赖并启动网关
创建并激活 Python 虚拟环境,安装 `requirements.txt` 中的依赖,然后启动监听 `0.0.0.0:8000` 的 Uvicorn 网关。
- 使用 Docker 启动网关
也可以使用 Docker Compose 构建并以后台模式启动服务。
- 下载 SU-03T 配置工具
在电脑上下载 SU-03T 配置工具。
- 烧录并连接 MindPaw
烧录配置后断电,再将 HLK-V20 模块接到 MindPaw。
- 学习 Arduino 基本用法
先了解 Arduino 的基本用法,包括点亮 LED 和串口输出,再按文档逐步制作。
- 将开发板改为 ESP32
在 `platformio.ini` 中把 `board` 改为 `nodemcu-32s`。
- 重新调整 ESP32 引脚
按照 ESP32 的引脚情况重新调整引脚分配。
- 保留其余大部分代码
迁移到 ESP32 后,大部分现有代码无需修改。
- 安装依赖并启动服务
进入 ai-infra,安装 requirements.txt,然后启动 uvicorn 服务,监听 0.0.0.0:8001。
- 获取学生 ONNX 检查点
训练或下载蒸馏后的 ONNX 检查点,以启用真实学生模型。
- 放置学生模型权重
将 student.onnx 放在 ai-infra/recon/weights/student.onnx,或文档允许的其他位置。
- 配置模型权重环境变量
在 ai-infra/.env 中设置 RECON_WEIGHTS 为 student.onnx 的绝对路径,并设置 RECON_USE_GPU=true。
- 安装立创 EDA 专业版
安装立创 EDA 专业版。
- 打开硬件工程
在立创 EDA 中打开 `MindPaw_SCH&PCB.epro2`。
- 另存版本并记录引脚
修改前另存一个版本,并记录引脚变化。
- 修改动作表情和网页
从 `src/main.cpp` 和 `data/` 开始修改动作、表情或网页。
- 研究边缘云 AI 调度
如需研究边缘-云 AI 调度,阅读 `ai-infra/README.md`。
标定与测试
- 验证 NodeMCU 固件
使用 NodeMCU/ESP12F 和 USB-TTL 验证现成固件。
- 测试两路电源
先单独测试 3.3V 和 5V 电源。
- 连接并检查 OLED
接上 OLED,确认网页和表情正常。
- 检查原理图连接
查看原理图中的电源、ESP12F、舵机、摄像头和接口标号。
- 检查 PCB 预览
打开 PCB 预览,确认接口方向和安装孔位置。
- 检查原理图与 PCB 同步
确认原理图和 PCB 已同步更新。
- 检查电源轨隔离
检查 3.3V 与 5V 是否误短接。
- 检查舵机供电路径
确认舵机电源没有经过 ESP8266 稳压输出。
- 检查启动引脚条件
确认 GPIO0 和 GPIO15 的启动条件已满足。
- 核对接口与固件
确认 SPI、I2C 和 UART 与 `PIN_WIRING.md` 及固件一致。
- 运行固件构建
修改后确认仍能执行 `pio run`。
- 检查裸 PCB 电源
收到 PCB 后先不要安装舵机,使用万用表确认电源和地之间没有短路。
- 收集故障排查信息
无法判断问题时,在提交 Issue 时附上 PCB 版本、供电电压、串口日志、故障模块和清晰接线照片。
- 启用模拟 AI 提供方
没有云端 Key 时,在 `.env` 中设置 `AI_PROVIDER=mock`。
- 检查网关健康状态
请求本地网关的 `/healthz` 端点,检查网关是否正常响应。
- 测试聊天补全接口
向本地聊天补全接口发送一条“你好”消息,并使用 `test` 作为 Bearer 令牌。
- 连接真实 MindPaw 设备
确保网关主机与 MindPaw 的 STA 网络互通;`MindPaw` 热点仅用于控制页面。
- 打开设备 AI 配置页
在网关主机上打开 `http://192.168.4.1/aiconfig.html`。
- 填写 API 与网关设置
在 `API Key` 中填写网关的 `GATEWAY_TOKEN`,在 `推理端点 ID` 中填写 `mindpaw` 或实验中的模型名,并将 `AI Gateway 地址` 设为 `http://<网关IP>:8000/v1/chat/completions`。
- 选择 ESP8266 直连模式
将 Gateway 地址留空,即可恢复 ESP8266 直接连接豆包模式。
- 设置串口监视器
将串口监视器波特率设置为 115200,然后发送方向诊断命令。
- 测试 AI 串口命令
通过串口发送 `ai 你好` 和 `ai clear`,测试 AI 对话及清除命令。
- 识别串口日志模块
根据串口日志前缀识别模块:`DOUBAO` 对应 AI,`EMOTION` 对应情绪,`GESTURE_NN` 对应手势。
- 检查服务健康状态
在另一个 shell 中运行 health 请求,检查服务是否正常响应。
- 重启并确认真实模型
重启服务,然后请求 GET /healthz;健康状态应报告 using_mock 为 false。
- 添加语音命令
按照 Docs/07_API_Guide.md 的命令表添加 22 条语音命令。
- 确认 GPIO15 启动电平
确认 GPIO15 通过 10KΩ 电阻下拉到 GND,使启动时保持 LOW,避免 ESP8266 进入测试模式。
采数据与训练
- 测试云端直连基线
比较 ESP8266 直接访问云端的策略。
- 测试 Gateway 基线
比较所有任务都经过 Gateway 的策略。
- 测试固定切换策略
比较按照固定规则在本地与云端之间切换的策略。
- 测试延迟切换策略
比较只根据网络延迟选择执行位置的策略。
- 测试自适应策略
将自适应策略纳入基线策略比较。
- 记录真实机器人任务
记录真实的语音、手势、网页聊天和动作任务,而不是只使用合成请求。
- 报告端到端延迟
报告 P50、P95 和 P99 端到端延迟。
- 报告动作与模式失败率
报告动作成功率和 JSON Schema 失败率。
- 测量断网恢复时间
报告网络中断后的恢复时间。
- 报告各层能耗
报告 ESP8266、Gateway 和云端的能耗。
- 报告 Token 与任务成本
报告 Token 消耗和单次任务成本。
- 测试不同网络与并发条件
报告不同丢包率、RTT 和并发数下的表现。
- 保存完整实验材料
在 `experiments/` 目录中保存配置、网络轨迹、原始日志、绘图脚本和结果摘要。
- 确保实验可重复生成
确保论文结果能够使用 Docker 和固定随机种子重新生成。
- 输入一张测试帧
使用任意 JPG 图片,通过测试工具向识别服务输入一帧。
- 以五 FPS 持续输入
使用 --loop 参数持续输入任意 JPG 图片,文档注明流速为 5 FPS;按 Ctrl-C 停止。
- 填写数据加载器和损失函数
在 train_distill.py 中填写 ScanNet、7-Scenes、TUM 序列的数据加载器,并设置由 depth_L1、pose_geodesic、feature_cosine 组成的损失。
- 运行蒸馏训练脚手架
使用 PyTorch 和 GPU 运行 train_distill.py 脚手架,输出 ai-infra/recon/weights/student.onnx。
用起来
- 打开浏览器查看器
在浏览器中打开 recon_view.html,查看识别服务的输出。