正在连接信源…

MindPaw 复刻全流程

MindPaw 从采购、打印、组装到装软件、标定和训练的 91 个步骤,附物料表、购买链接与官方出处。

MindPaw 是一款基于 ESP8266 的桌面四足机器狗,支持语音、手势识别、网页遥控和 AI 对话。仓库提供硬件清单、PCB 设计与原理图、3D 打印件、固件、接线及组装说明,可从零复刻整机。

打印与加工

  • 打开待制造工程

    在立创 EDA 中打开工程。

  • 选择 Gerber 导出

    选择“文件 → 制造 → Gerber 文件”。

  • 检查导出的 Gerber

    导出 ZIP,解压后检查层文件数量和板框。

  • 提交 PCB 制造订单

    将文件上传到 PCB 厂商,并确认板厚、铜厚、阻焊和数量。

  • 打印测试脚座

    将 `../3Dmodel/` 中的 STL 上传到打印服务,先打印一个 `foot.stl` 验证舵机安装尺寸。

  • 修改电路或制作样机

    如需修改电路或打样,阅读 `SCH&PCB/README.md`。

组装

  • 逐个接入舵机

    逐个接入舵机,并确认电源不会掉压。

  • 加入其余模块

    最后加入 HLK-V20、扬声器和 OV2640。

  • 使用 3.3V 逻辑

    ESP8266、OLED 和 OV2640 使用 3.3V 逻辑。

  • 独立供电并共地

    舵机使用独立 5V 供电,不能从 ESP8266 的 3.3V 引脚取电;所有模块必须共地。

  • 设置 GPIO15 下拉

    GPIO15/D8 必须使用 10KΩ 下拉,否则 ESP8266 可能无法启动。

  • 遵守共享总线限制

    OV2640 与舵机共享 SPI 信号时,SCK、MISO、MOSI 按接线文档串联 1KΩ。GPIO16/D0 用于舵机 2 和扬声器复用,改板前必须同步修改固件引脚定义。

  • 预留启动电流余量

    舵机启动电流可能导致复位,建议使用电流足够的 5V 电源和电容。

  • 连接 HLK-V20 模块

    使用 USB-TTL 连接 HLK-V20 模块。

  • 连接 GPIO15 下拉电阻

    在 GPIO15 与 GND 之间接入 10KΩ 下拉电阻,否则 ESP8266 无法启动。

  • 为共享信号串联电阻

    OV2640 的 SCK、MISO、MOSI 与舵机共用时,在线路中串联 1KΩ 电阻以防止信号冲突。

  • 选择洞洞板手工焊接

    可以用洞洞板(万用板)手焊代替 PCB;第一次制作建议手焊,成功后再打样。

  • 用替代材料制作机身

    不必使用 3D 打印外壳,可以用纸板、亚克力或积木搭建机器人身体。

  • 选择并连接语音模块

    LD3320 也可以连接,但需要 5 个 SPI 引脚;HLK-V20 只需要 1 个引脚,识别率更高,文档推荐使用 HLK-V20。

软件与固件

  • 加入异步任务队列

    加入异步任务队列,并使用 `request_id`。

  • 加入设备与会话隔离

    为设备或会话加入隔离机制。

  • 加入状态感知路由

    加入根据网络状态和电量进行路由的机制。

  • 加入本地降级机制

    加入本地 fallback,以及网络中断时的退化行为。

  • 限制动作并设置有效期

    加入动作白名单,并为动作设置过期时间。

  • 加入语义缓存与去重

    加入语义缓存和重复请求去重。

  • 记录请求运行统计

    统计请求耗时、成本、Token 数量和失败率。

  • 创建本地环境配置

    进入 `ai-infra` 目录,并将 `.env.example` 复制为 `.env`。

  • 配置环境变量

    编辑 `.env`,至少设置 `GATEWAY_TOKEN`、`AI_PROVIDER` 和上游配置。

  • 安装依赖并启动网关

    创建并激活 Python 虚拟环境,安装 `requirements.txt` 中的依赖,然后启动监听 `0.0.0.0:8000` 的 Uvicorn 网关。

  • 使用 Docker 启动网关

    也可以使用 Docker Compose 构建并以后台模式启动服务。

  • 下载 SU-03T 配置工具

    在电脑上下载 SU-03T 配置工具。

  • 烧录并连接 MindPaw

    烧录配置后断电,再将 HLK-V20 模块接到 MindPaw。

  • 学习 Arduino 基本用法

    先了解 Arduino 的基本用法,包括点亮 LED 和串口输出,再按文档逐步制作。

  • 将开发板改为 ESP32

    在 `platformio.ini` 中把 `board` 改为 `nodemcu-32s`。

  • 重新调整 ESP32 引脚

    按照 ESP32 的引脚情况重新调整引脚分配。

  • 保留其余大部分代码

    迁移到 ESP32 后,大部分现有代码无需修改。

  • 安装依赖并启动服务

    进入 ai-infra,安装 requirements.txt,然后启动 uvicorn 服务,监听 0.0.0.0:8001。

  • 获取学生 ONNX 检查点

    训练或下载蒸馏后的 ONNX 检查点,以启用真实学生模型。

  • 放置学生模型权重

    将 student.onnx 放在 ai-infra/recon/weights/student.onnx,或文档允许的其他位置。

  • 配置模型权重环境变量

    在 ai-infra/.env 中设置 RECON_WEIGHTS 为 student.onnx 的绝对路径,并设置 RECON_USE_GPU=true。

  • 安装立创 EDA 专业版

    安装立创 EDA 专业版。

  • 打开硬件工程

    在立创 EDA 中打开 `MindPaw_SCH&PCB.epro2`。

  • 另存版本并记录引脚

    修改前另存一个版本,并记录引脚变化。

  • 修改动作表情和网页

    从 `src/main.cpp` 和 `data/` 开始修改动作、表情或网页。

  • 研究边缘云 AI 调度

    如需研究边缘-云 AI 调度,阅读 `ai-infra/README.md`。

标定与测试

  • 验证 NodeMCU 固件

    使用 NodeMCU/ESP12F 和 USB-TTL 验证现成固件。

  • 测试两路电源

    先单独测试 3.3V 和 5V 电源。

  • 连接并检查 OLED

    接上 OLED,确认网页和表情正常。

  • 检查原理图连接

    查看原理图中的电源、ESP12F、舵机、摄像头和接口标号。

  • 检查 PCB 预览

    打开 PCB 预览,确认接口方向和安装孔位置。

  • 检查原理图与 PCB 同步

    确认原理图和 PCB 已同步更新。

  • 检查电源轨隔离

    检查 3.3V 与 5V 是否误短接。

  • 检查舵机供电路径

    确认舵机电源没有经过 ESP8266 稳压输出。

  • 检查启动引脚条件

    确认 GPIO0 和 GPIO15 的启动条件已满足。

  • 核对接口与固件

    确认 SPI、I2C 和 UART 与 `PIN_WIRING.md` 及固件一致。

  • 运行固件构建

    修改后确认仍能执行 `pio run`。

  • 检查裸 PCB 电源

    收到 PCB 后先不要安装舵机,使用万用表确认电源和地之间没有短路。

  • 收集故障排查信息

    无法判断问题时,在提交 Issue 时附上 PCB 版本、供电电压、串口日志、故障模块和清晰接线照片。

  • 启用模拟 AI 提供方

    没有云端 Key 时,在 `.env` 中设置 `AI_PROVIDER=mock`。

  • 检查网关健康状态

    请求本地网关的 `/healthz` 端点,检查网关是否正常响应。

  • 测试聊天补全接口

    向本地聊天补全接口发送一条“你好”消息,并使用 `test` 作为 Bearer 令牌。

  • 连接真实 MindPaw 设备

    确保网关主机与 MindPaw 的 STA 网络互通;`MindPaw` 热点仅用于控制页面。

  • 打开设备 AI 配置页

    在网关主机上打开 `http://192.168.4.1/aiconfig.html`。

  • 填写 API 与网关设置

    在 `API Key` 中填写网关的 `GATEWAY_TOKEN`,在 `推理端点 ID` 中填写 `mindpaw` 或实验中的模型名,并将 `AI Gateway 地址` 设为 `http://<网关IP>:8000/v1/chat/completions`。

  • 选择 ESP8266 直连模式

    将 Gateway 地址留空,即可恢复 ESP8266 直接连接豆包模式。

  • 设置串口监视器

    将串口监视器波特率设置为 115200,然后发送方向诊断命令。

  • 测试 AI 串口命令

    通过串口发送 `ai 你好` 和 `ai clear`,测试 AI 对话及清除命令。

  • 识别串口日志模块

    根据串口日志前缀识别模块:`DOUBAO` 对应 AI,`EMOTION` 对应情绪,`GESTURE_NN` 对应手势。

  • 检查服务健康状态

    在另一个 shell 中运行 health 请求,检查服务是否正常响应。

  • 重启并确认真实模型

    重启服务,然后请求 GET /healthz;健康状态应报告 using_mock 为 false。

  • 添加语音命令

    按照 Docs/07_API_Guide.md 的命令表添加 22 条语音命令。

  • 确认 GPIO15 启动电平

    确认 GPIO15 通过 10KΩ 电阻下拉到 GND,使启动时保持 LOW,避免 ESP8266 进入测试模式。

采数据与训练

  • 测试云端直连基线

    比较 ESP8266 直接访问云端的策略。

  • 测试 Gateway 基线

    比较所有任务都经过 Gateway 的策略。

  • 测试固定切换策略

    比较按照固定规则在本地与云端之间切换的策略。

  • 测试延迟切换策略

    比较只根据网络延迟选择执行位置的策略。

  • 测试自适应策略

    将自适应策略纳入基线策略比较。

  • 记录真实机器人任务

    记录真实的语音、手势、网页聊天和动作任务,而不是只使用合成请求。

  • 报告端到端延迟

    报告 P50、P95 和 P99 端到端延迟。

  • 报告动作与模式失败率

    报告动作成功率和 JSON Schema 失败率。

  • 测量断网恢复时间

    报告网络中断后的恢复时间。

  • 报告各层能耗

    报告 ESP8266、Gateway 和云端的能耗。

  • 报告 Token 与任务成本

    报告 Token 消耗和单次任务成本。

  • 测试不同网络与并发条件

    报告不同丢包率、RTT 和并发数下的表现。

  • 保存完整实验材料

    在 `experiments/` 目录中保存配置、网络轨迹、原始日志、绘图脚本和结果摘要。

  • 确保实验可重复生成

    确保论文结果能够使用 Docker 和固定随机种子重新生成。

  • 输入一张测试帧

    使用任意 JPG 图片,通过测试工具向识别服务输入一帧。

  • 以五 FPS 持续输入

    使用 --loop 参数持续输入任意 JPG 图片,文档注明流速为 5 FPS;按 Ctrl-C 停止。

  • 填写数据加载器和损失函数

    在 train_distill.py 中填写 ScanNet、7-Scenes、TUM 序列的数据加载器,并设置由 depth_L1、pose_geodesic、feature_cosine 组成的损失。

  • 运行蒸馏训练脚手架

    使用 PyTorch 和 GPU 运行 train_distill.py 脚手架,输出 ai-infra/recon/weights/student.onnx。

用起来

  • 打开浏览器查看器

    在浏览器中打开 recon_view.html,查看识别服务的输出。

文档