优必选 悟空机器人(Alpha Mini) 复刻全流程
优必选 悟空机器人(Alpha Mini) 从采购、打印、组装到装软件、标定和训练的 160 个步骤,附物料表、购买链接与官方出处。
优必选官网不标价,未找到官方商城在售页面;Python SDK 与示例免费(PyPI、GitHub)
采购
- 下载开放 SDK
从下载资源页面下载开放 SDK。
组装
- 通过 USB 连接机器人
使用 USB 线将机器人连接到 PC。
软件与固件
- 下载并安装 Python
按照安装环境章节下载并安装 Python。
- 安装 PyCharm
安装 PyCharm。
- 下载并运行演示程序
克隆 mini_demo 仓库,切换到 oversea_develop 分支,然后运行演示程序。
- 导入 AlphaMini SDK
在 Python 程序中导入 mini.mini_sdk,并使用 MiniSdk 名称访问 SDK。
- 连接机器人
使用 WiFiDevice 调用 MiniSdk.connect。该调用返回布尔值,文档示例忽略此返回值。
- 断开连接并释放资源
先等待1秒,再调用 MiniSdk.release,断开连接并释放资源。
- 设置 SDK 日志级别
默认日志级别为 Warning。将日志级别设置为 INFO。
- 导入 MiniSdk API
使用 from mini.apis import * 导入 mini.apis 中的 API。
- 停止播放的声音
使用 is_serial=False 启动文本转语音,等待 3 秒后发送停止全部音频命令,并读取执行结果。
- 测试人脸检测
创建超时时间为 10 秒的人脸检测接口,等待响应并输出检测结果。结果包含人脸数量、成功状态和返回码。
- 测试并关闭嘴部灯
调用 ControlMouthLamp,将 is_open 设置为 False,并打印执行结果。
- 测试翻译接口
使用 StartTranslate 将“Jacky Cheung”从中文翻译为英文,等待响应并打印结果。
- 测试已注册人脸识别
创建 ObserveFaceRecognise 观察器并设置处理函数。识别成功且返回 faceInfos 时,停止观察器,并使用 PlayTTS 播报识别出的姓名。
- 测试人脸检测
创建 ObserveFaceDetect 观察器并设置处理函数。检测成功且 count 大于零时,停止观察器,并使用 PlayTTS 播报前方人数。
- 创建姿态监听器
创建 ObserveRobotPosture 监听对象,定义事件处理器,设置处理器并启动监听器,然后等待 asyncio.sleep(0)。
- 检测跌倒并停止监听
事件处理器打印收到的消息。当状态为 8 或 7 时,监听器停止,并创建 __tts() 任务。
- 播放跌倒语音提示
__tts() 播放语音“I fell down”,然后通过运行循环的执行器停止事件循环。
- 运行姿态检测测试
主程序按名称获取设备,连接设备并启动运行程序,然后执行姿态监听测试。测试后使用 run_forever() 保持事件循环运行,并调用 shutdown()。
- 打包并安装 Python 程序
在 PC 上调试程序后,将项目打包为 .whl 或 .egg,并在项目根目录编写 setup.py;随后通过 pip 将其安装到机器人内置的 Python 3.8 环境并触发执行。使用支持命令行工具的 AlphaMini SDK V1.0.0 或更高版本,以及 v1.4.0 或更高版本的 AlphaMini 机器人。
- 安装打包工具
确保 PC 上已安装最新版本的 setuptools、wheel 和 twine。
- 编写 setup.py 基础配置
在项目目录中创建 setup.py,参考演示代码设置程序名称、版本、作者、作者邮箱、简短描述、长描述、许可证和包发现配置。示例程序名为 tts_demo,版本为 0.0.2,并使用 setuptools.find_packages() 查找包。
- 配置依赖和命令入口
在 install_requires 中声明 alphamini 依赖模块。在 entry_points 的 console_scripts 中定义 tts_demo = play_tts.test_playTTS:main 命令行入口。
- 填写 setup.py 元数据参数
按文档列出的参数填写 setup.py:--name、--version (-V)、--author、--author_email、--maintainer、--maintainer_email、--url、许可证授权信息和 --description。
- 配置 setup.py 打包选项
在 setup.py 中设置 long_description、platforms、classifiers、keywords、packages、py_modules、download_url、cmdclass、data_files、scripts、package_dir、define 和 provides。packages 用于包含 __init__.py 的包,py_modules 用于要打包的 Python 文件,package_dir 映射源代码包目录,data_files 包含图像、配置文件等数据文件。
- 查找包并声明依赖
find_packages() 默认搜索 setup.py 同级目录中包含 __init__.py 的包;包也可以放在 src 目录中,并包含 aaa.txt 文件和数据文件夹。可用给定模式排除测试包,并使用 install_requires = ["requests"] 声明 requests 依赖。
- 定义命令行入口
在 entry_points 的 console_scripts 中定义命令行工具。示例 tts_demo = play_tts.test_playTTS:main 在等号前指定工具名称,在等号后指定程序入口地址。
- 添加多个命令行工具
同一个项目的 entry_points 中可以包含多条记录,从而创建多个命令行工具。示例将 foo 和 bar 两个工具都映射到 demo:test。
- 从命令行打包项目
After writing setup.py in the project directory, package it with python setup.py sdist bdist_wheel. You can also specify the Python project directory with setup_py_pkg "your py project directory".
- 使用 AlphaMini 工具包打包
使用 AlphaMini 内部工具包,把当前目录中的 tts_demo 项目打包成 Python wheel。pkg_path 保存打包后的 whl 文件路径,print(f'{pkg_path}') 输出该路径。
- 通过命令安装 Python 包
确保机器人与电脑位于同一局域网。上传 .whl 文件,让机器人先执行 pip install xx.whl,然后填写机器人序列号的后 4 位并运行安装命令。
- 通过 Python SDK 安装包
确保机器人与电脑位于同一局域网,并上传 .whl 文件。设置机器人类型为 EDU,再使用包路径和机器人序列号后 4 位调用安装工具。
- 列出机器人 Python 模块
使用指定机器人序列号后 4 位执行 list_py_pkg,并使用 EDU 类型查询机器人内安装的 Python 包。
- 通过 SDK 列出 Python 包
将机器人类型设置为 EDU,并以机器人编号调用 list_py_pkg。打印返回的机器人 Python 包信息。
- 查询 Python 模块规格
确保机器人与电脑位于同一局域网。运行 pip show xx 查询 Python 模块规格,例如使用 tts_demo,并指定机器人序列号后 4 位。
- 通过 SDK 查询模块规格
将机器人类型设置为 EDU,并通过包名和机器人编号调用 query_py_pkg。打印 tts_demo 包的查询结果。
- 设置 SDK 日志级别
默认日志级别为 Warning,将其设置为 INFO。
- 导入 Mini SDK API
从 mini.apis 导入 API,以供机器人控制示例使用。
- 播放文本合成语音
使用 StartPlayTTS 播放“你好, 我是悟空, 啦啦啦”,并等待执行结果。响应包含 resultCode 和 isSuccess;resultCode 不为 0 时,可查询错误描述。
- 播放在线音效
使用 PlayAudio 和 NET_PUBLIC 存储类型播放指定的在线 MP3 音效,并等待结果。支持的格式包括 mp3、amr、wav 等。
- 播放本地内置音效 read_016
使用 PlayAudio 块,url 设为 "read_016"、storage_type 设为 AudioStorageType.PRESET_LOCAL,播放机器人内置音效并等待返回结果。
标定与测试
- 测试人脸性别分析
创建超时时间为10s的FaceAnalysis并等待execute()的回复,打印分析结果、返回码和视觉错误信息。返回信息包含年龄、性别、人脸高度和宽度;性别值小于50为女性,大于50为男性,多人出现时返回画面占比最大的人脸。
- 测试花的物体识别
手动把花或花的照片放到机器人面前,创建FLOWER类型且超时时间为10s的ObjectRecognise并等待识别结果。响应包含物体名数组、是否成功和返回码。
- 测试水果的物体识别
手动把水果或水果的照片放到机器人面前,创建FRUIT类型且超时时间为10s的ObjectRecognise并等待识别结果。响应包含物体名数组、是否成功和返回码。
- 测试手势识别
使用 ObjectRecogniseType.GESTURE,让机器人在超时 10 秒内等待手势识别结果。响应包含物体名数组、是否成功和返回码。
- 测试立即拍照
让机器人立即拍照并等待结果。拍照类型使用 IMMEDIATELY,响应包含是否成功、返回码和照片在机器人里的存储路径。
- 测试人脸识别
让机器人进行人脸识别检测,并在超时 10 秒后等待结果。响应包含人脸信息数组,其中可读取人脸 ID、姓名、性别和年龄,以及是否成功和返回码。
- 设置绿色嘴巴灯
调用 SetMouthLamp,将嘴巴灯设为普通模式、绿色,并持续 3000 毫秒;breath_duration 设置为 1000 毫秒。等待机器人返回结果并打印响应。
- 关闭嘴巴灯
调用 ControlMouthLamp 并将 is_open 设为 False,使机器人嘴巴灯关闭。等待操作结果并打印响应。
- 创建头部触摸监听器
创建 ObserveHeadRacket 监听对象,用于监听头部触摸事件。
- 处理头部触摸事件
为监听器设置事件处理器;事件类型包括 SINGLE_CLICK、LONG_PRESS 和 DOUBLE_CLICK。收到事件后停止监听、打印事件类型,并启动舞动任务。
- 执行触摸后舞动
执行名为 dance_0002 的 ControlBehavior 舞动行为。
- 启动触摸监听程序
获取设备后依次连接设备、启动运行程序并执行触摸监听;定义事件监听对象时必须让事件循环持续运行。
- 播放悟空语音
创建 PlayTTS 块并播放“你好,我是悟空,啦啦啦,啦啦啦”,随后打印执行响应。
- 创建语音识别监听器
创建 ObserveSpeechRecognise 监听对象并设置处理器。处理器输出识别消息和文本;识别到“悟空”时播放语音,识别到“结束”时停止监听并停止事件循环。
- 启动语音识别程序
获取设备后连接设备、启动运行程序并开始语音识别监听;事件循环必须持续运行,最后执行 shutdown()。
- 创建红外距离监听器
创建 ObserveInfraredDistance 监听对象并定义处理器;监听响应包含 distance。
- 测试红外距离传感器
注册红外距离观察器;当距离小于500时停止观察器并创建文字转语音任务,播报“是不是有人在啊, 你是谁啊”并打印执行结果。主程序按名称查找WiFi设备,连接设备、启动运行程序并执行距离观察测试。
- 测试人脸识别观察器
创建人脸识别观察器并注册事件处理器。处理器打印响应;当识别成功且包含faceInfos时,停止观察器并使用识别到的第一个姓名播报问候语。
- 播报识别到的人名
执行文字转语音命令,播报“你好”加上识别到的姓名。语音完成后,通过运行循环的执行器停止事件循环。
- 查询机器人 Python 包信息
确保机器人和 PC 位于同一局域网,并指定机器人序列号或序列号后 5 位。查询会向机器人发送 pip list 命令并返回结果。
- 列出所有 Python 模块
使用 SDK 将机器人类型设置为 DEDU。查询机器人 0090 内安装的 Python 包,并打印查询结果。
- 查询指定 Python 模块
确保机器人和 PC 位于同一局域网,并指定机器人序列号或序列号后 5 位。示例中的 xx 代表 tts_demo,工具会向机器人发送 pip show xx 并返回结果。
- 通过 SDK 查询 tts_demo
将机器人类型设置为 DEDU。使用机器人 0090 的序列号查询 tts_demo 包信息,并打印结果。
- 设置日志级别和机器人类型
将日志级别设置为 INFO,并在扫描局域网中的机器人前将机器人类型设置为 MiniSdk.RobotType.EDU。
- 按序列号搜索机器人
使用机器人背面的序列号搜索机器人。序列号长度可以任意,但建议使用超过5个字符以精确匹配,超时时间为10秒。
- 获取机器人设备列表
获取指定序列号机器人的设备列表,超时时间为10秒。
- 连接机器人
使用 MiniSdk.connect(),根据扫描结果连接机器人。
- 测试在线音效播放
创建 PlayAudio 块,使用 NET_PUBLIC 存储类型指定 MP3 URL,执行后查看响应、resultCode 和错误信息。
- 测试本地预置音效
创建 PlayAudio 块,使用 PRESET_LOCAL 存储类型和内置音效名称 read_016,执行后查看响应及错误信息。
- 测试获取红外检测距离
执行 GetInfraredDistance 并等待结果,然后打印响应,其中包含红外距离。
- 测试获取已注册人脸
执行 GetRegisterFaces 并等待结果,然后打印响应。响应包含人脸 ID、姓名、性别、年龄、成功状态和返回码。
- 测试机器人表情
使用地址名“codemao1”创建 PlayExpression,执行后等待回复结果并打印响应。响应包含是否成功和返回码。
- 测试机器人向左移动
执行 MoveRobot,将机器人向左移动 10 步并等待响应,然后打印响应结果。
- 获取内置动作列表
使用 RobotActionType.INNER 获取机器人内置的不可修改动作文件列表,并等待响应。
- 设置触摸事件监听器
创建 ObserveHeadRacket 监听器并设置事件处理函数。事件触发后停止监听、打印事件类型,并启动舞蹈任务。
- 执行内置舞蹈动作
在触摸事件处理器中调用 ControlBehavior,执行名为 dance_0002 的舞蹈,然后停止事件循环。
- 开启测试模式
打开测试模式,并确保机器人已经联网。
- 重新绑定并连接机器人
使用已绑定的账号重新连接机器人;切换后唤醒机器人会提示未绑定。此前已绑定时,在 App 中切换到该机器人;若只绑定了一个机器人,可退出并重新打开 App 后连接。
- 测试语音触发技能
将开发的 App 安装到机器人上,通过配置好的语音指令触发并测试技能。
- 输入 H5 测试链接
在开发者测试界面输入 H5 测试链接。
采数据与训练
- 识别花朵
将花朵或花朵照片手动放到机器人前方,等待最多 10 秒并查看结果。响应包含识别到的物体名称、是否成功和返回代码。
- 识别水果
将水果或水果图片手动放到机器人前方,等待最多 10 秒并查看结果。响应包含识别到的物体名称、是否成功和返回代码。
用起来
- 准备一台 AlphaMini
准备一台 AlphaMini 机器人。
- 进入编程模式
执行 StartRunProgram,使机器人进入编程模式,避免其他技能在执行命令时中断机器人。等待6秒,让机器人的 TTS 广播完成。
- 播放合成语音
创建 StartPlayTTS,文本为“Hello, I'm AlphaMini, la-la-la”,然后执行该代码块并取得 ControlTTSResponse。响应包含 resultCode 和 isSuccess;resultCode 不为0时,可使用 errors.get_speech_error_str 查询错误。
- 测试并执行动作文件
使用 PlayAction 执行名为“018”的本地内置或自定义动作,等待响应并打印结果。
- 提交应用审核
调试完成后,将对应的 APK 和 H5 离线包提交到开放平台,并提交正式环境审核。
- 推送版本并发布应用
正式环境审核通过后,将对应版本推送给特定设备,完成应用发布。
- 查询百科内容
调用 QueryWiKi,以“优必选”为查询关键字。机器人等待查询结果后进行播报,并打印返回响应。
物料
- 整机购买:14 个伺服舵机(头部 3、双臂各 2、腰部 1、双腿各 3 自由度)
- 1300 万像素自动对焦摄像头、4 麦环形阵列加通话麦、测距、加速度、陀螺仪与触摸传感器
- RAM 2GB / ROM 16GB;WLAN、蓝牙 4.2、GPS、Nano SIM 4G
- 3.85V 4060 mAh 锂聚合物电池,5V 3A 适配器;245×149×112 mm,约 700 g
工具
- 出厂整机,无需装配
- 一台与机器人同局域网的电脑,Python 3.7 以上,文档推荐 PyCharm
技能
- App 内图形化积木编程(教育版用基于 Scratch 3.0 的 uCode)
- Python asyncio:SDK 接口均为异步调用
- SDK 命令行工具:把 Python 程序打包装到机器人上运行,或执行 shell 命令
软件
- alphamini Python SDK 1.2.0:动作、舞蹈、表情、语音、人脸与物体识别、红外距离与姿态监听等接口
- mini_demo 示例(oversea_develop 分支为英文注释)
- 悟空机器人 App 2.3.0、悟空教育版 App 1.9.0、海外 AlphaMini App 1.3.0