正在连接信源…

优必选 悟空机器人(Alpha Mini) 复刻全流程

优必选 悟空机器人(Alpha Mini) 从采购、打印、组装到装软件、标定和训练的 160 个步骤,附物料表、购买链接与官方出处。

优必选官网不标价,未找到官方商城在售页面;Python SDK 与示例免费(PyPI、GitHub)

采购

  • 下载开放 SDK

    从下载资源页面下载开放 SDK。

组装

  • 通过 USB 连接机器人

    使用 USB 线将机器人连接到 PC。

软件与固件

  • 下载并安装 Python

    按照安装环境章节下载并安装 Python。

  • 安装 PyCharm

    安装 PyCharm。

  • 下载并运行演示程序

    克隆 mini_demo 仓库,切换到 oversea_develop 分支,然后运行演示程序。

  • 导入 AlphaMini SDK

    在 Python 程序中导入 mini.mini_sdk,并使用 MiniSdk 名称访问 SDK。

  • 连接机器人

    使用 WiFiDevice 调用 MiniSdk.connect。该调用返回布尔值,文档示例忽略此返回值。

  • 断开连接并释放资源

    先等待1秒,再调用 MiniSdk.release,断开连接并释放资源。

  • 设置 SDK 日志级别

    默认日志级别为 Warning。将日志级别设置为 INFO。

  • 导入 MiniSdk API

    使用 from mini.apis import * 导入 mini.apis 中的 API。

  • 停止播放的声音

    使用 is_serial=False 启动文本转语音,等待 3 秒后发送停止全部音频命令,并读取执行结果。

  • 测试人脸检测

    创建超时时间为 10 秒的人脸检测接口,等待响应并输出检测结果。结果包含人脸数量、成功状态和返回码。

  • 测试并关闭嘴部灯

    调用 ControlMouthLamp,将 is_open 设置为 False,并打印执行结果。

  • 测试翻译接口

    使用 StartTranslate 将“Jacky Cheung”从中文翻译为英文,等待响应并打印结果。

  • 测试已注册人脸识别

    创建 ObserveFaceRecognise 观察器并设置处理函数。识别成功且返回 faceInfos 时,停止观察器,并使用 PlayTTS 播报识别出的姓名。

  • 测试人脸检测

    创建 ObserveFaceDetect 观察器并设置处理函数。检测成功且 count 大于零时,停止观察器,并使用 PlayTTS 播报前方人数。

  • 创建姿态监听器

    创建 ObserveRobotPosture 监听对象,定义事件处理器,设置处理器并启动监听器,然后等待 asyncio.sleep(0)。

  • 检测跌倒并停止监听

    事件处理器打印收到的消息。当状态为 8 或 7 时,监听器停止,并创建 __tts() 任务。

  • 播放跌倒语音提示

    __tts() 播放语音“I fell down”,然后通过运行循环的执行器停止事件循环。

  • 运行姿态检测测试

    主程序按名称获取设备,连接设备并启动运行程序,然后执行姿态监听测试。测试后使用 run_forever() 保持事件循环运行,并调用 shutdown()。

  • 打包并安装 Python 程序

    在 PC 上调试程序后,将项目打包为 .whl 或 .egg,并在项目根目录编写 setup.py;随后通过 pip 将其安装到机器人内置的 Python 3.8 环境并触发执行。使用支持命令行工具的 AlphaMini SDK V1.0.0 或更高版本,以及 v1.4.0 或更高版本的 AlphaMini 机器人。

  • 安装打包工具

    确保 PC 上已安装最新版本的 setuptools、wheel 和 twine。

  • 编写 setup.py 基础配置

    在项目目录中创建 setup.py,参考演示代码设置程序名称、版本、作者、作者邮箱、简短描述、长描述、许可证和包发现配置。示例程序名为 tts_demo,版本为 0.0.2,并使用 setuptools.find_packages() 查找包。

  • 配置依赖和命令入口

    在 install_requires 中声明 alphamini 依赖模块。在 entry_points 的 console_scripts 中定义 tts_demo = play_tts.test_playTTS:main 命令行入口。

  • 填写 setup.py 元数据参数

    按文档列出的参数填写 setup.py:--name、--version (-V)、--author、--author_email、--maintainer、--maintainer_email、--url、许可证授权信息和 --description。

  • 配置 setup.py 打包选项

    在 setup.py 中设置 long_description、platforms、classifiers、keywords、packages、py_modules、download_url、cmdclass、data_files、scripts、package_dir、define 和 provides。packages 用于包含 __init__.py 的包,py_modules 用于要打包的 Python 文件,package_dir 映射源代码包目录,data_files 包含图像、配置文件等数据文件。

  • 查找包并声明依赖

    find_packages() 默认搜索 setup.py 同级目录中包含 __init__.py 的包;包也可以放在 src 目录中,并包含 aaa.txt 文件和数据文件夹。可用给定模式排除测试包,并使用 install_requires = ["requests"] 声明 requests 依赖。

  • 定义命令行入口

    在 entry_points 的 console_scripts 中定义命令行工具。示例 tts_demo = play_tts.test_playTTS:main 在等号前指定工具名称,在等号后指定程序入口地址。

  • 添加多个命令行工具

    同一个项目的 entry_points 中可以包含多条记录,从而创建多个命令行工具。示例将 foo 和 bar 两个工具都映射到 demo:test。

  • 从命令行打包项目

    After writing setup.py in the project directory, package it with python setup.py sdist bdist_wheel. You can also specify the Python project directory with setup_py_pkg "your py project directory".

  • 使用 AlphaMini 工具包打包

    使用 AlphaMini 内部工具包,把当前目录中的 tts_demo 项目打包成 Python wheel。pkg_path 保存打包后的 whl 文件路径,print(f'{pkg_path}') 输出该路径。

  • 通过命令安装 Python 包

    确保机器人与电脑位于同一局域网。上传 .whl 文件,让机器人先执行 pip install xx.whl,然后填写机器人序列号的后 4 位并运行安装命令。

  • 通过 Python SDK 安装包

    确保机器人与电脑位于同一局域网,并上传 .whl 文件。设置机器人类型为 EDU,再使用包路径和机器人序列号后 4 位调用安装工具。

  • 列出机器人 Python 模块

    使用指定机器人序列号后 4 位执行 list_py_pkg,并使用 EDU 类型查询机器人内安装的 Python 包。

  • 通过 SDK 列出 Python 包

    将机器人类型设置为 EDU,并以机器人编号调用 list_py_pkg。打印返回的机器人 Python 包信息。

  • 查询 Python 模块规格

    确保机器人与电脑位于同一局域网。运行 pip show xx 查询 Python 模块规格,例如使用 tts_demo,并指定机器人序列号后 4 位。

  • 通过 SDK 查询模块规格

    将机器人类型设置为 EDU,并通过包名和机器人编号调用 query_py_pkg。打印 tts_demo 包的查询结果。

  • 设置 SDK 日志级别

    默认日志级别为 Warning,将其设置为 INFO。

  • 导入 Mini SDK API

    从 mini.apis 导入 API,以供机器人控制示例使用。

  • 播放文本合成语音

    使用 StartPlayTTS 播放“你好, 我是悟空, 啦啦啦”,并等待执行结果。响应包含 resultCode 和 isSuccess;resultCode 不为 0 时,可查询错误描述。

  • 播放在线音效

    使用 PlayAudio 和 NET_PUBLIC 存储类型播放指定的在线 MP3 音效,并等待结果。支持的格式包括 mp3、amr、wav 等。

  • 播放本地内置音效 read_016

    使用 PlayAudio 块,url 设为 "read_016"、storage_type 设为 AudioStorageType.PRESET_LOCAL,播放机器人内置音效并等待返回结果。

标定与测试

  • 测试人脸性别分析

    创建超时时间为10s的FaceAnalysis并等待execute()的回复,打印分析结果、返回码和视觉错误信息。返回信息包含年龄、性别、人脸高度和宽度;性别值小于50为女性,大于50为男性,多人出现时返回画面占比最大的人脸。

  • 测试花的物体识别

    手动把花或花的照片放到机器人面前,创建FLOWER类型且超时时间为10s的ObjectRecognise并等待识别结果。响应包含物体名数组、是否成功和返回码。

  • 测试水果的物体识别

    手动把水果或水果的照片放到机器人面前,创建FRUIT类型且超时时间为10s的ObjectRecognise并等待识别结果。响应包含物体名数组、是否成功和返回码。

  • 测试手势识别

    使用 ObjectRecogniseType.GESTURE,让机器人在超时 10 秒内等待手势识别结果。响应包含物体名数组、是否成功和返回码。

  • 测试立即拍照

    让机器人立即拍照并等待结果。拍照类型使用 IMMEDIATELY,响应包含是否成功、返回码和照片在机器人里的存储路径。

  • 测试人脸识别

    让机器人进行人脸识别检测,并在超时 10 秒后等待结果。响应包含人脸信息数组,其中可读取人脸 ID、姓名、性别和年龄,以及是否成功和返回码。

  • 设置绿色嘴巴灯

    调用 SetMouthLamp,将嘴巴灯设为普通模式、绿色,并持续 3000 毫秒;breath_duration 设置为 1000 毫秒。等待机器人返回结果并打印响应。

  • 关闭嘴巴灯

    调用 ControlMouthLamp 并将 is_open 设为 False,使机器人嘴巴灯关闭。等待操作结果并打印响应。

  • 创建头部触摸监听器

    创建 ObserveHeadRacket 监听对象,用于监听头部触摸事件。

  • 处理头部触摸事件

    为监听器设置事件处理器;事件类型包括 SINGLE_CLICK、LONG_PRESS 和 DOUBLE_CLICK。收到事件后停止监听、打印事件类型,并启动舞动任务。

  • 执行触摸后舞动

    执行名为 dance_0002 的 ControlBehavior 舞动行为。

  • 启动触摸监听程序

    获取设备后依次连接设备、启动运行程序并执行触摸监听;定义事件监听对象时必须让事件循环持续运行。

  • 播放悟空语音

    创建 PlayTTS 块并播放“你好,我是悟空,啦啦啦,啦啦啦”,随后打印执行响应。

  • 创建语音识别监听器

    创建 ObserveSpeechRecognise 监听对象并设置处理器。处理器输出识别消息和文本;识别到“悟空”时播放语音,识别到“结束”时停止监听并停止事件循环。

  • 启动语音识别程序

    获取设备后连接设备、启动运行程序并开始语音识别监听;事件循环必须持续运行,最后执行 shutdown()。

  • 创建红外距离监听器

    创建 ObserveInfraredDistance 监听对象并定义处理器;监听响应包含 distance。

  • 测试红外距离传感器

    注册红外距离观察器;当距离小于500时停止观察器并创建文字转语音任务,播报“是不是有人在啊, 你是谁啊”并打印执行结果。主程序按名称查找WiFi设备,连接设备、启动运行程序并执行距离观察测试。

  • 测试人脸识别观察器

    创建人脸识别观察器并注册事件处理器。处理器打印响应;当识别成功且包含faceInfos时,停止观察器并使用识别到的第一个姓名播报问候语。

  • 播报识别到的人名

    执行文字转语音命令,播报“你好”加上识别到的姓名。语音完成后,通过运行循环的执行器停止事件循环。

  • 查询机器人 Python 包信息

    确保机器人和 PC 位于同一局域网,并指定机器人序列号或序列号后 5 位。查询会向机器人发送 pip list 命令并返回结果。

  • 列出所有 Python 模块

    使用 SDK 将机器人类型设置为 DEDU。查询机器人 0090 内安装的 Python 包,并打印查询结果。

  • 查询指定 Python 模块

    确保机器人和 PC 位于同一局域网,并指定机器人序列号或序列号后 5 位。示例中的 xx 代表 tts_demo,工具会向机器人发送 pip show xx 并返回结果。

  • 通过 SDK 查询 tts_demo

    将机器人类型设置为 DEDU。使用机器人 0090 的序列号查询 tts_demo 包信息,并打印结果。

  • 设置日志级别和机器人类型

    将日志级别设置为 INFO,并在扫描局域网中的机器人前将机器人类型设置为 MiniSdk.RobotType.EDU。

  • 按序列号搜索机器人

    使用机器人背面的序列号搜索机器人。序列号长度可以任意,但建议使用超过5个字符以精确匹配,超时时间为10秒。

  • 获取机器人设备列表

    获取指定序列号机器人的设备列表,超时时间为10秒。

  • 连接机器人

    使用 MiniSdk.connect(),根据扫描结果连接机器人。

  • 测试在线音效播放

    创建 PlayAudio 块,使用 NET_PUBLIC 存储类型指定 MP3 URL,执行后查看响应、resultCode 和错误信息。

  • 测试本地预置音效

    创建 PlayAudio 块,使用 PRESET_LOCAL 存储类型和内置音效名称 read_016,执行后查看响应及错误信息。

  • 测试获取红外检测距离

    执行 GetInfraredDistance 并等待结果,然后打印响应,其中包含红外距离。

  • 测试获取已注册人脸

    执行 GetRegisterFaces 并等待结果,然后打印响应。响应包含人脸 ID、姓名、性别、年龄、成功状态和返回码。

  • 测试机器人表情

    使用地址名“codemao1”创建 PlayExpression,执行后等待回复结果并打印响应。响应包含是否成功和返回码。

  • 测试机器人向左移动

    执行 MoveRobot,将机器人向左移动 10 步并等待响应,然后打印响应结果。

  • 获取内置动作列表

    使用 RobotActionType.INNER 获取机器人内置的不可修改动作文件列表,并等待响应。

  • 设置触摸事件监听器

    创建 ObserveHeadRacket 监听器并设置事件处理函数。事件触发后停止监听、打印事件类型,并启动舞蹈任务。

  • 执行内置舞蹈动作

    在触摸事件处理器中调用 ControlBehavior,执行名为 dance_0002 的舞蹈,然后停止事件循环。

  • 开启测试模式

    打开测试模式,并确保机器人已经联网。

  • 重新绑定并连接机器人

    使用已绑定的账号重新连接机器人;切换后唤醒机器人会提示未绑定。此前已绑定时,在 App 中切换到该机器人;若只绑定了一个机器人,可退出并重新打开 App 后连接。

  • 测试语音触发技能

    将开发的 App 安装到机器人上,通过配置好的语音指令触发并测试技能。

  • 输入 H5 测试链接

    在开发者测试界面输入 H5 测试链接。

采数据与训练

  • 识别花朵

    将花朵或花朵照片手动放到机器人前方,等待最多 10 秒并查看结果。响应包含识别到的物体名称、是否成功和返回代码。

  • 识别水果

    将水果或水果图片手动放到机器人前方,等待最多 10 秒并查看结果。响应包含识别到的物体名称、是否成功和返回代码。

用起来

  • 准备一台 AlphaMini

    准备一台 AlphaMini 机器人。

  • 进入编程模式

    执行 StartRunProgram,使机器人进入编程模式,避免其他技能在执行命令时中断机器人。等待6秒,让机器人的 TTS 广播完成。

  • 播放合成语音

    创建 StartPlayTTS,文本为“Hello, I'm AlphaMini, la-la-la”,然后执行该代码块并取得 ControlTTSResponse。响应包含 resultCode 和 isSuccess;resultCode 不为0时,可使用 errors.get_speech_error_str 查询错误。

  • 测试并执行动作文件

    使用 PlayAction 执行名为“018”的本地内置或自定义动作,等待响应并打印结果。

  • 提交应用审核

    调试完成后,将对应的 APK 和 H5 离线包提交到开放平台,并提交正式环境审核。

  • 推送版本并发布应用

    正式环境审核通过后,将对应版本推送给特定设备,完成应用发布。

  • 查询百科内容

    调用 QueryWiKi,以“优必选”为查询关键字。机器人等待查询结果后进行播报,并打印返回响应。

物料

  • 整机购买:14 个伺服舵机(头部 3、双臂各 2、腰部 1、双腿各 3 自由度)
  • 1300 万像素自动对焦摄像头、4 麦环形阵列加通话麦、测距、加速度、陀螺仪与触摸传感器
  • RAM 2GB / ROM 16GB;WLAN、蓝牙 4.2、GPS、Nano SIM 4G
  • 3.85V 4060 mAh 锂聚合物电池,5V 3A 适配器;245×149×112 mm,约 700 g

工具

  • 出厂整机,无需装配
  • 一台与机器人同局域网的电脑,Python 3.7 以上,文档推荐 PyCharm

技能

  • App 内图形化积木编程(教育版用基于 Scratch 3.0 的 uCode)
  • Python asyncio:SDK 接口均为异步调用
  • SDK 命令行工具:把 Python 程序打包装到机器人上运行,或执行 shell 命令

软件

  • alphamini Python SDK 1.2.0:动作、舞蹈、表情、语音、人脸与物体识别、红外距离与姿态监听等接口
  • mini_demo 示例(oversea_develop 分支为英文注释)
  • 悟空机器人 App 2.3.0、悟空教育版 App 1.9.0、海外 AlphaMini App 1.3.0

文档