EchoEar （喵伴）用户指南

也想出现在这里？点击联系我~

产品介绍

EchoEar（喵伴）是乐鑫携⼿⽕⼭引擎扣⼦⼤模型团队打造的智能 AI 开发套件，适用于玩具、智能音箱、智能中控等需要大模型赋能的语音交互类产品。该设备搭载 ESP32-S3-WROOM-1 模组，1.85 寸 QSPI 圆形触摸屏，双麦阵列，支持离线语音唤醒与声源定位算法。结合火山引擎提供的大模型能力，喵伴可实现全双工语音交互、多模态识别与智能体控制，为开发者打造完整的端侧 AI 应用体验提供坚实基础。

功能亮点

1.搭载 ESP32-S3 双核 Wi-Fi & BLE 模组

2.集成 2 Mic 阵列，360 x 360 1.85 寸 QSPI 触摸屏，支持电机旋转

3.离线语音唤醒 + 声源定位算法

4.智能对讲 + 情绪识别 + 长记忆库能力

5.由火山引擎提供豆包大模型服务

开始使用

给设备供电

1.使用 USB-C 数据线给设备供电，如有电池，可直接按下设备底部的按键来开启或关闭设备。

2.设备启动后，屏幕会显示 “ESPRESSIF x 火山引擎” 联名的开机动画。

开始体验

1.开机动画结束后，设备会默认进入 “AI 对话” 模式，屏幕会显示一个表情动画。

如果此时设备还未连接过 Wi-Fi 网络，设备会以 20 秒时间间隔循环播报 “我还没有连接网络，请帮我配置网络”，并且屏幕上方会显示相应的 “Wi-Fi 连接” 动态图标。

2.长按屏幕后，设备会进入 “系统 App” 模式，此时屏幕显示具有各种内置 App 应用的 “主界面”。

如在此界面停留 5 秒并没有点击屏幕，设备将自动返回 “AI 对话” 模式。

3.在 “主界面” 中点击 “Settings” App 图标，然后点击 “Wireless” -> “WLAN” 进入 Wi-Fi 配置界面。

在主界面点击“Settings” App 图标→ “Wireless” → “WLAN”进入 Wi-Fi 设置页面。

（⚠️ Wi-Fi 配置页面不会在 5 秒无操作时自动返回“AI 对话” 模式）

4.开启 WLAN 开关后，系统会扫描并显示 2.4GHz 可用网络。

点击目标网络并输入密码，连接成功后会语音播报：“网络连接成功”。

（⚠️ Wi-Fi 配置页面不会在 5 秒无操作时自动返回“AI 对话” 模式）

5.网络连接后，正常情况下，设备会依次播报：

•

“服务连接中，请稍后”[音频 1]

•

“服务连接成功，请说嗨乐鑫唤醒我哦”[音频 2]。

受网络波动影响，设备可能会循环播报几次【音频 1】，若【音频 2】长时间未播报，可能表示预置智能体额度已用尽，请参阅 “开发者模式” 章节配置自定义智能体。

（⚠️ 当服务连接成功时，由于不在 “AI 对话” 模式，此时设备提示‘’麦克风已关闭，AI 对话模式已禁用‘’ ）

6.在 App 界面，点击屏幕底部滑条下方的区域并向上拖拽，即可退出当前 App 并返回主页面，等待 5 秒后设备自动返回 “AI 对话” 模式的表情界面。此时，此时设备会提示“麦克风已开启，AI 对话模式已开启”。此刻，您可说 ”嗨，乐鑫“ 将智能体唤醒并开启对话，对话过程中也可以说 ”嗨，乐鑫“ 来打断智能体的说话。

7.⚠️ Token 使用说明：设备出厂固件默认内置的账号包含火山价值 200RMB 的 token 服务，仅供 AI 对话大模型体验，账号内部 token 使用完毕之后将无法体验，需用户参考 “开发者模式”章节自行充值并配置！

8.如需清除配网信息，进入 “Settings” App，点击 “Restore Factory” 将设备恢复至初始状态。当前设备的 BOOT 和 RST 按键位于底部黑色胶垫下方，如需开发使用，请撕开胶垫。

AI 对话

在 ”AI 对话“ 模式中，除了能够与智能体聊天外，您还可以通过对话进行如下“系统控制”功能：

1.打开设置 App

2.提高/减小音量，设置音量到 xx

3.提高/减小亮度，设置亮度到 xx

⚠️ 需注意以下几点限制：

1.当设备退出 “AI 对话” 模式（即不再显示表情动画时），AI 对话功能将自动关闭，并语音提示：“麦克风已关闭，AI 对话模式已禁用”。

重新进入 “AI 对话” 模式时，系统会自动重新开启语音识别，并提示：“麦克风已开启，AI 对话模式已开启”。此时，需通过语音唤醒词 “嗨，乐鑫” 再次激活智能体。

2.系统控制类语音指令（如调节音量、亮度，或打开设置 App）仅在设备角色设置为 “Lin Jia Nv Hai” 时可用。若切换为其他角色，上述功能将不可用。

3.当设备处于系统 App（如 “Settings”App）界面时，AI 对话功能将被暂停，此状态下无法通过语音指令关闭 App。因为 AI 对话仅在 “AI 对话” 模式（表情动画界面）下可用。

智能体角色切换

设备内置了 “Lin Jia Nv Hai” 和 ”Wan Qu Da Shu“ 两种智能体角色类型，当服务连接成功后，您可以在 “AI Profile” App 中进行选择，退出 App 即可生效。此时，设备会重新连接服务并依次播报 ”服务已断开“、”服务连接中，请稍后“ 和 ”服务连接成功，请说嗨乐鑫唤醒我哦“。

开发者模式

设备为开发者提供了配置自定义 Coze Token 和智能体的方法，无需修改固件即可替换设备内置的参数。

前期准备条件：

1.搭建一个AI助手智能体， 在搭建智能体的 url 中获取 bot id。也可以直接复制一个智能体直接发布，如 聊天陪伴苏瑶。

⚠️ 在发布的时候一定要勾选上”API” 发布，如下：

2.获取 jwt 鉴权信息

为了保证 Token 的安全性，默认使用 JWT（JSON Web Token） 的鉴权方式。在进行鉴权时，您需要获取以下信息：

● public_key：用于验证 JWT 请求的公钥指纹。在请求过程中，系统会提供此指纹，它会只出现一次。为了保证安全性，公钥指纹需要妥善保存，避免泄露。

● private_key.pem：用于生成 JWT Token 的私钥，您将用此私钥来签发 Token，确保只有持有私钥的服务可以生成有效的 Token。

● appid：在进行 JWT 鉴权时，系统会返回的应用 ID，用于标识不同的应用或服务。

注意：

● 公钥指纹会仅返回一次，请务必在收到时立即保存。如果丢失，将无法验证 Token 的有效性。

● 私钥需要在设备端妥善管理，不得暴露给外部，确保鉴权的安全性。

设备端步骤如下：

1.进入 “系统 App” 模式并打开 “Settings” App，点击 “More” – “Developer Mode” 标签后设备重启并进入 “开发者模式”。

2.使用 USB-C 数据线连接设备和电脑，此时设备会被模拟成一个 U 盘，您需要在 U 盘中构建 “bot_setting.json” 和 ”private_key.pem“ 文件来进行配置。

3.下面是 ”bot_setting.json“ 文件的内容模板，

public_key：JWT鉴权时申请的公钥指纹，用于验证请求的合法性。

appid：JWT鉴权成功后产生的应用 ID，用于标识该应用。

bots：JSON 数组，包含智能体相关数据。可指定一个或多个智能体，配置其相关特性。

● bot_name：智能体名称，显示在设备的 UI 上，用于标识该智能体。

● bot_id：在构建 AI 助手时获取的唯一 bot ID，用于区分不同的智能体。

● voice_id：智能体的声音 ID，参考系统音色列表获取具体声音类型。

● description：智能体的描述信息，用于设备端展示，便于用户识别和使用。

{
    "public_key": "Z7H6nNCq3WHeDwC0xxxxxxxxxxxxxxxxxxxxxxxxxxx",
    "appid": "11523xxxxxxxx",
    "bots": [
        {
            "bot_name": "Lin Jia Nv Hai",
            "bot_id": "7512052xxxxxxxxxxxx",
            "voice_id": "7426720361733144585",
            "description": "A warm-voiced female AI character who listens to the user's thoughts and offers comforting responses."
        },
        {
            "bot_name": "Wan Qu Da Shu",
            "bot_id": "750716xxxxxxxxxxxxx",
            "voice_id": "7426720361732915209",
            "description": "A male AI character with a regional accent. He responds quickly and concisely, but does not perform actions on behalf of the user."
        }
    ]
}

4.将在 jwt 鉴权中获取到的 private_key.pem 放到所构建的U盘中。

5.构建好所需文件后，点击屏幕下方的 “Exit and reboot” 按钮即可退出 ”开发者模式“。

6.设备重启后，您可以按照 ”智能体角色切换“ 章节查看自定义的角色信息。

硬件概览

规格参数

开发资源

•硬件资源：https://oshwhub.com/esp-college/echoear

•示例代码 （基于 ESP-Brookesia, 逐渐更新): https://github.com/espressif/esp-brookesia/tree/master/examples

•火山 RTC 接入 SDK：https://github.com/espressif/esp-adf/tree/master/examples/ai_agent/volc_rtc

•火山 WebSocket 接入 SDK：https://github.com/espressif/esp-adf/tree/master/examples/ai_agent/coze_ws_app

•乐鑫全新音视频框架 ESP-GMF：https://github.com/espressif/esp-gmf

•联系我们: https://www.espressif.com/en/contact-us/sales-questions