小智xiaozhi-esp32：MCP驱动的ESP32语音助手

小智xiaozhi-esp32MCP驱动的ESP32语音助手【免费下载链接】xiaozhi-esp32An MCP-based chatbot | 一个基于MCP的聊天机器人项目地址: https://gitcode.com/GitHub_Trending/xia/xiaozhi-esp32把唤醒词说出口之后大约一秒内会发生一串事屏幕表情切换、麦克风开始流式上传、云端把语音转成文字并交给大模型推理最后大模型没有只回一句文本而是让设备把音量调小、把灯带点亮。这条链路就是 xiaozhi-esp32 的日常——一个基于 MCP 协议、跑在 ESP32 系列芯片上的开源 AI 语音助手固件仓库名 xiaozhi-esp32定位很直接本地硬件负责采集和执行云端模型负责思考两边用同一套协议对话。⚡ 能力速览离线语音唤醒基于 ESP-SR 在本地完成唤醒词识别没喊名字之前语音不会出设备同时支持自定义唤醒词流式语音对话Opus 音频流直传兼容流式 ASRLLMTTS 方案和 Realtime 端到端语音模型带 AEC 的硬件可做到实时全双工设备端 MCP大模型可以直接调用固件内置的工具集——音量、灯光、电机、GPIO硬件变成模型的手脚云端 MCP同一套协议反向扩展模型能力智能家居、PC 桌面操作、知识搜索、邮件收发都挂在云端工具上多传输多网络WebSocket 与 MQTTUDP 两种通道可选Wi-Fi、以太网、USB RNDIS 以及 Cat.1 4G 模块都能接入 工作原理一次完整交互的时序按时间线走一遍比罗列模块更清楚各部分怎么协作。本地唤醒。用户说唤醒词ESP-SR 在片上完成识别。这一步不联网隐私和功耗都守住了。建连与能力声明。唤醒成功后固件打开音频通道WebSocket 或 MQTTUDP设备先发出 hello 消息在 features 字段里声明mcp: true并带上 Opus 音频参数16kHz、单声道、60ms 帧。MCP 会话初始化。后端识别到设备支持 MCP 后用 JSON-RPC 2.0 格式的 initialize 请求发起会话设备返回自身名称与固件版本。语音流式处理。麦克风数据以 Opus 帧持续上行云端完成流式识别、语义理解回复的 TTS 音频流式下行播放屏幕同步显示对应表情。工具调用。如果意图涉及硬件操作后端发 tools/call 请求设备端的 MCP server 解析出工具名与参数执行音量、灯光、GPIO 等动作后返回结果。也就是说MCP 在这里是设备当服务端、后端当客户端的工具调用机制——模型不需要知道任何板卡细节它只调用声明好的工具。硬件层面同样按抽象设计所有开发板收敛在 main/boards/ 目录下通用外设按键、背光、电池监控、摄像头抽到 common/ 复用音频、显示、协议各有独立模块。目前维护着 138 个板卡目录、171 个发布变体覆盖 ESP32、C3、C5、C6、S3、P4 六个芯片平台。新增一块板本质只是加一个目录加一份配置。⚙️ 从零到跑通最短可行路径获取代码新手也可以跳过编译直接烧录仓库发布区里的现成固件git clone https://gitcode.com/GitHub_Trending/xia/xiaozhi-esp32 cd xiaozhi-esp32配置开发板与参数idf.py menuconfig在配置界面选中你手头的板卡目录确认服务器与配网方式热点或 BluFi然后idf.py build flash烧录。上电后用手机热点完成首次配网说出唤醒词即进入对话。️ 进阶玩法定制、扩展与调优方向做法自定义唤醒词用 ESP-SR 流程录制语料训练把默认唤醒词换成专属短语界面个性化在 assets 中更换字体、表情与聊天背景38 种界面语言可选缺词自动回退英文云端能力扩展实现新的 MCP 工具接 Home Assistant、PC 自动化、搜索服务注册到云端工具列表即可被模型调用电池场景降低唤醒检测频率、配合深度睡眠代码内置电源管理与休眠定时器识别不准优先安静环境、麦克风靠近声源其次再调音频处理参数协议、配网与自定义板卡的细节文档都放在 docs/ 下按 websocket_zh、mqtt-udp_zh、custom-board_zh 分篇排障时对照着查比翻代码快。适合谁下一步做什么如果你正在找一个低成本、可长期维护的 ESP32 语音助手底座或是想给自己的设备接上听得懂话、动得了手的 AI 层这个项目目前完成度在同类里靠前。最直接的下一步挑一块你手头已有的板子先烧现成固件跑通一轮对话再决定要不要进编译流改东西。【免费下载链接】xiaozhi-esp32An MCP-based chatbot | 一个基于MCP的聊天机器人项目地址: https://gitcode.com/GitHub_Trending/xia/xiaozhi-esp32创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考