三步跑通端侧大模型:Google AI Edge Gallery 快速上手指南

三步跑通端侧大模型:Google AI Edge Gallery 快速上手指南【免费下载链接】galleryA gallery that showcases on-device ML/GenAI use cases and allows people to try and use models locally.项目地址: https://gitcode.com/GitHub_Trending/gallery44/galleryGoogle AI Edge Gallery 是一个在 Android 与 iOS 上运行开源大语言模型的端侧 AI 平台:模型加载后,推理全程离线,提示词与图片不离开设备,适合做离线 AI 部署与设备端推理验证。项目定位:它解决什么问题解决的问题:开源 LLM 在移动硬件上的真实表现(延迟、吞吐)此前缺少一个统一、可动手验证的环境。Gallery 把模型下载、多轮对话、图像问答、语音转写、基准测试、函数调用整合进同一个应用。适合谁:需要在真机上评估模型选型的工程师,要做离线 agent 工具原型的开发者,以及做设备端推理优化的团队。不适合谁:需要超过 10k 级长上下文的场景、需要云端级并发吞吐的服务,以及希望模型直接执行任意 shell/Python 命令的场景(移动沙箱不支持,skills 文档中明确说明了这一约束)。快速上手:离线部署端侧模型三步走环境要求运行端:Android 12 及以上,iOS 17 及以上;README 另提供了 macOS 版 dmg 下载。源码构建:需要 Android Studio,以及一个 Hugging Face 开发者应用(clientId 与 redirectUri),这是模型下载功能正常工作的前提。获取与安装终端用户:从 Google Play 或 App Store 安装;无法访问 Play 的用户可从最新 release 拿 APK。开发者:克隆仓库后按文档配置凭据即可:git clone https://gitcode.com/GitHub_Trending/gallery44/gallery本地构建的配置点只有两处,见 DEVELOPMENT.md:在 Android/src/app/src/main/java/com/google/ai/edge/gallery/common/ProjectConfig.kt 填入 HF 凭据,并在app/build.gradle.kts的manifestPlaceholders[appAuthRedirectScheme]中改成对应的回跳 scheme。跑通第一个模型打开应用,从模型列表(Hugging Face 来源)下载一个模型,官方可下载列表由 model_allowlist.json 维护。进入 LLM Chat 或 Agent Chat,发送第一条消息,确认离线推理链路打通。进入 Benchmark 用例,得到第一组 TTFT 与解码速度数据(下文会讲怎么读)。架构拆解:推理链路里的核心组件下表路径均相对Android/src/app/src/main/java/com/google/ai/edge/gallery/:组件职责入口位置Google AI Edge API(LiteRT-LM)LLM 推理接口:消息对话、工具调用、流式 token 回调runtime/LlmModelHelper.ktLiteRT 运行时轻量模型执行环境,应用通过 GPU 加速追求低延迟依赖库,无直接源码Hugging Face 集成模型发现与下载huggingface/HuggingFaceApiClient.ktAgent 运行时会话管理与工具调用执行流程agent/DefaultAgentRuntimeExecutor.kt、agent/sessions/LlmSessionManager.kt自定义任务框架Agent Chat、Mobile Actions、Scrapbook、Tiny Garden 均为任务模块customtasks/技能(Skills)系统用 SKILL.md 加 JS 脚本扩展模型能力tools/LoadSkillTool.kt、tools/RunJsTool.kt,样例在 skills/built-in/MCP 客户端把端侧模型接入外部工具服务器,当前标注为实验特性tools/RunMcpTool.kt、mcp/McpServersProvider.kt性能观测:如何查看 TTFT 与解码速度用例入口:内置 Benchmark 功能,界面在ui/benchmark/BenchmarkScreen.kt,结果展示在ui/benchmark/BenchmarkResultsViewer.kt,结果项包含 Decode tokens、Decode speed、Time to first token(即 TTFT)。单轮对话日志:Android/src/app/src/main/java/com/google/ai/edge/gallery/common/metrics/MetricsLogger.kt 会打印ttftxxx ms;common/metrics/LitertlmInferenceMetricsTracker.kt中可以看到具体口径:TTFT 为从发起到首个生成 token 的耗时,解码速度用 (总耗时 − TTFT) 除以生成 token 数,prefill 速度用提示词 token 数除以 TTFT。读数用于选型:同一台设备上横向对比多个模型,TTFT 反映流式对话的开口快慢,解码速度决定阅读流畅度;若你的场景提示词很长,重点看 prefill。同一模型换设备对比,则反映硬件差距。二次开发入口:从哪个目录改起自定义任务(函数调用):模板在 Android/src/app/src/main/java/com/google/ai/edge/gallery/customtasks/examplecustomtask/。新增函数调用的完整四步见 Function_Calling_Guide.md:在customtasks/mobileactions/Actions.kt注册动作类型,在MobileActionsTools.kt声明Tool函数,在MobileActionsViewModel.kt的performAction实现 Android 侧逻辑,按需修改MobileActionsTask.kt的系统提示词,最后在Android/src/下执行./gradlew installDebug装机。技能:规范与调试技巧见 skills/README.md。分三类:纯文本技能(仅需 SKILL.md)、JS 技能(scripts/index.html暴露window.ai_edge_gallery_get_result,可返回文本、base64 图片或内嵌 webview)、原生 intent(通过run_intent调用发邮件等系统动作)。应用内 Skill 管理器支持从精选列表、URL 或本地文件(adb push后导入)添加。自定义模型:模型管理在 Android/src/app/src/main/java/com/google/ai/edge/gallery/ui/modelmanager/,GlobalModelManager.kt中校验.litertlm文件,HfUrlImportDialog.kt支持直接粘贴.litertlm直链或 Hugging Face 模型卡 URL 导入。MCP 接入:流程与限制见 mcp/README.md。stdio 型本地服务器需先经 supergateway 转成 StreamableHTTP 再暴露公网地址;云端服务器则通过自定义请求头携带凭据。场景与选型建议端侧模型选型:同一台真机上对候选模型跑 Benchmark,结合 Prompt Lab 调整 temperature、top-k 等参数,用真实读数替代纸面参数。离线 agent 工具:skills/built-in/query-wikipedia/、skills/built-in/interactive-map/ 展示了在不把提示词发往云端的前提下给模型加工具;需要实时数据时可再挂一个本地 MCP 服务器。函数调用实验:Mobile Actions 与 Tiny Garden 均由 FunctionGemma 270m 微调版驱动,可自行微调模型并注册函数,文档同样在 Function_Calling_Guide.md。值得用:数据不能出设备、需要端侧真实性能数字、要快速验证 agent 工具链。不值得:上下文需求超过约 10k 词元(MCP 文档注明端侧模型窗口为 4k–10k)、需要服务器级并发、需要模型执行任意系统命令。小结把 Gallery 当作一块设备端推理的试验台:先下载模型跑通对话,再用 Benchmark 拿到 TTFT 与解码速度,然后按需沿 customtasks、skills、MCP 三条线扩展。仓库内的 README.md、DEVELOPMENT.md、skills/README.md、mcp/README.md 覆盖了从零构建到二次开发的完整说明。【免费下载链接】galleryA gallery that showcases on-device ML/GenAI use cases and allows people to try and use models locally.项目地址: https://gitcode.com/GitHub_Trending/gallery44/gallery创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考