新上线7天前0 投票
谷歌更新 Android Bench 引入新 LLM，但 Gemini 仍落后
谷歌近期对 Android Bench 进行了重要更新，加入了多个新的大型语言模型（LLM）测试项目，旨在为开发者提供更全面的 AI 性能评估基准。然而，测试结果显示，谷歌自家的 Gemini 模型在多项指标上仍落后于竞争对手。
更新亮点
Android Bench 是谷歌推出的用于评估 Android 设备 AI 性能的工具。此次更新新增了 Gemini Nano、Llama 3.2 和 Phi-3-mini 等模型的测试支持，覆盖了从端侧推理到云端协作的多种场景。开发者现在可以利用这些新基准来优化应用，确保在不同硬件上获得一致的 AI 体验。
Gemini 表现不佳
尽管谷歌积极推动 Gemini 系列模型，但在 Android Bench 的初步测试中，Gemini Nano 的推理速度和精度均不及 Llama 3.2 和 Phi-3-mini。尤其是在自然语言理解和代码生成任务上，Gemini 的得分明显偏低。这可能与模型压缩和硬件适配有关，但也反映出谷歌在端侧 AI 领域的竞争压力。
行业影响
此次更新对开发者社区意义重大。随着 AI 应用向移动端迁移，统一的基准测试有助于筛选最优模型。谷歌鼓励开发者参与 Android Bench 的反馈和优化，以推动基准测试更贴近实际使用场景。不过，Gemini 的落后表现也引发了对谷歌 AI 战略的讨论：是继续坚持自有模型，还是开放更多第三方支持？
小结
Android Bench 的升级为移动 AI 生态提供了更清晰的评估标准，但谷歌仍需在模型性能上追赶对手。未来，开发者可能会更倾向于选择 Llama 或 Phi 等开源模型，除非 Gemini 能实现显著突破。