继 Gemma 3 和 Gemma 3 QAT 的成功发布之后，我们的先进开放模型系列具备了在单一云端或桌面加速器上运行的能力，我们正在进一步推进我们对可访问 AI 的愿景。Gemma 3 为开发者提供了强大的功能，现在我们正将这一愿景扩展到能够在您日常使用的设备 (您的手机、平板电脑和笔记本电脑) 上直接运行的高性能实时 AI。
https://developers.googleblog.com/en/gemma-3-quantized-aware-trained-state-of-the-art-ai-to-consumer-gpus/为了驱动下一代的 On-device AI 并支持各种应用，包括提升 Gemini Nano 的能力，我们设计了一种全新的尖端架构。这个下一代基础架构是在与高通技术 (Qualcomm Technologies)、联发科 (MediaTek) 和三星系统 LSI (Samsung System LSI) 等移动硬件领导者的紧密合作下打造的，并针对闪电般快速的多模态 AI 进行了优化，从而能够在您的设备上直接实现真正个性化和私密的体验。
Gemma 3n 是我们首个基于此突破性的共享架构构建的开放模型，开发者即日起就可以在早期预览版中开始体验这项技术。同样的先进架构也为下一代 Gemini Nano 提供支持，它将这些功能带到 Google 应用和我们的 On-device 生态系统的广泛功能中，并将在今年晚些时候推出。Gemma 3n 使您能够开始在此基础上进行构建，该基础将应用于 Android 和 Chrome 等主要平台。
△ 此图表按 Chatbot Arena Elo 评分对 AI 模型进行排名；分数越高 (顶部数字) 表示用户偏好度越高。Gemma 3n 在热门专有模型和开放模型中都名列前茅。
https://deepmind.google/models/gemma/gemma-3n/https://deepmind.google/technologies/gemini/nano/
Gemma 3n 利用了 Google DeepMind 一项名为 Per-Layer Embeddings (PLE) 的创新技术，该技术显著降低了 RAM 的使用量。虽然原始参数规模为 5B 和 8B，但这项创新允许您在移动设备上运行更大的模型，或从云端进行实时流式传输，其内存消耗与 2B 和 4B 模型相当，这意味着这些模型可以在仅 2GB 和 3GB 的动态内存占用下运行。您可以在我们的文档中了解更多信息：
https://ai.google.dev/gemma/docs/gemma-3n
通过探索 Gemma 3n，开发者可以提前预览开放模型的核心功能以及将通过 Gemini Nano 在 Android 和 Chrome 上提供的移动优先架构创新。
在本文中，我们将探讨 Gemma 3n 的新功能、我们负责任的开发方法，以及如何访问预览版。
Gemma 3n 专为在本地运行的快速、低占用空间的 AI 体验而设计，提供：
优化的 On-Device 性能和效率：与 Gemma 3 4B 相比，Gemma 3n 在移动设备上的响应速度提升了约 1.5 倍，质量显著提高，并通过 Per Layer Embeddings、KVC sharing 和高级 activation quantization 等创新技术降低了内存占用。
Many-in-1 灵活性：一个具有 4B 活跃内存占用 (active memory footprint) 的模型，原生包含一个嵌套的先进 2B 活跃内存占用子模型 (这要归功于 MatFormer 训练)。这提供了在运行中动态权衡性能和质量的灵活性，而无需托管单独的模型。我们还在 Gemma 3n 中引入了 mix'n'match 能力，可以从 4B 模型中动态创建子模型，以最佳地适应您的特定用例以及相关的质量/延迟权衡。敬请关注我们即将发布的技术报告中有关此研究的更多信息。
Privacy-First 和 Offline Ready：即使没有互联网连接，也可以在本地执行能够实现尊重用户隐私并可靠运行的功能。
通过音频扩展的多模态理解：Gemma 3n 可以理解和处理音频、文本和图像，并提供显著增强的视频理解能力。其音频能力使模型能够执行高质量的自动语音识别 (转录) 和翻译 (语音到翻译文本)。此外，该模型还接受跨模态的交错输入，从而能够理解复杂的多模态交互。(相关功能即将公开发布)
改进的多语言能力：提升了多语言性能，特别是在日语、德语、韩语、西班牙语和法语方面。在多种语言基准测试中表现出色，例如在 WMT24++ (ChrF) 上取得了 50.1% 的优异成绩。
△ 此图表显示了 Gemma 3n 的 mix-n-match (预训练) 能力的 MMLU 性能与模型大小的关系。
https://arxiv.org/abs/2310.07707
Gemma 3n 将通过以下方式赋能新一代智能 On-the-go 应用，使开发者能够：
构建实时的互动体验，能够理解并响应用户环境中的实时视觉和听觉信息。
利用组合的音频、图像、视频和文本输入 (全部在设备上私密处理) 来实现更深层次的理解和基于上下文的文本生成。
开发先进的以音频为中心的应用，包括实时语音转录、翻译和丰富的语音驱动互动。
以下是您可以构建的体验的概述和类型
我们对负责任的 AI 开发的承诺至关重要。与所有 Gemma 模型一样，Gemma 3n 经过了严格的安全评估、数据治理以及与我们的安全政策进行微调对齐。我们以谨慎的风险评估方式对待开放模型，并在 AI 领域不断发展的同时持续完善我们的实践。
您可以通过预览版率先体验 Gemma 3n 的强大功能：
初始访问 (现已可用)：
https://aistudio.google.com/app/prompts/new_chat?model=gemma-3n-e4b-ithttps://developers.googleblog.com/en/google-ai-edge-small-language-models-multimodality-rag-function-calling
Gemma 3n 标志着在普及前沿且高效 AI 的道路上又迈出了新的一步。我们非常期待能看到，随着这项技术的预览版开始逐步开放，您将构建出怎样的精彩应用。
粤ICP备14082021号
免费POC，
零成本试错
