Gemini Embedding 2：首个原生五模态 embedding 模型

Google DeepMind 今天发了 Gemini Embedding 2，第一个原生五模态 embedding 模型
文本、图片、视频、音频、PDF，五种东西，首次编码进同一个向量空间

它能处理什么

五种模态，支持 100+ 语言：

• • 文本：最多 8192 个 input tokens
• • 图片：每次最多 6 张，PNG / JPEG
• • 视频：最长 128 秒，MP4 / MOV
• • 音频：最长 80 秒，MP3 / WAV（不支持 AAC、FLAC）
• • PDF：最多 6 页

这五种东西可以混着传。一次 API 调用里同时丢一段文字、三张图、一段录音进去，模型返回一个向量，这个向量理解的是它们之间的关系

以前要做类似的事（比如用一句话搜到相关的视频片段），得给每种模态各跑一个模型，各建一个索引，再写代码把结果拼起来。现在一个模型、一个索引就够了

Google 给了这样的例子：

from google import genai
from google.genai import types

client = genai.Client()

result = client.models.embed_content(
    model="gemini-embedding-2-preview",
    contents=[
        "What is the meaning of life?",
        types.Part.from_bytes(
            data=image_bytes,
            mime_type="image/png",
        ),
        types.Part.from_bytes(
            data=audio_bytes,
            mime_type="audio/mpeg",
        ),
    ],
)

在这里，三种模态，一次调用，一个向量

跑分

默认输出 3072 维向量。支持灵活缩维（Matryoshka Representation Learning），缩小之后跑分几乎不掉：

• • 3072 维：MTEB 68.17
• • 2048 维：MTEB 68.16
• • 1536 维：MTEB 68.17（比 2048 还高 0.01）
• • 768 维：MTEB 67.99

768 维的存储成本是 3072 维的四分之一，跑分只掉了 0.18

有个反直觉的细节：1536 维的分数比 2048 维略高。Google 建议开发者优先用 3072、1536、768 三个档位

补个背景。前代 gemini-embedding-001 目前仍然排在 MTEB English 榜第一，均分 68.32，领先第二名 5 分多。Embedding 2 在纯文本上没拉开明显差距，核心增量在多模态

定价

• • 文本：$0.20 / 百万 tokens
• • Batch API：半价，$0.10 / 百万 tokens
• • 图片、音频、视频：按 Gemini API 标准媒体 token 费率

做个对比：

• • 前代 gemini-embedding-001（纯文本）：$0.15 / 百万 tokens
• • OpenAI text-embedding-3-large（纯文本）：$0.13 / 百万 tokens
• • Cohere Embed v4（文本 + 图片）：$0.12 / 百万 tokens

多了音频、视频、PDF 三种模态，价格比前代涨了 33%。考虑到能力的增量，这个溢价不高

竞品

多模态 embedding 不是没人做过：

• • Cohere Embed v4：文本 + 图片，不支持音频和视频，128K tokens 长上下文
• • CLIP 系列 / Jina CLIP v2：图片 + 文本
• • Nomic：图片 + 文本

Gemini Embedding 2 是第一个在一个商用 API 里覆盖五种模态 + 100 语言的

开源侧追得快。NVIDIA 的 Llama-Embed-Nemotron-8B 领跑多语言 MTEB，Qwen3-Embedding-8B 拿到 70.58 分，支持 32 到 4096 灵活维度。但这些目前都还是纯文本

坑

几个明确的问题：

向量空间不兼容
gemini-embedding-001 和 gemini-embedding-2-preview 的向量空间完全不同。想升级，只能把整个数据集全部重新编码一遍，重建索引。没有渐进迁移的办法

音频限制紧
80 秒上限，只支持 MP3 和 WAV。30 分钟的会议录音要切成 20 多段

视频 128 秒
超过两分钟就要自己分片

PDF 最多 6 页
合同、研报、论文基本都超

还在 Public Preview
API 容量可能有限，规格在正式发布前可能还会变。做原型没问题，上生产要掂量

早期反馈

Google 引用了法律科技公司 Everlaw 的 CTO Max Christoff 的说法。他们用 Gemini 多模态 embedding 做诉讼发现（从海量证据里找关键信息），百万级记录上精确率和召回率都有提升，图片和视频搜索是之前完全没有的能力

接入方式

模型名 gemini-embedding-2-preview，通过 Gemini API 或 Vertex AI 调用

已支持：LangChain、LlamaIndex、Haystack、Weaviate、QDrant、ChromaDB、Pinecone、Vector Search

Google 做了个多模态语义搜索的 demo，可以直接试看这里：https://findmemedia.lmm.ai/