我要投稿

大模型的嵌入——Embedding与向量——Ve ctor

发布日期：2024-12-28 11:11:01 浏览次数： 2618

作者：AI探索时代

微信搜一搜，关注“AI探索时代”

“ 向量是大模型的基石，嵌入是大模型的入口 ”

最近在研究RAG然后带来了对嵌入与向量的思考；毕竟嵌入与向量是实现大模型的基础；嵌入解决的是数据向量化的问题，而向量解决的是数据之间的关系问题。

Embedding中文翻译是嵌入，但更形象的理解是——在机器学习和大模型中，嵌入是一种数据向量化或向量表示的技术；简单来说就相当于一个转换器，把人类能够理解的数据包括文本，图像等转换为大模型方便处理的向量数据。

而向量是数学概念中的一个表示有大小和方向的量，其空间几何意义就是一个带有方向的箭头，并且可以平移；而更直观的理解可以把向量当成一个多维矩阵，更确切的说是用多维矩阵来描述向量。

因此，我们在大模型技术中所说的向量指的并不是空间维度；而是数据所构成的维度。所以说，向量是一个数学概念，而矩阵是向量在计算机中的载体。

嵌入与向量

向量

向量在数学上表示的一个有方向和大小的量，在计算机中的载体是一个多维矩阵；因此向量从某些方面讲就具备矩阵的性质，比如维度变换。

在大模型中数据一半通过多维矩阵来描述，比如大模型参数中有一个很重要的参数就是维度(dimension)；这个维度指的就是多维矩阵的维度，维度越高，能够表示的场景就越复杂。

但同样，由于矩阵中存在着太多无用数据；因此就产生了密集矩阵和稀疏矩阵的区别；而稀疏矩阵可以通过降维的方式来压缩其矩阵大小，以此来获取更高的存储效率。

高维矩阵与低维矩阵的区别就类似于图片中的像素点；像素点越多，图片质量越好，观感上就更细腻；而像素点越低，图像就越模糊，丢失的东西就越多。

但同样的图片效果怎么样，除了像素点之外还有你观看距离的影响，离得越远，像素点的影响越小。

而为了解决近距离观看的效果，升维就有了用武之地；而远距离观看，就可以对数据进行降维处理，节省空间，提升效率。

而至于怎么描述数据之间的语义关系，就是通过向量之间的计算——比如欧式距离，余弦，内积等。

嵌入

嵌入虽然本质上都是把离散数据映射到高维矩阵中，通过向量的空间关系来捕捉数据之间的语义关系；但其在不同的场景中又有一定的区别。

词嵌入

词嵌入是将单词映射为数值向量，以捕捉单词间的语义和句法关系，为自然语言处理任务提供有效的特征表示。

方法与技术：词嵌入通过预测单词上下文（如Word2Vec）或全局词频统计（如GloVe）来学习，也可使用深度神经网络捕捉更复杂的语言特征。

图像嵌入

图像嵌入是将图像转换为低维向量，以简化处理并保留关键信息供机器学习使用。

方法与技术：利用深度学习模型（如CNN）抽取图像特征，通过降维技术映射到低维空间，训练优化嵌入向量。

在机器学习中，Embedding 主要是指将离散的高维数据（如文字、图片、音频）映射到低纬度的连续向量空间。这个过程会生成由实数构成的向量，用于捕捉原始数据的潜在的关系和结构。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-05-23

Harness Monitor：当多个 Agent 同时写代码时，如何看住质量

2026-05-23

从 Appshots 到 Goal Mode：Codex 正在变成工作流 Agent

2026-05-23

2小时烧掉9亿token后，我发现了OpenAI和Anthropic在/goal上的本质区别

2026-05-23

我在一天内完成10场用户访谈，领导大受震撼

2026-05-23

Codex 的 computer use 功能，为什么这么好用？

2026-05-22

我让3个AI吵了一整天架，它们把PRD写完了

2026-05-22

Cursor 把内部代码审查工具放出来了，AI 写代码之后，质量风险变了

2026-05-22

Codex 又又又更新了，这次能拍图带上下文，/goal 也正式上线了

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

Claude Opus 4.7刚刚曝光！Claude Code一夜重构，7x24小时替你打工

2026-04-15

OpenAI Codex CLI 完整使用指南

2026-04-07

刚刚Qwen 3.6 Plus上线预览：1M上下文，阿里Coding/Agent翻身战打响

2026-03-31

2026年国内如何注册 Claude 账号教程

2026-03-13

独家| DeepSeek-V4终于要来了：梁文锋憋半年大招，多模态+长期记忆全面破局

2026-03-17

Claude Code 和 Codex 接入 Figma MCP 保姆级教程

2026-04-07

香港终于能直接用 Gemini 了，内地用户能用上吗？

2026-03-17

编程选GPT-5.4，还是GPT-5.3-Codex？

2026-03-21

GPT5.5来了，最大特点解析

2026-04-24

刚刚，GPT-5.4 发布，百万上下文、最强全能模型

2026-03-06

大家都在问

Codex 的 computer use 功能，为什么这么好用？

2026-05-23

前有用友YonClaw，今有金蝶灵基，中国软件双雄的AI底牌谁能笑到最后？

2026-05-21

Harness Engineering：AI 能在真正"出事会炸"的后端系统里写代码吗？

2026-05-19

谁来给企业端即将大规模入职的Agent盖办公室？

2026-05-09

鹅厂员工觉得好的code模型应该具备什么能力？

2026-05-09

Markdown要被抛弃了？Claude Code工程师自曝：我已彻底放弃使用Markdown！团队倾向使用HTML！网友：其他编辑工具会被淘汰吗？

2026-05-09

AI吞噬软件的叙事要分化了？

2026-05-08

为什么同一个模型，在 Claude Code/Codex CLI 里感觉像换了个脑子？

2026-05-07

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件 FDE AI+医疗 MaxKB Palantir Glean Openclaw