一起看大模型是什么？|从外到内理解大模型系列

发布日期：2024-07-18 04:38:33 浏览次数： 5912

最近有很多人问我大模型是什么东西，是怎么运行的？如果有新的知识，大模型怎么更新？为什么要用RAG直接把知识告诉大模型不香吗？用RAG我的知识搜不到，不就完犊子了吗？

因此，准备最近跟大家一起分享一些容易懂的文章，慢慢深入，跟大家一起学习交流。

大模型概述

大模型是指具有数千万甚至数千亿参数的深度学习模型。近年来，随着计算机技术和大数据的快速发展，深度学习在各个领域取得了显著的成果，如自然语言处理，图片生成，工业数字化等。为了提高模型的性能，研究者们不断尝试增加模型的参数数量，从而诞生了大模型这一概念。

按参数量划分

根据OpenAI的分类方法，可以将AI模型分为以下几类：

小型模型：≤ 1百万个参数

中型模型：1百万 – 1亿个参数

大型模型：1亿 – 10亿个参数

极大型模型：≥ 10亿个参数

就目前来说，各种越来越大的模型出现，这个划分已有点不合时宜，10亿级参数量已成为开源大模型的入门门槛，百亿、千亿是主流产品。

按输入类型划分

语言大模型(NLP)：是指在自然语言处理(Natural LanguageProcessing，NLP)领域中的一类大模型，通常用于处理文本和语音数据和。这类大模型的主要特点是它们在大规模语料库(网上的一切可以获得的数据，如：微博、博客、网页等)上进行了训练，以学习自然语言的各种语法、语义和语境规则。例如:GPT系列(OpenAI)、Bard(Google)、文心一言(百度)。

视觉大模型(CV)：是指在计算机视觉(Computer Vision，CV)领域中使用的大模型，通常用于图像处理和分析。这类模型通过在大规模图像数据上进行训练，可以实现各种视觉任务，如视频生成、图像分类、目标检测、图像分割、姿态估计、人脸识别等。例如:VIT系列(Google)、文心UFO、华为盘古CV、INTERN(商汤)

多模态大模型：指能够处理多种不同类型数据的大模型，例如文本、图像、音频等多模态数据。这类模型结合了 NLP 和 CV 的能力，以实现对多模态信息的综合理解和分析，从而能够更全面地理解和处理复杂的数据。例如: GPT-4o（OpenAI）等

多模态大模型是未来的趋势：比如现在生成的各种小姐姐、小哥哥，已经越来越活灵活现。

现有大模型梳理

大模型的目标

我们已文本为例，来介绍模型是如何拟合知识的。不管是什么类型的大模型，目标就是为了学习计算一个句子出现的概率，并使它符合人类世界的规律。比如：“南京市长江”，后面跟 “大桥”的概率就比跟 “小桥”的概率大，一个好的语言模型，应该能学会这种规律。

大语言模型，由于参数量比较大，有了更加炸裂的效果。由于学习了现有互联网和书本的全部内容，我们可以问他：

也可以问他：

好的大模型应该是有一定的推理能力的，可以看出，上面这个大模型产品他自己调用了计算器，计算出了结果，这也是大模型实现Agent的例子，后面会详细介绍到。

在训练ChatGPT类的语言模型时，我们的输入是将文本依次输入到模型中，然后预测下一个词，以此让模型学会，语言中的内部联系，例如：

南京市->LLM->长江->LLM->大桥

这样可以看出，前面的信息越准确，后面预测出的词置信度会越高，因为南京市后面会接的东西很多，南京市长江后面跟的内容范围就会窄很多;所以我们在使用大模型时，尽量要把内容输准确、详细，这样更容易得到想要的效果。

由于网上的信息来源于各种各样的生产者，有些人会故意生产错误的信息，导致模型可能学习到了错误的知识，使用时需要注意。

总体来说，文本、语音、视频被编码后输入模型，没有太多的区别，详细内容可以私信博主获得指导。

大模型采用的架构

Attention Is All You Needhttps://arxiv.org/pdf/1706.03762

Transformer最重要的能力是Attention，可以直观的、不受长度限制的，在生成新内容时，给予前面出现词的不同权重，例如：

今天天气不好，我的心情受到了影响，外面在下雨

在预测下雨的时候，天气不好的贡献就会比较大，这样可以使模型的效果更加可控。如果想了解详细计算过程后面会讲到。

根据这种网络架构的变形，主流的框架可以分为Encoder-Decoder, Encoder-Only和Decoder-Only，其中：

1）Encoder-Only，仅包含编码器部分，主要适用于不需要生成序列的任务，只需要对输入进行编码和处理的单向任务场景，如文本分类、情感分析等，这类代表是BERT相关的模型，例如BERT，RoBERT，ALBERT等

2）Encoder-Decoder，既包含编码器也包含解码器，通常用于序列到序列（Seq2Seq）任务，如机器翻译、对话生成等，这类代表是以Google训出来T5为代表相关大模型。

3）Decoder-Only，仅包含解码器部分，通常用于序列生成任务，如文本生成、机器翻译等。这类结构的模型适用于需要生成序列的任务，可以从输入的编码中生成相应的序列。同时还有一个重要特点是可以进行无监督预训练。在预训练阶段，模型通过大量的无标注数据学习语言的统计模式和语义信息。这种方法可以使得模型具备广泛的语言知识和理解能力。在预训练之后，模型可以进行有监督微调，用于特定的下游任务（如机器翻译、文本生成等）。这类结构的代表也就是我们平时非常熟悉的GPT模型的结构，所有该家族的网络结构都是基于Decoder-Only的形式来逐步演化。

大模型能做什么

1、先看看大模型的回答：

大模型因其庞大的规模和强大的计算能力，在人工智能领域具有广泛的应用潜力。以下是一些大模型能够执行的任务和应用领域：
自然语言处理（NLP）：  文本理解与生成：撰写文章、生成报告、自动摘要、翻译等。  语言翻译：实现不同语言之间的自动翻译。  情感分析：判断文本的情感倾向，如正面或负面。  问答系统：回答用户提出的问题。
图像识别与处理：  图像分类：识别图像中的对象属于哪个类别。  目标检测：在图像中识别并定位多个对象。  图像分割：区分图像中的不同区域或对象。  图像生成：生成新的图像或对现有图像进行编辑。
语音识别：  将语音转换为文本，用于自动字幕生成、语音助手等。
推荐系统：  分析用户行为和偏好，提供个性化的内容或产品推荐。知识问答：
结合检索和生成技术，提供准确的信息和答案。机器阅读理解：  理解长文本并回答关于文本内容的具体问题。文本摘要：  自动提取文本的关键信息，生成摘要。
内容创作：  生成创意写作、广告文案、社交媒体帖子等。
医疗健康：  辅助诊断、药物发现、患者记录分析等。
科学研究：  材料科学、生物信息学、化学等领域的数据分析和模式识别。
游戏和娱乐：  游戏NPC的智能对话、虚拟助手、交互式故事生成等。
教育：  个性化学习体验、自动评分、教育内容生成等。
自动驾驶：环境感知、决策制定、路径规划等。
机器人技术：  机器人的视觉理解、导航、人机交互等。
安全和监控：  异常检测、欺诈识别、网络安全等。
大模型的这些能力使其成为推动技术进步和创新的关键工具，但同时也需要注意其潜在的风险和挑战，如数据隐私、算法偏见、模型透明度和可解释性等。