中文大模型基准测评2024上半年报告

目录

2. SuperCLUE测评体系及数据集说明

2.SuperCLUE-Image文生图测评

3.SuperCLUE-V多模态理解测评

国内学术和产业界在过去一年半也有了实质性的突破。大致可以分为三个阶段，即准备期（ChatGPT发布后国内产学研迅速形成大模型共识）、成长期（国内大模型数量和质量开始逐渐增长）、爆发期（各行各业开源闭源大模型层出不穷，形成百模大战的竞争态势）。

2. 2024年值得关注的中文大模型全景图

截止目前为止，国内已发布开源、闭源通用大模型及行业大模型已有上百个，SuperCLUE梳理了2024年值得关注的大模型全景图。

总体趋势上，国内外第一梯队大模型在中文领域的通用能力差距在持续缩小，从2023年5月的30.12%的差距，缩小至2024年6月的4.94%。

来源：SuperCLUE，2024年7月9日

二、SuperCLUE通用能力测评

2) 测评方式与真实用户体验目标一致

不同于传统测评通过选择题形式的测评，SuperCLUE目标是与真实用户体验目标保持一致，所以纳入了开放主观问题的测评。通过多维度多视角多层次的评测体系以及对话的形式，模拟大模型的应用场景，真实有效的考察模型生成能力。

3) “Live”更新，测评体系/方法与时俱进

为进一步真实反应大模型能力，本次半年度测评采用多维度、多层次的综合性测评方案，由理科、文科和Hard三大维度构成。

【理科任务】分为计算、逻辑推理、代码测评集；

【文科任务】分为知识百科、语言理解、长文本、角色扮演、生成与创作、安全和工具使用七大测评集；

【Hard任务】本次测评首次纳入精确指令遵循测评集，另外复杂多步推理和高难度问题解决Hard测评集后续陆续推出。

1）GPT-4o领跑，国内大模型进展迅速

• GPT-4o以81分的绝对优势领跑 SuperCLUE基准测试，是全球模型中唯一超过80分的大模型。展现出强大的语言、数理和指令遵循能力。

• 国内大模型上半年发展非常迅速，其中有6个国内大模型超过GPT-4-Turbo-0409。绝大部分闭源模型已超过GPT-3.5-Turbo-0125。

2）国内大模型形成三大梯队，头部企业引领发展

• 国内大模型市场形成多梯队格局，头部企业凭借快速迭代、技术积累或资源优势，引领国内大模型发展。例如大厂模型以阿里的Qwen2-72B、商汤的SenseChat5.0等均以 75+的分数位居国内大模型第一梯队。

• 大模型创业公司的代表如GLM-4、Baichuan4、Kimi、MiniMax-abab6.5均有超过70分的表现，位列国内大模型第一梯队。

3）开源模型极大发展，有超出闭源模型趋势

• 开源模型Qwen2-72B在SuperCLUE基准中表现非常出色，超过众多国内外闭源模型，与Claude-3.5持平，与GPT-4o仅差4分。

• 零一万物推出的Yi-1.5-34B在开源领域表现不俗，有超过60分的表现，较为接近部分闭源模型。

随着技术进步和应用场景拓展，2024年下半年国内外大模型市场竞争将持续加剧，推动技术创新和产业升级。

6.SuperCLUE通用能力测评：三级细粒度分数

1）理科细粒度分数

2）文科细粒度分数

3）SuperCLUE细粒度全局分数

7.SuperCLUE模型象限

SuperCLUE评测任务可划分为基础能力和应用能力两个维度。

基础能力，包含：计算、代码、传统安全等能力。

应用能力，包括：工具使用、角色扮演等能力。

9. SuperCLUE理科测评

1）测评数据集及方法说明

a. GPT-4o领先，国内外有一定差距

• GPT-4o以81分的绝对优势领跑SuperCLUE基准理科测试，是全球模型中唯一超过80分的大模型。GPT-4-Turbo-0409得分77分，紧随其后。

• 国内大模型理科表现优异的模型，如Qwen2-72B、AndesGPT和山海大模型4.0稍落后于GPT-4-Turbo-0409，均取得76分的高分。但与GPT-4o还有较大差距。

b. 理科任务具有较高的挑战难度，区分度明显

• 理科任务有较高难度，我们可以发现，GPT-4o和GPT3.5-Turbo有17分的差距，Llama-3-70B比Llama-2-13B有34分的差距。

• 在国内闭源模型中，表现最高的模型（76分）和表现最差模型（58分）有18分的区分度。可见在理科任务上较能反应大模型之间的能力差距。

c. 小参数量模型在理科能力上表现不足

• 参数量较小的模型在SuperCLUE理科测评中，基本均为达到60分及格线，可见在难度较高任务上，参数量依然是影响较大的因素。

10. SuperCLUE文科测评

1）测评数据集及方法说明

2）SuperCLUE文科成绩

a. 国内外头部模型处于同一水平，均未达到80分良好线

• GPT-4o在文科任务上取得76分，并未超过80分，说明文科任务上实现高质量处理依然有较大提升空间。国内擅长文科的模型如Qwen2-72B、AndesGPT、通义千问2.5和 DeepSeek-V2同样取得76分，与GPT-4o处于同一水平。

• 另外国内大模型如SenseChat5.0、山海大模型4.0和360gpt2-pro取得75分，表现不俗。与GPT-4-Turbo-0409表现相当。

b. 文科任务模型间的区分度不明显，表现“中规中矩”

• 本次测评所有国内模型得分分布较为集中，没有较大的区分性，均处于及格线（60分）-良好线（80分）之间。

• 国内外闭源模型得分均处于70-80分，表现“中规中矩”，处理能力较为相似。

• 国内开源模型得分大部分处于60-70分，表现“基本可用”，但在质量上还有较大提升空间。

c. 模型参数量在文科能力上不是模型的决定性因素

• 本次测评中参数量最小的模型qwen2-1.5b（15亿参数量），依然有超过60分的表现，而qwen2-7b有超过70分的表现，与文心一言4.0表现接近。

文科任务上如何提高语言处理质量，增加内容生成和理解的优秀水平，是国内外大模型需要进一步优化的方向。

11. SuperCLUE-Hard测评

1）测评数据集及方法说明

a. 国内外模型在精确指令遵循能力上有一定差距

• GPT-4o在Hard任务（精确指令遵循）任务上取得85分，领跑全球大模型。Claude-3.5-Sonnet-200k仅随其后取得84分，表现同样不俗。是国内外模型中唯二超过80分的大模型。

• 国内表现最好的模型是GLM-4-0520和Qwen2-72B，取得79分，较GPT-4o低6分，还有一定的提升空间。

b. 精确指令遵循有较大区分度

• 本次测评所有模型得分的差异性较大，超出80分只有2个模型，且与排名第三的模型有5分差距。
  

• 国内仅有4个模型超过了75分，分别为GLM-4-0520、Qwen2-72B、SenseChat5.0和DeepSeek-V2。在国内大模型中较为领先。
  

• 国内闭源模型中得分最低的仅有60分，这说明高难度任务可以进一步区分模型之间的能力差距。
  

c. 小模型普遍不擅长精确指令遵循

• 本次测评中参数量最小的开源模型qwen2-1.5b在精确指令遵循任务上仅有18分，并且小于10B的模型均为达到60分及格线，是端侧小模型后续需要重点提升的能力。
  

12. SuperCLUE开源榜单

a. 中文场景国内开源模型具备较强竞争力

• Qwen2-72B领跑全球开源模型，较Llama-3-70B在中文能力上有较大领先性。

• Yi-1.5系列模型同样有不俗的表现，其中34B版本有超过60分的表现。

• 小参数量的模型发展迅速，如qwen2-1.5b与gemma-7b表现相当。

b. 在高难度任务上，不同的开源模型区分度较大。

• 在Hard任务中，Qwen2-72B和Llama-3-70B领先幅度很大，均有超出70分的表现。其他开源模型均未达到及格线。
  

Hard任务如精确指令遵循，可以很好的考察大模型的极限能力，后续将陆续增加复杂任务高阶推理和高难度问题解决等Hard任务，会进一步发现大模型的优化方向。

13. SuperCLUE端侧小模型榜单

2024年上半年小模型快速发展，可在设备端侧（非云）上本地运行，落地在不需要大量推理或需要快速响应的场景。

国内以qwen和Yi系列开源模型为代表，上半年进行了多次迭代。其中qwen2-7b（70亿参数）取得62分，打败了上一代版本的qwen1.5-32b（320亿参数），qwen2-1.5b（15亿参数）打败了Llama-2-13B-Instruct（130亿参数），展现了更小尺寸的模型的极致性能。

我们统计了所有大模型在测评中与GPT4-Turbo-0409的对战胜率。模型在每道题上的得分与GPT4-Turbo-0409相比计算差值，得到胜（差值大于0.5分）、平（差值在-0.5～+0.5分之间）、负（差值低于-0.5）。

1）整体胜率表现

从整体对战来看，国外领先模型GPT-4o以20.47%的胜率，66.81%的和率占据第一位，显示出其强大的整体能力。紧随其后的是Qwen2-72B-Instruct，胜率为18.86%，和率为65.06%，也展现出优于GPT4-Turbo-0409的实力。同样有着较强实力的模型还有AndesGPT、通义千问2.5、DeepSeek-V2、山海大模型4.0和SenseChat5.0等模型。

2）小模型胜率情况

在200亿以内参数的模型中qwen-2-7b的胜率排在首位，展现出不俗能力。排在2至3位的是Baichuan2-13B-Chat-v2、Yi-1.5-6B-Chat，同样有50%以上的胜和率，表现可圈可点。

3）在基础题目上与GPT-4-Turbo-0409差距有限

从胜率分布数据可以发现，大部分模型的和率都在50%以上。这说明国内外大部分模型在基础题目上与GPT-4-Turbo-0409的水平相近，随着任务难度的提升，不同模型的表现会有一定区分度。

SuperCLUE成熟度指数用以衡量国内大模型在SuperCLUE能力上是否成熟。

• 高成熟度指大部分大模型普遍擅长的能力，SC成熟度指数在0.8至1.0之间。

• 当前国内大模型成熟度较高的能力是【生成创作】和 【语言理解】，也是目前产业和用户侧大模型的重点应用场景。

• 中成熟度指的是不同大模型能力上有一定区分度，但不会特别大。SC成熟度指数在0.6至0.8之间。

• 当前国内大模型中成熟度的能力是【角色扮演】、【传统安全】、【知识百科】、【工具使用】、【长文本】，还有一定优化空间。

• 低成熟度指的是少量大模型较为擅长，很多模型无法胜任。SC成熟度指数在0.6以下。

• 当前国内大模型低成熟度的能力是【计算】、【逻辑推理】、【代码】、【精确指令遵循】。尤其在Hard任务的精确指令遵循的成熟度仅有0.23，是非常有挑战性的大模型应用能力。