我要投稿

金融问答：AI搜索评估榜单

发布日期：2024-06-06 06:57:41 浏览次数： 2428

作者：一格评测

微信搜一搜，关注“一格评测”

评估背景

为了能真实反映大模型在实际金融行业中的水平，给从业者做desk research或各类调研时，提供一个真实可信的参考。

1 评测集构成

项目	介绍
题目数量	90样本 45个独立题目，评测时每个模型采样2次，因此得到90样本的评测集
题目来源	来自于金融/行研的从业者贡献，比如券商投行分析师、咨询consultant、大厂战略分析师
题目示例	造车新势力今年一季度的销量、收入、净利润，按照顺序进行排序，用表格输出

2 评估结论

在90样本的评测集上：

Perplexity.ai （Pro版本）的正确率显著高于其他模型，正确率达83%，置信区间为 [89%,73%]
第二梯队的模型为GPT-4o、Kimichat，正确率略微超过50%
第三梯队的模型为通义千问、文心一言4，正确率不足一半，在金融行研场景可用性较低

	回答正确率	95%置信区间
PPLX（Pro）	83%	+6%/-10%
GPT-4o	57%	+10%/-10%
Kimichat	57%	+10%/-10%
鹅厂元宝	50%	+10%/-10%
通义千问	43%	+10%/-11%
文心一言4	40%	+11%/-10%

3 评估方法

分为3个步骤，分别如下：

端到端获取模型回答：针对业内人士常用的6个模型，在PC端上获取回答，确保是端到端的效果评估
自动化评估：用GPT-4-1106-preview模型作为判分员，为每个题进行打分
专家人工校验：打完分以后，由human expert统一校验，修正不准的结果，最后统计summarize结论

结论建议

对于很多金融业强搜索场景，Perplexity.ai (Pro) 确实可以提高工作效率。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-10-28

2025 Evident AI Index 重磅解读：AI鸿沟之下，你的银行是否已被时代抛弃？

2025-10-21

花旗银行要求8成员工参加AI提示词培训

2025-09-04

人工智能：AI大模型加速金融行业基于AI原生的智能重构

2025-08-25

智能体落地的真相：10%是AI，90%是软件工程

2025-08-22

行业落地分享：浦银理财AI Agent应用案例

2025-08-19

银行业AI治理框架与风险平衡

2025-08-14

金融领域AI任务通用核心能力分类体系

2025-08-12

当AI预见你的消费，看Paypal如何打造"未付先知"的智能支付新世界

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

人工智能：AI大模型加速金融行业基于AI原生的智能重构

2025-09-04

智能体落地的真相：10%是AI，90%是软件工程

2025-08-25

行业落地分享：浦银理财AI Agent应用案例

2025-08-22

金融领域AI任务通用核心能力分类体系

2025-08-14

AI将消灭中产阶级！前谷歌高管惊人预警：未来只剩金字塔尖0.1%和底层

2025-08-06

谁为 Data Agent “买单”？

2025-08-11

银行业AI治理框架与风险平衡

2025-08-19

当AI预见你的消费，看Paypal如何打造"未付先知"的智能支付新世界

2025-08-12

2025 Evident AI Index 重磅解读：AI鸿沟之下，你的银行是否已被时代抛弃？

2025-10-28

花旗银行要求8成员工参加AI提示词培训

2025-10-21

大家都在问

2025 Evident AI Index 重磅解读：AI鸿沟之下，你的银行是否已被时代抛弃？

2025-10-28

谁为 Data Agent “买单”？

2025-08-11

区域型银行如何实现AI战略突围？

2025-08-02

AI大家说 | 前沿企业如何成功应用AI？

2025-07-14

AI大模型赋能，金融行业将迎来Deepseek时刻？

2025-07-01

如何利用DeepSeek帮我做金融理财?

2025-03-20

摩根大通CEO戴蒙：落地450个AI应用靠什么？

2025-03-10

智能金融文档处理：如何用Agentic工作流程重塑决策未来？

2025-01-04

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： [email protected]

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部