天下苦OpenAI久矣 。2023年3月14日，OpenAI高调发布了令所有人眼前一亮的AI模型GPT-4。GPT-4模型出道即巅峰，这也造就了我在《关于OpenAI和ChatGPT，你不知道的5组数据！》一文中提到的几个重磅数据，ChatGPT发布5天用户数就突破了100万 ；两个月用户数突破1亿 ；OpenAI年化营收半年内翻倍至34亿美元 （约246亿人民币）。然而，一年多过去了，除了在GPT-4基础上更新了几个版本（包括2024年5月13日发布的GPT-4o），无数人心目中期盼的GPT-5模型迟迟没能发布。甚至连吊足了胃口的文本转视频模型Sora和GPT-4o的实时语音对话功能也是一“鸽”再“鸽”。
然而，在这个强敌环伺的AI领域，OpenAI的竞争对手可不会原地踏步，Anthropic就是其中最具代表性的强有力的对手之一。先是在2024年3月14日，Anthropic推出了在真正意义上足以和GPT-4模型抗衡的Claude 3系列模型。其次，在短短3个多月后的今天（6月20日），Anthropic再次重磅发布了Claude 3的升级版模型：Claude 3.5 Sonnet！
关于Claude 3.5 Sonnet 在开始解读Claude 3.5 Sonnet模型前，有必要先讲一下Claude 3系列模型。Claude 3模型是一个系列的统称，共分为三个版本：Claude 3 Haiku、Claude 3 Sonnet和最为出名的Claude 3 Opus。这三个AI模型的“智商”依次递增，但成本也依次递增，其中Claude 3 Opus模型在发布不久后就超越GPT-4登顶了LMSYS Leaderboard大模型排行榜。
Anthropic今天发布的Claude 3.5 Sonnet就是Claude 3 Sonnet模型的一个升级版本。据Anthropic官方表示，这是即将面世的Claude 3.5系列模型的首发之作。
Claude 3.5 Sonnet raises the industry bar for intelligence, outperforming competitor models and Claude 3 Opus on a wide range of evaluations, with the speed and cost of our mid-tier model, Claude 3 Sonnet.
Anthropic是这样描述Claude 3 Sonnet的“智商”（能力）的。行业标杆，超越竞争对手和Claude 3 Opus，保持了中档模型的响应速度和成本，这几个关键词简直把科技爱好者们的期待感拉满了。尽管Anthropic官方并没有明确表示超越了哪个竞争对手，但大家心里应该都清楚，“此时无声胜有声”。
AI模型“智商”的新标杆和翻倍的速度 以下是Claude 3.5 Sonnet在各项AI模型基准测试中的表现，以及与其他竞争对手模型的对比，包括：Claude 3 Opus、OpenAI的GPT-4o、谷歌的Gemini 1.5 Pro以及Meta的Llama-400b，这些模型都是目前这几家竞争对手公司的当家模型。
总结来看，Claude 3.5 Sonnet在各项测试中表现出色，尤其在研究生水平推理、本科水平知识掌握、编程能力和多语言数学等方面，均超越了前代模型和竞争对手，可以说是稳稳地打败了其他对比模型。仅在数学问题解决这一项测评中的结果略低于GPT-4o，其他测评的表现可谓是相当亮眼。
并且，Anthropic官方表示，Claude 3.5 Sonnet在把握细微差别、幽默感和复杂指令方面都有明显进步，在以自然、亲切的语气撰写高质量内容方面也很出色。
响应速度方面，Claude 3.5 Sonnet的速度是Claude 3 Opus的两倍。这种性能提升，加上具有成本效益的定价，使得Claude 3.5 Sonnet非常适合用于复杂任务，比如情景敏感的客户支持和多步骤工作流（multi-step workflow）的编排。响应速度这一点可以看作是对GPT-4o模型的一个回应，因为GPT-4o模型的一大特点也同样是极快的响应速度——GPT-4o的速度同样是GPT-4 Turbo模型的两倍。
详细解读 1. 研究生水平推理（GPQA, Diamond） 这个测试用来评估模型在研究生水平上的推理能力。Claude 3.5 Sonnet在零样本推理（0-shot CoT）中取得了59.4%的成绩，而Claude 3 Opus的成绩是50.4%，GPT-4o的成绩是53.6%。
2. 本科水平知识（MMLU） MMLU测试评估模型在本科水平上的知识掌握情况。Claude 3.5 Sonnet在五次样本测试中取得了88.7%的高分，在零样本推理中也达到了88.3%，明显优于Claude 3 Opus的85.7%，与GPT-4o的88.7%基本持平。
3. 编程能力（HumanEval） 这个测试衡量模型解决编程问题的能力。Claude 3.5 Sonnet在零样本情况下解决了92.0%的问题，优于Claude 3 Opus的84.9%和GPT-4o的90.2%。
4. 多语言数学（MGSM） MGSM测试模型在多种语言环境下解决数学问题的能力。Claude 3.5 Sonnet在零样本推理中取得了91.6%的成绩，略高于Claude 3 Opus的90.7%和GPT-4o的90.5%。
5. 文本推理（DROP, F1 score） 这个测试用来评估模型在文本推理任务中的表现。Claude 3.5 Sonnet在三次样本测试中取得了87.1%的高分，超过了Claude 3 Opus的83.1%和GPT-4o的83.4%。
6. 综合评估（BIG-Bench-Hard） BIG-Bench-Hard是一个综合评估模型在多个领域能力的测试。Claude 3.5 Sonnet在三次样本推理中达到了93.1%的成绩，远超Claude 3 Opus的86.8%。
7. 数学问题解决（MATH） 这个测试评估模型解决数学问题的能力。Claude 3.5 Sonnet在零样本推理中取得了71.1%的成绩，优于Claude 3 Opus的60.1%，但略低于GPT-4o的76.6%。
8. 小学数学（GSM8K） GSM8K测试模型在小学数学问题上的表现。Claude 3.5 Sonnet在零样本推理中取得了96.4%的成绩，略高于Claude 3 Opus的95.0%。
强大的多模态能力 多模态能力 是另一个AI模型的“兵家必争之地”，它能够直接体现一个AI模型对于除文字以外的内容（如文档、图片、语音等）的理解能力。而优秀的理解能力是好的执行和输出的前提条件，所以多模态能力对于模型来说是至关重要的一环。
Claude 3.5 Sonnet是Claude家族迄今为止最强大的视觉模型（vision model），在标准视觉基准测试中超越了Claude 3 Opus。这些显著的改进在需要视觉推理的任务中尤为明显，比如解释图表和图形。Claude 3.5 Sonnet还能准确地从不完美的图像中转录文本，这在零售、物流和金融服务等领域尤为重要，因为在这些领域，AI从图像、图形或插图中获得的信息往往比从文本中更多。
从标准化的视觉基准测试中可以看到，Claude 3.5 Sonnet在多个视觉任务的测试中表现出色，尤其在视觉数学推理、科学图表理解和图表问答等方面，均超越了前代模型和部分竞争对手。
详细解读 1. 视觉数学推理（Visual math reasoning, MathVista） 这个测试用来评估模型在视觉数学推理上的能力。Claude 3.5 Sonnet在零样本推理（0-shot CoT）中取得了67.7%的成绩，显著优于Claude 3 Opus的50.5%和Gemini 1.5 Pro的63.9%。
2. 科学图表（Science diagrams, AI2D） AI2D测试评估模型对科学图表的理解和解释能力。Claude 3.5 Sonnet在零样本情况下取得了94.7%的高分，超过了Claude 3 Opus的88.1%和GPT-4o的94.2%。
3. 视觉问答（Visual question answering, MMMU） 这个测试用来评估模型在视觉问答任务中的表现。Claude 3.5 Sonnet在零样本推理中达到了68.3%的成绩，优于Claude 3 Opus的59.4%和Gemini 1.5 Pro的62.2%。略低于GPT-4o的69.1%。
4. 图表问答（Chart Q&A, Relaxed accuracy） 这个测试评估模型在解释和回答图表问题上的能力。Claude 3.5 Sonnet在零样本推理中取得了90.8%的成绩，超过了Claude 3 Opus的80.8%和GPT-4o的85.7%。
5. 文档视觉问答（Document visual Q&A, ANLS score） ANLS测试评估模型在处理文档视觉问答任务中的表现。Claude 3.5 Sonnet在零样本情况下取得了95.2%的高分，显著高于Claude 3 Opus的89.3%和Gemini 1.5 Pro的93.1%。
Artifacts——使用Claude的新方式 除了Claude 3.5 Sonnet的发布，Anthropic在Claude AI平台上推出了一项新功能——Artifacts ，这个新功能扩展了用户与Claude互动的方式。当用户请求Claude生成内容如代码片段、文本文档或网站设计时，这些Artifacts（中文可译为：成果、生成物）会在对话窗口旁的专用窗口中显示。这样创建了一个动态的工作空间，用户可以实时查看、编辑和构建Claude的创作内容，轻松将AI生成的内容整合到他们的项目和工作流程中。
从更深层次的角度来看，Artifacts这一预览功能标志着Claude从对话型AI向协作工作环境的演变。Anthropic官方表示这只是Claude更广阔愿景的一个开始，不久之后将扩展到支持团队协作。在不久的将来，团队乃至整个组织将能够安全地将他们的知识、文档和正在进行的工作集中到一个共享空间，而Claude则作为随叫随到的团队伙伴，为他们提供支持。(不得不说，Claude这个饼画的还是挺大的。OpenAI和Anthropic都在努力争夺企业端的客户。)
如何使用Claude 3.5 Sonnet 接下来聊一聊小伙伴们比较关心的如何使用最新的Claude 3.5 Sonnet模型及其API价格。
Claude Pro和团队计划订阅用户可享受更高的使用速率限制可通过Google Cloud的Vertex AI使用 值得一提的是，Claude 3.5 SonnetAPI的这个价格仅仅是Claude 3 OpusAPI的五分之一！
即将推出 Anthropic官方表示将会不断优化“智商”、速度和成本之间的平衡。作为Claude 3.5系列模型的补充，将在今年晚些时候发布Claude 3.5 Haiku和Claude 3.5 Opus模型。
除了开发新一代模型，Anthropic还正在构建新的模式和功能，以支持更广泛的应用案例，比如Memory等新功能，这将赋予Claude记忆用户偏好和交互历史的能力，从而提供更加个性化和高效率的用户体验。（这一点ChatGPT已经基本实现了，Claude加油。）
Claude 3.5 Sonnet邮件通知全文
粤ICP备14082021号
免费POC，
零成本试错
