2026年7月9日 周四晚上19:30,报名腾讯会议了解“如何构建自进化的动态知识库(Brain)”(限30人)
免费POC, 零成本试错
FDE知识库

FDE知识库

学习大模型的前沿技术与行业落地应用


收藏

GPT4+prompt ≈ GPT o1 ? 都2024了, 还在微调、自训练模型?

发布日期:2024-09-13 18:44:47 浏览次数: 3392
作者:博金斯的AI笔记

微信搜一搜,关注“博金斯的AI笔记”

今早上班一打开ChatGPT, 按照习惯先把gpt4 mini切换成gpt4, 没想到多了几个看不懂的模型--o1 . What the heck is it ?
简单喵了一眼资讯, 说是在数学,量子物理,经济学这些更需要思考,需要多步骤执行的场景有了提升, 回答的问题更清晰更丰富。
在模型训练就特别强调让模型自己先花更多的时间去思考, 修正自己的思考过程, 同时也根据OpenAI的各种safety rule安全规则在模型安全性有了更深入思考, 意味着让GPT越狱更难
之所以叫o1的原因是因为这是AI在复杂问题思考上的关键一步, 因此回到数字1


就我自己适用GPT最多的2个场景--"英文翻译"和"AI论文理解"来说, 确实回答的内容更多, 解释更详细 下图是同一翻译问题在o1 preview, o1 mini ,gpt4的不同回答


由上可知, o1 mini效果最好, 毕竟o1-preview只是o1模型的正式版, 我之后就把o1 mini作为常用模型
在AI论文解释的GPT4+prompt和o1 mini测试效果如图:


左边的提示词在OpenAI官方prompt框架, prompt小白基础入门(birkinsAI论文GPT)这篇文章有写
简单来看, gpt o1在基本的这些文本理解, 文本翻译场景有了更详细的思考, 包括一句一句逐步清晰地解释, 除了翻译本身, 还解释原句本身的含义,而这些在之前的GPT4中需要专门写prompt来达到同样的效果; openai自己在介绍o1也强调这个模型并不没有在工具调用和web搜索上有进步, 就只是在复杂问题思考上有的增强, 而这些思考原来可以通过人为写提示词prompt来解决。因此, 我自己简单总结fast takeaway: GPT 4 + prompt ≈ GPT o1
这又一次印证了我去年学到的一个规律: "选择模型, 大家都想一股脑先用参数最大最新的模型, 实际在该模型上加知识库, api工具, prompt, 工作流能让低参数的模型实现zero-shot 大参数模型的效果"
可以想象一下, 之后出现的GPT5, 或者未来的模型的生成质量,就可能是目前gpt4+Workflow+知识库+prompt +微调
接着微调再多说一点:
我在提升RAG检索回答质量: Shortwave的 4 大优化指南有解释为什么在RAG和微调中,更倾向微调,这里再对这个话题进行补充
2023年大家由于FOMO, 都在说训练, 说微调, 很多人也确实去做了, 像BloombergGPT招了9个全职人员, 在金融数据上专门做训练。结果呢, 不到一年就被新更新的GPT-4超过。
从0开始自训练模型在2024年已经不具有吸引力, 谁有那么大的人力,算力,资金投入, 谁的训练水平能赶得上现在的Claude,GPT,qwen.....我之前看有人在农业上进行自训练, 结果到现在也没什么水花
在微调上也要谨慎, 原因有3个
第一, 需要更多算力,人力和时间
RAG 不仅在保持高效性能的同时使用更少的算力资源,还具备灵活应对信息检索准确性问题的能力。具体而言,当检索到的信息不准确或有害时,RAG 允许对索引进行调整或替换,而不需要重新训练整个模型。
第二, 相比RAG这类在模型上加api工具,加知识库, 微调的内容全部在黑箱里, 要修改内容得重新训练, 而不是只需修改某个api或知识库的文档, 也不能做不同知识库不同工具的清晰划分
第三, 微调的基座LLM发生了版本更新, 有更大的参数, 更新更优质的模型, 得更换模型版本重新训练, 里面的很多机制跟之前不一样, 模型的理解能力也会发生变化。就prompt,在更换另一个模型或现有模型升级后, prompt对模型质量提升的效果都会不一样, 微调发生的变化也会有的, 又是新一轮的投入
针对第3点,只要是发生模型更换----需要重新走一套流程, 需要重新微调, 写prompt, 设置api工具和工作流, 一个节省时间的策略是制定有效的eval。对结果进行断言定性评估, LLM评估,人工评估, 在新旧两个模型上评估, 这样明白可以判断两者差距, 是否真的需要更换; 并且评估中获得的反馈, 标注的评估数据,可以作为下一次微调的数据
针对LLM evals,在终于看懂大模型评估LLM evals, 5 个策略让GPT更听话有写, 虽然有些格式错误, 但还是有些扎实的干货
什么时候真的需要微调/本地部署?
用户数据需要私有化, 模型要全权自己掌控, 根据模型打造自己的系统产品 ; 为满足用户需求,需要用到市面公开没有的保密数据
最后回到GPT, 现在构建GPTs都不能选择模型, 默认都是GPT-4, 不知道什么时候能升级成GPT o1 。既然o1有了更深入思考的能力, 在学习prompt时, 应该学得更好
下图是我把AI论文GPTs的提示词发送到gpt o1的对话框后, gpt o1的回答效果, 跟Figure 3的差异不大


妄想gpt 1o能帮我阅读总结网页文章, 遭到了更严格的拒绝


从目前的体验来看, gpt 1o的没有提示词的情况下表现得更好, 回答得更完善清晰, 而加了prompt后,效果跟GPT4差不多;针对灰色地带的一些问题,反而更严格, 用OpenAI的话说,就是更安全
"we have come up with a new safety training approach that harnesses their reasoning capabilities to make them adhere to safety and alignment guidelines. By being able to reason about our safety rules in context, it can apply them more effectively."


53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询

扫码登录
登录即表示您同意《53AI网站服务协议》
服务协议

欢迎您使用【53AI 官方网站】(以下简称“本网站”或“我们”)。本《会员服务协议》(以下简称“本协议”)是您(以下简称“会员”或“用户”)与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。

在您注册或登录前,请务必审慎阅读、充分理解各条款内容,特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时,即视为您已完全理解并同意接受本协议的全部内容。

一、 定义

本网站:指由【深圳市博思协创网络科技有限公司】运营的,域名为【53ai.com】的网站及相关移动端页面。

会员服务:指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。

知识库内容:指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。

二、 账号注册与登录

登录方式:本网站支持以下登录方式,您可根据实际情况选择:

微信公众号授权登录:您同意将您的微信OpenID信息授权给本网站,用于创建或关联会员账号。

手机验证码登录:您需提供真实有效的手机号码,并通过短信验证码完成身份验证与登录/注册。

账号安全:您的账号仅限您本人使用,禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失,由您自行承担。

实名认证:根据相关法律法规要求,我们可能要求您在特定功能下完成实名认证。如您拒绝提供,可能无法使用部分或全部服务。

未成年人保护:若您未满18周岁,请在法定监护人的陪同下阅读本协议,并在征得监护人同意后使用本服务。

三、 服务内容与规范

知识库查阅权限:会员登录后,有权按照其会员等级对应的权限范围,在线浏览、检索本网站知识库中的相关文章及内容。

服务变更:我们有权根据业务发展需要,调整、变更或终止部分服务内容,并将以网站公告、公众号消息等方式提前通知。

禁止行为:您在使用服务时不得实施以下行为:

利用技术手段批量爬取、下载、转存知识库内容;

将知识库内容用于商业目的或未经授权地向第三方传播;

干扰本网站正常运行或侵犯其他用户合法权益;

发布违法违规信息或从事违反公序良俗的活动。

四、 知识产权声明

权利归属:本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有,受《中华人民共和国著作权法》等法律保护。

有限许可:本网站授予会员一项非独占、不可转让、不可转授权的普通许可,仅限于个人学习、研究之目的在线查阅知识库内容。

侵权追责:未经书面许可,任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现,我们保留追究其法律责任的权利。

五、 个人信息保护

我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息,请单独阅读 《隐私政策》。

您通过微信公众号授权或手机号验证所提供的信息,我们将严格按照《个人信息保护法》的规定处理,仅用于身份识别、服务提供及安全验证等必要用途。

您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。

六、 免责声明

内容准确性:知识库内容仅供参考,不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证,您应自行判断并承担使用风险。

不可抗力:因自然灾害、政策法规变化、网络故障、第三方平台接口异常(如微信接口维护、运营商短信通道故障)等不可抗力导致的服务中断或延迟,我们不承担违约责任。

第三方链接:本网站可能包含指向第三方网站的链接,该等网站的内容和服务不受我们控制,请您自行甄别风险。

七、 违约责任

如您违反本协议约定,我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施,并保留要求赔偿损失的权利。

如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失,您应承担全部赔偿责任(包括但不限于罚款、赔偿金、律师费、公证费等)。

八、 法律适用与争议解决

本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。

因本协议产生的或与本协议有关的任何争议,双方应友好协商解决;协商不成的,任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。

九、 其他

本协议构成双方就本服务达成的完整协议,取代此前任何口头或书面约定。

本协议任一条款被认定为无效或不可执行的,不影响其他条款的效力。

我们对本协议享有最终解释权,并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效,继续使用服务即视为同意修订内容。


已查阅