2026年7月2日 周四晚上19:30,报名腾讯会议了解“如何构建自进化的动态知识库(Brain)”(限30人)
免费POC, 零成本试错
FDE知识库

FDE知识库

学习大模型的前沿技术与行业落地应用


收藏

ta是 Agent的未来吗? 从全球首个Software2.0架构应用说起

发布日期:2024-07-22 08:12:01 浏览次数: 2835
1990年代初,第一个3w网站诞生,人们用命令行来”浏览”网站,那时大家都不知道这玩意能干啥。
前几天,号称全球第一个Software2.0架构的应用(https://genweb.rahul.gs/)诞生,简陋的像个毛坯房,还漏雨,可能你去玩都一头雾水,ta是:
  • 全自然语言编程。

  • 没有后端逻辑,全部交给大模型处理。

  • 也没有前端渲染,全部实时生成。


也许这种感觉就像当年第一个www网站诞生时的感觉。我把它看做是一个Super Agent 应用的萌芽,ta会持续学习我们的使用习惯、思维逻辑,并与我们进行更自然的人机交互


但今天更重要的是想和大家聊聊支撑这个super Agent的Software2.0架构,以及我们如何用Software2.0的思维来构建AI agent。

    2. 什么是Software2.0架构


    简单来说,Software2.0就是完全基于神经网络的软件。

    2017年, OpenAI 创始人Karpathy 在博客中第一次提到Software2.0的概念,他说

    人们往认为神经网络只是机器学习中的一个工具,不幸的是这种理解是只见树木不见森林。ta们代表了软件开发方式的一次根本性的转变,ta们是软件2.0。
    People refer to neural networks as just “another tool in your machine learning toolbox”… Unfortunately, this interpretation completely misses the forest for the trees….they represent the beginning of a fundamental shift in how we develop software. They are Software 2.0.

    在软件1.0,源代码是由程序员编写,这些源代码经过编译,最终转换成一个二进制文件,这个文件能够执行有用的工作。
    在软件2.0中,源代码就是数据集和神经网络,而数据集定义了神经网络的参数,也定义了期望的行为
    In Software 1.0, human-engineered source code (e.g. some .cpp files) is compiled into a binary that does useful work. In Software 2.0 most often the source code comprises 1) the dataset that defines the desirable behavior and 2) the neural net architecture that gives the rough skeleton of the code, but with many details (the weights) to be filled in.

    原文:https://karpathy.medium.com/software-2-0-a64152b37c35
    前几天,Kaparthy 时隔7年再一次在twitter上写道:
    100%的软件 2.0计算机,只有一个神经网络,完全没有任何传统软件。
    100% Fully Software 2.0 computer. Just a single neural net and no classical software at all. 
    我用下面这张图来阐述我对software 2.0的理解

    如果把软件当做一个函数,在Software1.0时代,我们用if.. else.. 的规则来定义函数,比如if 红灯: then stop;else if 绿灯: then Go。在过去的几十年中,无数程序员在代码中定义了无数个类似的规则。


    而在Software2.0 时代,所有的软件都拥有同一个结构,即神经网络。程序员们无需再在函数内部写逻辑,而是用一万个诸如“ red:Stop;green:Go” 这样的数据对喂养给软件,使ta自己能习得“红灯停,绿灯行”的认知,在这里,软件是被数据和神经网络定义,而不再是被代码规则定义。


    这种范式的改变,衍生出以下一些零散的、不成框架的思考。


    思考1
    代码规则定义,意味着软件掌握在少数定义规则的人手中;
    数据和神经网络定义,意味着用户对软件的使用数据会直接影响软件本身,且这种影响不可解释,因此软件会从少数人的规则体现变为群体欲望的体现。你也可以说,人们的需求可以更容易、更直接、更充分地被满足(图中由箭头宽度代表需求被传递的效率)。


    思考2
    在Software1.0, 代码开源是真开源,因为规则在代码
    在Software2.0,模型开源是伪开源,因为定义模型的数据在主流的开源模型里都没有公布

    理论上,如果我们知道模型训练时使用了什么数据,就能让我们在面临具体业务时根据训练数据选择模型,比如有研究发现,使用了代码训练的模型比不使用代码训练的模型在推理能力上会强很多。
    然而,因为我们不知道训练数据,所以只能靠实验来评测模型。

    思考3
    在Software2.0中, 通用数据定义了通用模型,因为通用数据本身是由社会产生、贡献的,所以价值由象征着算力成本的Token价格来置换。就像水资源本来就属于全人类,所以我们的水费是用来支付水的搬运、处理费用的
    而专业数据定义了专业模型,因为专业数据是由专业人员贡献的,所以价值应该按照行业专家的咨询、人力价格等比例下降得出,比如我们很少听到一个法律模型按照token数来定价。

    所以企业的数据是有独特价值的,并最终会以模型的方式兑换出来。

    思考4

    套用函数思维,我们可以把软件当做一个函数Y=F(x),如果想控制软件的输出值Y:


    在Software1.0,我们通过更新代码完成。

    在Software2.0,需要通过控制提示词和数据来完成

      • 提示词方法包括更新提示词的内容、形式、顺序,ta比我们想象中重要。

      • 数据方法就是通过合理、有效的数据来改变参数,这便是微调。



      如果你接纳或者选择跟随Software 2.0观点,那么构建数据集会变得非常重要。


      对于Agent开发者来说,我们也多了一项控制Agent的方法,那就是通过构建面向Agent开发的数据集来提升Agent的专项能力。

      3. 面向Agent开发的数据集

      对于普通的AI应用开发者来说,改变模型参数的主要方式就是SFT(有监督微调)。在SFT中,训练数据总是成对出现:数据 & 标注。随着AI技术的发展,数据标注也产生了如下的变化:判断式标注→问答式标注→Agent workflow式标注。在下图中,我给出三种形式的例子(可放大图看例子更好理解)。


      而这三种形式的数据逐步让神经网络拥有了识别能力→对话能力→工作执行能力;

      也对应着三种产品形态:识别式产品 → ChatBot对话类产 → Agent思考+执行类产品。


      其中Agent workflow式的数据集是专为Agent而生,用Agent workflow式的微调称为”Agent tuning”。如果说Agent是比Chatbot更具想象力空间,那么Agent tuning在不久的将来也可能会成为提高Agent能力的主流手段之一,之所以说可能,是因为目前Agent tuning主要在学术界活跃,还没有什么实际应用(已经整理好的Agent tuning相关论文、代码、数据集等资料,公众号回复“Agent微调”即可获得飞书链接)。 


      那么Agent tuning的数据长什么样呢,我们把上图的数据样例理解一下:User 与 Assistant 之间产生了多轮对话,最后一次回答就是这组数据的标签。而这种对话正是遵循着Re-Act模式展开(什么是Re-Act模式参考产品经理研读:Agent的九种设计模式)。


      数据集来自:https://huggingface.co/datasets/THUDM/AgentInstruct/viewer/default/webshop


      实际上Agent workflow式的数据集里,每一组训练数据就是提示词中的one shot。当你有1000个类似的样本时,就可以把它作为训练数据集来微调模型。


      那么,Agent tuning的效果如何呢?在查阅了相关的论文和开源项目后发现:

      1. 经过Agent tuning后的小模型在专业任务上的表现和原有小模型相比确实有大幅度提高

      2. 然而,这样的小模型效果
      仍然比不上最好的大模型(GPT4o)


      在我们的实践中,Agent tuning的效果也是忽上忽下,这一进程仍然在艰难的探索之中,只能说目前没有定论:按照Software 2.0的理论是正确的,但这往往需要时间来实证,也可能我们还没有找到正确的方法。


      如果你或者你所在的企业恰好也在探讨这一块,欢迎评论区留言一起来聊一下。


      最后附上已经整理好的Agent tuning相关论文、代码、数据集等资料,公众号回复“Agent微调”即可获得飞书链接,希望能为你的前沿探讨省点力。


      53AI,企业落地大模型首选服务商

      产品:场景落地咨询+大模型应用平台+行业解决方案

      承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

      联系我们

      售前咨询
      186 6662 7370
      预约演示
      185 8882 0121

      微信扫码

      添加专属顾问

      回到顶部

      加载中...

      扫码咨询

      扫码登录
      登录即表示您同意《53AI网站服务协议》
      服务协议

      欢迎您使用【53AI 官方网站】(以下简称“本网站”或“我们”)。本《会员服务协议》(以下简称“本协议”)是您(以下简称“会员”或“用户”)与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。

      在您注册或登录前,请务必审慎阅读、充分理解各条款内容,特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时,即视为您已完全理解并同意接受本协议的全部内容。

      一、 定义

      本网站:指由【深圳市博思协创网络科技有限公司】运营的,域名为【53ai.com】的网站及相关移动端页面。

      会员服务:指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。

      知识库内容:指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。

      二、 账号注册与登录

      登录方式:本网站支持以下登录方式,您可根据实际情况选择:

      微信公众号授权登录:您同意将您的微信OpenID信息授权给本网站,用于创建或关联会员账号。

      手机验证码登录:您需提供真实有效的手机号码,并通过短信验证码完成身份验证与登录/注册。

      账号安全:您的账号仅限您本人使用,禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失,由您自行承担。

      实名认证:根据相关法律法规要求,我们可能要求您在特定功能下完成实名认证。如您拒绝提供,可能无法使用部分或全部服务。

      未成年人保护:若您未满18周岁,请在法定监护人的陪同下阅读本协议,并在征得监护人同意后使用本服务。

      三、 服务内容与规范

      知识库查阅权限:会员登录后,有权按照其会员等级对应的权限范围,在线浏览、检索本网站知识库中的相关文章及内容。

      服务变更:我们有权根据业务发展需要,调整、变更或终止部分服务内容,并将以网站公告、公众号消息等方式提前通知。

      禁止行为:您在使用服务时不得实施以下行为:

      利用技术手段批量爬取、下载、转存知识库内容;

      将知识库内容用于商业目的或未经授权地向第三方传播;

      干扰本网站正常运行或侵犯其他用户合法权益;

      发布违法违规信息或从事违反公序良俗的活动。

      四、 知识产权声明

      权利归属:本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有,受《中华人民共和国著作权法》等法律保护。

      有限许可:本网站授予会员一项非独占、不可转让、不可转授权的普通许可,仅限于个人学习、研究之目的在线查阅知识库内容。

      侵权追责:未经书面许可,任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现,我们保留追究其法律责任的权利。

      五、 个人信息保护

      我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息,请单独阅读 《隐私政策》。

      您通过微信公众号授权或手机号验证所提供的信息,我们将严格按照《个人信息保护法》的规定处理,仅用于身份识别、服务提供及安全验证等必要用途。

      您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。

      六、 免责声明

      内容准确性:知识库内容仅供参考,不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证,您应自行判断并承担使用风险。

      不可抗力:因自然灾害、政策法规变化、网络故障、第三方平台接口异常(如微信接口维护、运营商短信通道故障)等不可抗力导致的服务中断或延迟,我们不承担违约责任。

      第三方链接:本网站可能包含指向第三方网站的链接,该等网站的内容和服务不受我们控制,请您自行甄别风险。

      七、 违约责任

      如您违反本协议约定,我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施,并保留要求赔偿损失的权利。

      如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失,您应承担全部赔偿责任(包括但不限于罚款、赔偿金、律师费、公证费等)。

      八、 法律适用与争议解决

      本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。

      因本协议产生的或与本协议有关的任何争议,双方应友好协商解决;协商不成的,任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。

      九、 其他

      本协议构成双方就本服务达成的完整协议,取代此前任何口头或书面约定。

      本协议任一条款被认定为无效或不可执行的,不影响其他条款的效力。

      我们对本协议享有最终解释权,并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效,继续使用服务即视为同意修订内容。


      已查阅