Dosu：Github维护Agent，与LangSmith携手打造可持续学习Agent

如果你经常因为各种Bug在Github的Issues里面翻来翻去，你有可能会见过Dosu在帮忙解决这些问题。

https://github.com/chatchat-space/Langchain-Chatchat/issues/3961

Dosu是一个人工智能驱动的维护Github的Agent，帮助开源维护人员鼓励贡献者、组织问题、分类bug、回答问题等等。

https://github.com/apps/dosubot

Dosu的CEO Devin Stein发现，受欢迎的开源项目会花费更多的时间在维护上，而不是开发新功能。Dosu通过接管开发人员的部分工作，让开发者专注功能创新，同时为社区提供即时支持，解决用户问题。

Dosu于2023年6月底发布。最初的用户反馈很少，Dosu团队每天仅使用grep 和 print 语句，通过检查日志就能找出改进的地方。

与传统的代码更新不同，改变大型语言模型（LLM）的逻辑并不简单。很难知道一个小的改动如何影响整体性能。

因此需要一种方法来衡量更改的影响。对于每一个更改，能够确保：

评估驱动开发 (EDD, Evaluation driven development) 与测试驱动开发一样，为Dosu提供了开发的最终目标。

通过EDD，有一个明确的流程来改进 Dosu：

这种开发工作流程的效果很好，但随着使用量的增长，跟上Dosu的步调变得很困难。

如今，Dosu已安装在数千个Github仓库中，并全天生成响应。

Dosu团队构建了数十个子模块来智能处理不同类型的场景，并且随着模型研究的发展，不断迭代解决问题的方法。

虽然 Dosu的成长令人兴奋，但也面临着挑战。Dosu活动的增加使得监控响应和识别生产中的故障模式几乎变得不可能，而这对于EDD工作流程至关重要。

Dosu团队寻找一种工具，不仅可以帮助监控Dosu的活动，而且足够灵活，可以融入现有的工作流程。一些标准包括：

在探索了一些工具后，Dosu团队发现Langchain推出的LangSmith工具似乎可以满足所有的这些要求！

LangSmith最让Dosu团队兴奋的不是它时尚的UI或广泛的功能集，而是它的SDK。

LangSmith SDK提供了Dosu团队所追寻的细粒度控制和可定制性。

要尝试 LangSmith，只需使用@traceable向一些与 LLM 相关的函数添加一个装饰器。

装饰器@traceable的一个令人意想不到的强大功能是它可以将函数和LLM调用跟踪发送给LangSmith。

这使我们能够在LangSmith UI的单个跟踪中查看原始函数输入、渲染的提示模板和LLM输出。

LangSmith开箱即用，让我们可以了解Dosu的所有活动。下一步是利用LangSmith识别故障模式并将其集成到EDD工作流程中。

LangSmith 的高级搜索功能可以轻松识别异常行为。

我们可以使用一系列标准执行搜索，包括：明确的用户反馈、最近的错误事件、响应时间延迟或负面情绪。 

LangSmith还允许我们将额外的元数据附加到每个跟踪，以进一步扩展其搜索功能。

一旦我们找到失败的行为，EDD工作流程就与以前相同。

尽管提示工程（prompt engineering）对于大型语言模型（LLM）的性能提升至关重要，但Dosu不仅仅是一个LLM，它是一个产品。

如果产品依赖于用户的提示工程能力，会导致产品体验不稳定。

如果提示工程不可行，那么微调（fine-tuning）呢？Dosu拥有足够的流量，收集微调数据集相对容易，但微调也有一些致命的缺点：

静态上下文学习也容易受到数据漂移的影响

持续的上下文学习是个简单而有效的方案

上下文学习的一个优雅的部分是只有一个变量需要调整：示例。

为了让Dosu了解组织的细节，我们所需要做的就是，为该组织在给定时间，针对给定任务选择最佳示例。

在选择最好的例子之前，需要先收集它们。

如前所述，当用户更正Dosu回答时，我们会将其更正结果保存为该任务的示例，然后将其与用户的组织相关联。

我们将所有这些示例存储在一个数据库中，我们将其称为存储示例（类似于传统的 ML 特征存储）。

现在，每当Dosu要完成任务时，我们都可以搜索存储示例以查找最相关的示例。这将我们的学习问题转变为检索问题，类似于我们在RAG中所做的。

最终的持续上下文学习流程在概念上很简单：

最终结果正是我们所寻求的：Dosu以一种自然的方式来了解组织并随着时间的推移适应其变化。

LangSmith拥有轻松实施持续学习的所有构建模块。

为了收集更正示例，LangSmith可以将更正结果作为反馈附加到运行(run)中。

对于我们的存储示例，可以依赖LangSmith的数据集。要将示例插入LangSmith，我们可以使用规则或通过数据集API插入它们。

持续学习能够创造神奇的产品体验。它使最终用户能够定制Dosu以满足他们的需求。

通过不断学习，Dosu可能会犯错误，但我们可以确保 Dosu像伙伴一样，从这些错误中吸取教训，不再犯同样的错误。

自动标记只是Dosu团队融入持续学习的例子之一。他们正在积极探索其他方法，将持续学习整合到检索、答案生成和 Dosu 的许多其他任务中。