Langfuse 是一个开源 LLM 工程平台，可帮助团队协作调试、分析和迭代他们的 LLM 应用程序。
1、概述：核心平台功能
发展
可观察性：检测你的应用并开始将跟踪信息导入 Langfuse（快速入门、跟踪）
跟踪应用程序中的所有 LLM 调用和所有其他相关逻辑
适用于 Python 和 JS/TS 的异步 SDK
@observe()Python 的装饰器
OpenAI SDK、Langchain、LlamaIndex、LiteLLM、Flowise 和 Langflow 的集成
API（在新标签页中打开）
Langfuse UI：检查和调试复杂日志和用户会话（演示、跟踪、会话）
提示管理：在 Langfuse 内部管理、版本控制和部署提示（提示管理）
提示工程：使用LLM Playground测试和迭代您的提示
监视器
测试
为什么选择 Langfuse？
构建 LLM 应用程序的挑战以及 Langfuse 如何提供帮助
在实现流行的 LLM 用例（例如检索增强生成、使用内部工具和 API 的代理或背景提取/分类作业）时，开发人员面临着一系列不同于传统软件工程的独特挑战：
跟踪和控制流：许多有价值的 LLM 应用程序依赖于对基础模型的复杂、重复、链式或代理调用。这使得调试这些应用程序变得困难，因为很难在扩展的控制流中找出问题的根本原因。
使用 Langfuse，可以轻松捕获 LLM 应用程序的完整上下文。我们的客户端 SDK 和集成与模型和框架无关，能够捕获执行的完整上下文。用户通常跟踪 LLM 推理、嵌入检索、API 使用情况以及与内部系统的任何其他交互，以帮助查明问题。Langchain 等框架的用户受益于自动化检测，否则 SDK 提供了一种符合人体工程学的方式来定义 Langfuse 要跟踪的步骤。
输出质量：在传统软件工程中，开发人员习惯于测试是否存在异常以及是否符合测试用例。基于 LLM 的应用程序是不确定的，而且很少有严格的质量评估标准。了解应用程序的质量（尤其是大规模应用程序的质量）以及“良好”的评估是什么样的是一项主要挑战。托管模型的变更超出了用户的控制范围，这加剧了这个问题。
使用 Langfuse，用户可以将分数附加到生产轨迹（甚至是其中的子步骤）上，以便更接近于测量质量。根据用例，这些分数可以基于基于模型的评估、用户反馈、手动标记或其他隐式数据信号。然后，当想要了解部署到生产中的更改的影响时，可以使用这些指标来监控特定用户和应用程序版本/发布随时间推移的质量。
混合意图：许多 LLM 应用程序不会严格限制用户输入。对话式和代理式应用程序通常会处理千差万别的输入和用户意图。这带来了一个挑战：团队使用自己的思维模型构建和测试他们的应用程序，但现实世界的用户通常有不同的目标，并导致许多令人惊讶和意想不到的结果。
使用 Langfuse，用户可以将输入分类为应用程序的一部分，并获取这些额外的上下文，以便稍后深入分析用户行为。
Langfuse 开发生命周期中的功能
2、LLM 应用程序追踪
LLM 应用程序使用越来越复杂的抽象，例如链、带有工具的代理和高级提示。Langfuse 中的嵌套跟踪有助于了解正在发生的事情并确定问题的根本原因。
为什么要对 LLM 应用程序使用追踪？
为什么选择 Langfuse？
开源
低性能开销
Python 和 JavaScript 的 SDK
与流行框架集成：OpenAI SDK (Python)、Langchain (Python、JS)、LlamaIndex (Python)
用于自定义集成的公共 API
适用于整个 LLM 应用程序开发生命周期的工具套件
3、Langfuse 中的 Trace 简介
Langfuse 中的跟踪由以下对象组成：
粤ICP备14082021号
免费POC，
零成本试错
