从RAG到TAG：探索表增强生成（TAG）的力量

发布日期：2024-11-16 08:11:05 浏览次数： 3171

作者：Halo咯咯

微信搜一搜，关注“Halo咯咯”

.01

概述

在人工智能（AI）不断发展的时代，数据的交互与利用方式也随之演变。在AI驱动的数据检索领域，出现了两种重要的方法：检索增强生成（RAG）和最近崭露头角的表增强生成（TAG）。尽管RAG通过将AI与外部数据检索系统结合，实现了有效的信息获取，但TAG则通过使大型语言模型（LLM）能够直接与结构化数据库交互，提供了一种全新的范式。

在这篇文章中，我们将深入探讨TAG，分析其如何超越RAG，并介绍由TAG-Research开发的强大LOTUS库，提供一些使用LOTUS的理论代码示例。同时，我们还将探讨TAG在各个行业（包括金融）中的实际应用，展现其变革潜力。

.02

理解RAG与TAG

什么是检索增强生成（RAG）？

检索增强生成（RAG）将检索系统与LLM相结合。它使用基于向量的嵌入方法搜索和检索相关文档，然后利用这些文档增强LLM的回答。这种方法在LLM需要访问训练数据之外的最新信息时特别有效。

RAG的工作原理：

查询编码：用户的自然语言查询被转换为向量表示。
文档检索：系统在文档数据库中搜索与查询向量最相似的文档。
响应生成：LLM使用检索到的文档和自身知识库生成回答。

应用案例：

客户支持系统获取相关政策更新。
聊天机器人提供基于最新新闻文章的信息。

什么是表增强生成（TAG）？

表增强生成（TAG）提供了一种更直接和结构化的方法，允许LLM使用SQL或其他数据库特定查询语言查询数据库。TAG让LLM能够：

直接访问结构化数据：从关系数据库中检索精确的数据点。
处理复杂查询：管理涉及聚合、排序和多字段操作的查询。
综合有意义的响应：根据精确数据生成详细答案。

TAG的工作原理：

查询合成：LLM解释用户的自然语言查询并将其转换为SQL命令。
查询执行：SQL查询在数据库上执行，以检索精确数据。
答案生成：LLM根据查询结果生成自然语言响应。

TAG的优势：

精准性：直接访问结构化数据确保更高的准确性。
复杂性：能够处理涉及多种操作的多面查询。
效率：通过消除嵌入的需求，减少计算开销。

.03

为什么TAG优于RAG？

1. 直接访问结构化数据带来更高的精准度

RAG通过向量嵌入近似数据检索，这可能导致结果不够精确，尤其在处理细微查询时。相比之下，TAG直接访问结构化数据库，允许其检索精确的数据点。

示例：

RAG：搜索“被认为是经典的高票房浪漫影片”可能会检索提到这些影片的文档，但未必提供准确的排名。
TAG：执行SQL查询直接从数据库过滤和排名影片，确保结果准确且量身定制。

2. 处理复杂、多面查询

TAG在管理涉及多个字段和操作（如排序、过滤和聚合）的复杂查询方面表现优异，而RAG由于依赖相似度检索在这方面有所欠缺。

示例：

金融分析：生成季度增长排名前几的股票清单需要聚合和排序数据，而TAG能够轻松处理这些任务。
医疗研究：确定不同人群的某项手术的平均恢复时间涉及复杂的数据处理，更适合使用TAG。

3. 降低对嵌入的依赖

像RAG这样的基于嵌入的检索系统在处理大型数据集时可能资源密集，而TAG通过使用SQL查询直接访问数据，降低计算成本，提高速度。

优势：

效率：更快的数据检索，在实时环境中至关重要。
可扩展性：在处理大型数据集时表现更佳。

.04

引入LOTUS：增强TAG的能力

由TAG-Research开发的LOTUS库是一个强大的语义查询引擎，旨在扩展TAG的能力。它提供了一个灵活且声明式的编程模型，能够使LLM无缝交互结构化和非结构化数据。

LOTUS的关键特性

语义操作符：针对表格数据的自然语言处理专用函数。
sem_filter：根据自然语言条件过滤行。
sem_join：使用基于语言的标准连接表。
类似Pandas的API：提供与Pandas相似的接口，方便熟悉Python的数据科学家和工程师使用。
与LLM集成：与包括OpenAI在内的各种LLM配置，利用AI进行自然语言解释和数据处理。

优势：

简化需要对数据进行复杂推理的AI驱动应用的开发。
增强TAG在传统SQL能力之外处理复杂数据查询的实用性。

.05

使用Azure OpenAI SDK和LOTUS实现TAG：实践示例

为了说明TAG的实现，我们将提供使用Azure OpenAI SDK和LOTUS库的代码示例。

前提条件

Azure账户：访问Azure OpenAI服务。
Python环境：Python 3.6或更高版本。
数据库设置：访问关系数据库（例如，SQL Server、PostgreSQL）。

安装所需库

pip install azure-ai-openai lotus-nlp pyodbc pandas

设置环境

# Azure OpenAI SDK
from azure.identity import DefaultAzureCredential
from azure.ai.openai import OpenAIClient

# LOTUS Library
import lotus
# Database Libraries
import pyodbc
import pandas as pd
# Set up Azure OpenAI Client
endpoint = "https://your-openai-resource.openai.azure.com/"
credential = DefaultAzureCredential()
openai_client = OpenAIClient(endpoint=endpoint, credential=credential)
# Set up LOTUS with OpenAI LLM
llm = lotus.OpenAI(azure_openai_client=openai_client)
# Database Connection
conn = pyodbc.connect(
    'DRIVER={ODBC Driver 17 for SQL Server};'
    'SERVER=your_server;DATABASE=your_database;UID=your_username;PWD=your_password'
)```

将数据加载到LOTUS

假设我们有一个电影表：

# Load data into a Pandas DataFrame
movies_df = pd.read_sql_query("SELECT * FROM movies", conn)

# Create a LOTUS table
movies_table = lotus.Table.from_dataframe(movies_df, name="movies", llm=llm)```

示例1：寻找高票房浪漫经典

自然语言查询：

“列出票房最高的前5部被认为是经典的浪漫影片。”

使用LOTUS：

# Apply semantic filter
filtered_movies = movies_table.sem_filter("genre is romance and is considered a classic")

# Sort and select top 5
top_movies = filtered_movies.sort_values(by="box_office", ascending=False).head(5)
print(top_movies[['title', 'box_office']])

解释：

sem_filter：利用LLM解释自然语言条件。
排序和选择：标准的Pandas操作。

示例2：复杂的金融查询

让我们在金融背景下展示TAG的一个示例用例。

自然语言查询：

“识别上个季度收入增长超过20%且市盈率低于15的科技公司。”

实现：

# Load financial data
stocks_df = pd.read_sql_query("SELECT * FROM stocks", conn)
stocks_table = lotus.Table.from_dataframe(stocks_df, name="stocks", llm=llm)

# Apply semantic filter
filtered_stocks = stocks_table.sem_filter(
    "sector is technology and revenue growth last quarter above 20% and P/E ratio below 15"
)
print(filtered_stocks[['company_name', 'revenue_growth', 'pe_ratio']])

解释：

直接交互：TAG借助LOTUS允许直接查询复杂条件。
不需要复杂的SQL：自然语言条件就足够了。

.06

TAG的实际应用

1. 医疗和医学研究

用例：

查询：“找出50-60岁患者在X手术后的平均恢复时间。”

TAG优势：直接查询各个维度的患者数据，确保分析准确和相关。

实现：

# Assuming patient_data_table is a LOTUS table
filtered_patients = patient_data_table.sem_filter(
    "age between 50 and 60 and underwent Procedure X"
)

average_recovery = filtered_patients['recovery_time'].mean()
print(f"Average Recovery Time: {average_recovery} days")

2. 客户支持

用例：

查询：“找出客户投诉的主要问题。”

TAG优势：通过分析客户支持表，识别投诉模式。

实现：

# Assuming customers_table is a LOTUS table
high_value_customers = customers_table.sem_filter(
    "purchases over $1,000 last month and high engagement"
)

print(high_value_customers[['customer_id', 'total_purchases', 'engagement_score']])

.07

结语

表增强生成（TAG）正快速成为AI驱动数据检索的新标准，通过直接与结构化数据交互，提升了准确性和处理复杂查询的能力。通过LOTUS库的引入，TAG进一步扩展了其潜力，使开发人员能够构建高效的、基于数据的应用程序，满足不断增长的行业需求。

随着企业在利用数据获取竞争优势的过程中，TAG的实施将不仅限于提升用户体验，更将成为推动行业创新的核心驱动力。在金融、医疗和客户支持等领域，TAG的实际应用展现了其变革性的潜力，未来将为更多行业的数字化转型铺平道路。