基于LangChain爬虫增强RAG应用

发布日期：2025-02-17 15:01:52 浏览次数： 2674

作者：DataFunTalk

微信搜一搜，关注“DataFunTalk”

本文将介绍如何结合网络爬虫与LangChain，通过分步指南实现LLM数据增强。

在本指南中，你将学习：

· 为什么网络爬虫是增强LLM实时数据的有效方法

· 在LangChain中使用爬取数据的优势与挑战

· 分步教程：构建完整的LangChain网络爬虫集成

用网络爬虫赋能LLM应用

网络爬虫是从网页中提取数据的技术。这些数据可用于支持RAG（检索增强生成）应用，并增强大语言模型（LLM）的能力。

RAG应用需要实时、领域特定或海量数据集，而这些数据通常无法通过静态数据库获取。网络爬虫通过从文章、商品列表或社交媒体等多样化来源提取结构化和非结构化数据，填补了这一空白。

在LangChain中使用爬取数据的优势与挑战

LangChain是一个强大的AI驱动工作流框架，支持将LLM与多样化数据源无缝集成。它擅长通过结合LLM与实时、领域特定知识完成数据分析、摘要和问答任务。然而，获取高质量数据始终是难题。

网络爬虫可以解决这一问题，但需应对以下挑战：

· 反爬机制：如验证码（CAPTCHA）和动态网页。

· 合规性与效率：维护合规且高效的爬虫耗时且技术复杂。

Bright Data的Web Scraper API提供了预配置的爬取端点，支持100+网站，通过IP轮换、验证码自动破解和JavaScript渲染等功能，实现高效、可靠的数据收集。

分步教程：用Bright Data实现LangChain网络爬虫

本教程将演示如何构建一个LangChain爬虫脚本，目标是从CNN文章中提取内容，并通过Bright Data Web Scraper API和OpenAI进行摘要生成。

我们将以CNN的以下文章为目标:

我们将在这里构建的示例是一个简单的起点，但使用LangChain可以轻松扩展附加的特性和分析。例如，您甚至可以基于SERP数据创建一个RAG聊天机器人。

按照下面的步骤开始吧！

前期准备

要完成本教程，您将需要以下内容:

· 您的计算机上安装了Python 3+

· OpenAI API密钥

· 一个Bright Data数据账户

如果您错过了这些，请不要担心。我们将指导您完成从安装Python到获得 OpenAI 和Bright Data证书的整个过程。

步骤1：项目初始化

首先，检查你的机器上是否安装了Python 3。如果没有，下载并安装它。

在终端中运行此命令，为项目创建一个文件夹:

mkdir langchain_scraping

langchain_scrping将包含您的Python LangChain抓取项目。

然后，导航到项目文件夹，并在其中初始化一个Python虚拟环境:

cd langchain_scraping python3 -m venv env

注意：在Windows上，使用python而不是python3。

现在，在您最喜欢的Python IDE中打开项目目录。PyCharm社区版或带有Python扩展的Visual Studio Code就可以了。

在langchain_scraping中，添加一个script.py文件。这是一个空Python脚本，但它很快就会包含LangChain的网页抓取逻辑。

在IDE的终端中，使用下面的命令激活虚拟环境:

./env/bin/activate

或者，在Windows上运行:

env/Scripts/activate

太棒了！现在你已经完全准备好了。

步骤2：安装依赖库

Python LangChain抽取项目依赖于以下库:

· python-dotenv：从.env文件中加载环境变量。它将用于管理敏感信息，如Bright Data和OpenAI凭据。

· requests：执行HTTP请求以与Bright Data的Web Scraper API交互。

· langchain_openai：通过openai SDK对OpenAI的LangChain集成。

在激活的虚拟环境中，用以下命令安装所有依赖项:

pip install python-dotenv requests langchain-community

步骤3：准备你的项目

在scripts.py中，添加以下导入:

from dotenv import load_dotenv import os

这两行允许您读取环境变量文件。

注意：os来自Python标准库，所以你不需要安装它。

然后，在项目文件夹中创建一个.env文件来存储所有凭据。下面是您当前的项目文件结构应该是什么样子的：

在脚本.py中用下面一行指示python-dotenv从.env中加载环境变量:

load_dotenv()

现在，您可以通过以下方式从.env文件或系统中读取环境变量：

os.environ.get("")

酷啊！是时候配置Bright Data的Web Scraper API解决方案了。

步骤4：配置Web Scraper API

正如本文开头所提到的，网页抓取带来了一些挑战。此外，使用Bright Data的Web Scraper API等一体化解决方案，这将大大简化工作。这些API允许您毫不费力地从超过100个网站检索经过解析的内容。

作为另一种方法，请参阅我们关于如何删除新闻文章的教程。

要设置Web Scraper API，请参阅官方文档或按照下面的说明进行操作。

如果您还没有，请创建一个Bright Data帐户。登录后，进入您的帐户仪表盘。在这里，点击左侧的“Web Scraper API”按钮：

由于目标站点是CNN.com，请在搜索输入中输入“cnn”，然后选择“CNN新闻-按URL分类”抽取器：

在当前页面上，点击"Create token"按钮，生成一个Bright Data API token：

这将打开以下模式，您可以在其中配置token的详细信息：

完成后，单击"Save"保存并复制Bright Data API token的值。

在您的.env文件中，将此信息存储如下：

BRIGHT_DATA_API_TOKEN=""

用从模态中复制的值替换。

你的CNN新闻Web Scraper API页面现在看起来应该类似于下面的示例：

我们开始吧！配置您的Web Scraper API请求并使用它。

步骤5：使用Bright Data进行Web抓取

Web Scraper API会在前面看到的页面上启动根据您的需求配置的Web Scraper任务。然后，该过程生成包含刮取数据的快照。

下面是Web Scraper API抽取过程的工作概述:

· 您向Web Scraper API发出请求，通过URL提供要抓取的页面。

· 将启动一个网页抓取任务，从这些URL中检索和解析数据。

· 一旦任务完成，您将反复查询快照检索API以获取结果数据。

CNN Web Scraper API的POST端点是:

"https://api.brightdata.com/datasets/v3/trigger?dataset_id=gd_lycz8783197ch4wvwg&include_errors=true"

该端点接受包含url字段的对象数组，并返回如下响应：

{"snapshot_id":""}

使用此响应中的snapshot_id，您需要查询以下端点以检索数据：

https://api.brightdata.com/datasets/v3/snapshot/?format=json

如果任务仍在进行中，则此端点返回HTTP状态代码202，当任务完成且数据准备就绪时，则返回200。建议的方法是每10秒钟对该端点进行一次轮询，直到任务完成。

任务完成后，端点将以以下格式返回数据：

[    {        "input": {            "url": "https://www.cnn.com/2024/12/16/weather/white-christmas-forecast-climate/",            "keyword": ""        },        "id": "https://www.cnn.com/2024/12/16/weather/white-christmas-forecast-climate/index.html",        "url": "https://www.cnn.com/2024/12/16/weather/white-christmas-forecast-climate/index.html",        "author": "Mary Gilbert",        "headline": "White Christmas forecast: Will you be left dreaming of snow or reveling in it?",        "topics": [            "weather"        ],        "publication_date": "2024-12-16T13:20:52.800Z",        "updated_last": "2024-12-16T13:20:52.800Z",        "content": "Christmas is approaching nearly as fast as Santa’s sleigh, but almost anyone in the United States fantasizing about a movie-worthy white Christmas might need to keep dreaming. Early forecasts indicate temperatures could max out around 10 to 15 degrees above normal for much of the country on Christmas Day. [omitted for brevity...]",            "videos": null,        "images": [                "omitted for brevity..."        ],        "related_articles": [],        "keyword": null,        "timestamp": "2024-12-16T14:18:14.101Z"    }]

content属性包含解析的文章数据，表示您要访问的信息。

要实现这一点，首先从.env读取env并初始化端点URL常量：

BRIGHT_DATA_API_TOKEN = os.environ.get("BRIGHT_DATA_API_TOKEN") BRIGHT_DATA_CNN_WEB_SCRAPER_API_URL = "https://api.brightdata.com/datasets/v3/trigger?dataset_id=gd_lycz8783197ch4wvwg&include_errors=true"

接下来，你可以使用下面的代码将上面的过程变成一个可复用的函数：

def get_scraped_data(url):    # Authorization headers    headers = {    "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}"    }    # Web Scraper API payload    data = [{        "url": url    }]    # Making the POST request to the Bright Data Web Scraper API    response = requests.post(BRIGHT_DATA_CNN_WEB_SCRAPER_API_URL, headers=headers, json=data)    if response.status_code == 200:        response_data = response.json()       snapshot_id = response_data.get("snapshot_id")        if snapshot_id:            # Iterate until the snapshot is ready            snapshot_url = f"https://api.brightdata.com/datasets/v3/snapshot/{snapshot_id}?format=json"            while True:                snapshot_response = requests.get(snapshot_url, headers=headers)                if snapshot_response.status_code == 200:                        # Parse and return the snapshot data                    snapshot_response_data = snapshot_response.json()                    return snapshot_response_data[0].get("content")                elif snapshot_response.status_code == 202:                    print("Snapshot not ready yet. Retrying in 10 seconds...")                    time.sleep(10)  # Wait for 10 seconds before retrying                else:                    print(f"Failed to retrieve snapshot. Status code: {snapshot_response.status_code}")                    print(snapshot_response.text)                    break        else:            print("Snapshot ID not found in the response")    else:        print(f"Error: {response.status_code}")print(response.text)

要使其正常工作，请添加这两个导入：

import requestsimport time

太不可思议了！您刚刚学习了如何使用Bright Data Web的 Scraper API进行网页抓取。

步骤6：准备使用Open AI模型

这个示例依赖OpenAI模型在LangChain中集成LLM。要使用这些模型，您必须在环境变量中配置OpenAI API密钥。

默认情况下，langchain_openai会自动从OPENAI_API_KEY环境变量读取OpenAI API密钥。要设置此功能，请在你的.env文件中添加以下行：

OPENAI_API_KEY=""

将替换为您的OpenAI API密钥的值。如果你不知道如何获得一个，请遵循官方指南。

太棒了！是时候在LangChain抽取脚本中使用OpenAI模型了。

步骤7：生成LLM Prompt

定义一个函数，该函数取出抽取的数据，并生成一个Prompt以获取文章摘要：

def create_summary_prompt(content, words=100):    return f"""Summarize the following content in less than {words} words.           CONTENT:           '{content}'           """在当前示例中，完整的Prompt将是：Summarize the following content in less than 100 words.CONTENT:'Christmas is approaching nearly as fast as Santa’s sleigh, but almost anyone in the United States fantasizing about a movie-worthy white Christmas might need to keep dreaming. Early forecasts indicate temperatures could max out around 10 to 15 degrees above normal for much of the country on Christmas Day. It’s a forecast reminiscent of last Christmas for many, which came amid the warmest winter on record in the US. But the country could be split in two by warmth and cold in the run up to the big day. [omitted for brevity...]'

如果你把它传递给ChatGPT，你会得到想要的结果：

这足以说明Prompt效果很好！

步骤8：集成OpenAI

首先，调用get_scraped_data（）函数从文章页面中检索内容：

article_url = "https://www.cnn.com/2024/12/16/weather/white-christmas-forecast-climate/"scraped_data = get_scraped_data(article_url)

如果scraped_data不是None，生成Prompt：

if scraped_data is not None:prompt = create_summary_prompt(scraped_data)

最后，将其传递给配置在GPT-4o迷你AI模型上的ChatOpenAI LangChain对象：

model = ChatOpenAI(model="gpt-4o-mini")response = model.invoke(prompt)

不要忘记从langchain_openai导入ChatOpenAI：

from langchain_openai import ChatOpenAI

在流程结束时，summary应该包含类似于ChatGPT在上一步骤中生成的摘要：

summary = response.content

哇！LangChain网络抓取逻辑已完成。

步骤9：导出AI处理的数据

现在，您只需通过LangChain将所选AI模型生成的数据导出为人类可阅读的格式，例如JSON文件。

为此，用您想要的数据初始化字典。然后，导出，然后将其保存为JSON文件，如下图：

export_data = {    "url": article_url,    "summary": summary}file_name = "summary.json"with open(file_name, "w") as file:    json.dump(export_data, file, indent=4)

从Python标准库导入json：

import json

恭喜你！你的剧本准备好了。

步骤10：添加日志

使用Web Scraping AI和ChatGPT分析进行抓取过程可能需要一些时间。因此，一个好的做法是包含日志来跟踪脚本的进度。

可以通过在脚本的关键步骤中添加print（）语句来实现这一点，如下所示:

article_url = "https://www.cnn.com/2024/12/16/weather/white-christmas-forecast-climate/"print(f"Scraping data from '{article_url}'...")scraped_data = get_scraped_data(article_url)if scraped_data is not None:    print("Data successfully scraped, creating summary prompt")    prompt = create_summary_prompt(scraped_data)    # Ask ChatGPT to perform the task specified in the prompt    print("Sending prompt to ChatGPT for summarization")    model = ChatOpenAI(model="gpt-4o-mini")    response = model.invoke(prompt)    # Get the AI result    summary = response.content    print("Received summary from ChatGPT")    # Export the produced data to JSON    export_data = {        "url": article_url,        "summary": summary    }    print("Exporting data to JSON")    # Write the output dictionary to JSON file    file_name = "summary.json"    with open(file_name, "w") as file:        json.dump(export_data, file, indent=4)    print(f"Data exported to '${file_name}'")else:    print("Scraping failed")

步骤11：

最终的script.py文件应该包含：

from dotenv import load_dotenvimport osimport requestsimport timefrom langchain_openai import ChatOpenAIimport json        load_dotenv()BRIGHT_DATA_API_TOKEN = os.environ.get("BRIGHT_DATA_API_TOKEN")BRIGHT_DATA_CNN_WEB_SCRAPER_API_URL = "https://api.brightdata.com/datasets/v3/trigger?dataset_id=gd_lycz8783197ch4wvwg&include_errors=true"         def get_scraped_data(url):    # Authorization headers    headers = {        "Authorization": f"Bearer {BRIGHT_DATA_API_TOKEN}"    }            # Web Scraper API payload    data = [{        "url": url    }]              # Making the POST request to the Bright Data Web Scraper API    response = requests.post(BRIGHT_DATA_CNN_WEB_SCRAPER_API_URL, headers=headers, json=data)           if response.status_code == 200:        response_data = response.json()        snapshot_id = response_data.get("snapshot_id")        if snapshot_id:            # Iterate until the snapshot is ready            snapshot_url = f"https://api.brightdata.com/datasets/v3/snapshot/{snapshot_id}?format=json"            while True:                snapshot_response = requests.get(snapshot_url, headers=headers)                  if snapshot_response.status_code == 200:                    # Parse and return the snapshot data                    snapshot_response_data = snapshot_response.json()                    return snapshot_response_data[0].get("content")                elif snapshot_response.status_code == 202:                        print("Snapshot not ready yet. Retrying in 10 seconds...")                    time.sleep(10)  # Wait for 10 seconds before retrying                else:                    print(f"Failed to retrieve snapshot. Status code: {snapshot_response.status_code}")                    print(snapshot_response.text)                    break        else:            print("Snapshot ID not found in the response")    else:        print(f"Error: {response.status_code}")        print(response.text)def create_summary_prompt(content, words=100):    return f"""Summarize the following content in less than {words} words.           CONTENT:           '{content}'           """# Retrieve the content from the given web pagearticle_url = "https://www.cnn.com/2024/12/16/weather/white-christmas-forecast-climate/"scraped_data = get_scraped_data(article_url)# Ask ChatGPT to perform the task specified in the promptprompt = create_summary_prompt(scraped_data)model = ChatOpenAI(model="gpt-4o-mini")response = model.invoke(prompt)# Get the AI resultsummary = response.content         # Export the produced data to JSONexport_data = {    "url": article_url,    "summary": summary}         # Write dictionary to JSON filewith open("summary.json", "w") as file:  json.dump(export_data, file, indent=4)

你相信吗？在不到100行的代码中，您只需构建一个基于AI的LangChain网络爬虫脚本。

用以下命令验证它是否有效：

python3 script.py

或者，在Windows上：

python script.py

终端中的输出应该接近这个：

Scraping data from 'https://www.cnn.com/2024/12/16/weather/white-christmas-forecast-climate/'...Snapshot not ready yet. Retrying in 10 seconds...Data successfully scraped, creating summary promptSending prompt to ChatGPT for summarizationReceived summary from ChatGPTExporting data to JSONData exported to 'summary.json'打开项目目录中出现的open.json文件，你应该会看到如下内容：{    "url": "https://www.cnn.com/2024/12/16/weather/white-christmas-forecast-climate/",    "summary": "As Christmas approaches, forecasts indicate temperatures in the US may be 10 to 15 degrees above normal, continuing a trend from last year\u2019s warm winter. The western US will likely remain warm, while the East experiences colder conditions leading up to Christmas. Some areas may see a mix of rain and snow, but a true \"white Christmas\" requires at least an inch of snow on the ground. Historically, cities like Minneapolis and Burlington have the best chances for snow, while places like New York City and Atlanta have significantly lower probabilities."}

任务完成！

结论

在本教程中，您发现了为什么网络爬虫是收集您的人工智能工作流程数据的绝佳方法，以及如何使用LangChain进行分析。具体来说，您学习了如何创建基于Python的LangChain网络抽取脚本，以从CNN新闻文章中提取数据并使用OpenAI API进行处理。

这种方法的主要挑战包括:

· 页面结构频繁变动

· 反爬机制复杂

· 大规模数据抓取成本高

Bright Data的Web Scraper API提供了从主要网站提取数据的无缝解决方案，轻松克服了这些挑战。这使其成为支持RAG应用程序和其他LangChain支持的解决方案的宝贵工具。