Firecrawl[1] 是一款先进的网络抓取和数据转换工具，可将任何网站转换为干净、适用 LLM 的 Markdown 文档或结构化数据。仅用单个 API 一次性完成抓取、搜索、数据清洗和数据提取全流程操作。
Firecrawl 的特点
- 会抓取所有可访问的子页面，即使没有站点地图（sitemap）。
- 即使网站使用 JavaScript 来渲染内容，也能采集数据。
- 返回干净、格式良好的 Markdown 文档，可直接用于 LLM 应用程序中。
- 会缓存内容，除非有新内容出现，否则您无需等待全面搜索。
- 由 LLM 工程师打造，为您提供您想要的干净数据。
Firecrawl 近期还上线了一个新的功能 —— LLM Extract，即利用大语言模型（LLM）快速完成网页数据的提取。
如何使用 Firecrewl
Firecrewl 提供了多种开箱即用的使用方式，不仅支持 API 或 SDK 集成，还支持在 LangChain 或 Llama Index 等框架中直接使用。
- Langchain Integration[2] ?
- Llama Index Integration[3] ?
除了上述的方式外，Firecrewl 还支持本地部署。
Firecrewl 快速上手
前置条件
首先，你需要注册 Firecrawl 并获取 API key。
一、使用 API
1.抓取 URL
用于抓取 URL 和所有可访问的子页面。提交抓取任务并返回任务 ID，以检查抓取状态。
curl -X POST https://api.firecrawl.dev/v0/crawl \
-H 'Content-Type: application/json' \
-H 'Authorization: Bearer YOUR_API_KEY' \
-d '{
"url": "https://mendable.ai"
}'
成功调用 API 之后，会返回一个 jobId：
{ "jobId": "1234-5678-9101" }
2.获取指定抓取任务的状态
用于检查抓取任务的状态并获取其结果。
curl -X GET https://api.firecrawl.dev/v0/crawl/status/1234-5678-9101 \
-H 'Content-Type: application/json' \
-H 'Authorization: Bearer YOUR_API_KEY'
成功调用 API 之后，会以 JSON 的格式返回爬取任务的状态：
{
"status": "completed",
"current": 22,
"total": 22,
"data": [
{
"content": "Raw Content ",
"markdown": "# Markdown Content",
"provider": "web-scraper",
"metadata": {
"title": "Mendable | AI for CX and Sales",
"description": "AI for CX and Sales",
"language": null,
"sourceURL": "https://www.mendable.ai/"
}
}
]
}
二、使用 Python SDK
1.安装 Python SDK
pip install firecrawl-py
2.抓取网站
from firecrawl import FirecrawlApp
app = FirecrawlApp(api_key="YOUR_API_KEY")
crawl_result = app.crawl_url('mendable.ai', {'crawlerOptions': {'excludes': ['blog/*']}})
# Get the markdown
for result in crawl_result:
print(result['markdown'])
3.抓取单个 URL 要抓取单个 URL，请使用 scrape_url 方法。该方法将 URL 作为参数，并以字典形式返回抓取的数据。
url = 'https://example.com'
scraped_data = app.scrape_url(url)
三、使用 Node SDK
1.安装 Node SDK
npm install @mendable/firecrawl-js
2.抓取网站
要抓取网站，请使用 crawlUrl 方法。它将起始 URL 和可选参数作为参数。params 参数允许您为爬取任务指定其他选项。比如，要爬取的最大页面数、允许的域和输出格式。
const crawlUrl = 'https://example.com';
const params = {
crawlerOptions: {
excludes: ['blog/'],
includes: [], // leave empty for all pages
limit: 1000,
},
pageOptions: {
onlyMainContent: true
}
};
const waitUntilDone = true;
const timeout = 5;
const crawlResult = await app.crawlUrl(
crawlUrl,
params,
waitUntilDone,
timeout
);
3.抓取 URL
要抓取单个 URL，请使用 scrapeUrl 方法。该方法将 URL 作为参数，并以字典形式返回抓取的数据。
try {
const url = 'https://example.com';
const scrapedData = await app.scrapeUrl(url);
console.log(scrapedData);
} catch (error) {
console.error(
'Error occurred while scraping:',
error.message
);
}
4.从指定 URL 抽取结构化数据
通过 LLM Extract，您可以轻松地从任何 URL 提取结构化数据。Firecrawl 支持 zod 模式，让您的工作更轻松。以下是使用方法：
import FirecrawlApp from "@mendable/firecrawl-js";
import { z } from "zod";
const app = new FirecrawlApp({
apiKey: "fc-YOUR_API_KEY",
});
// Define schema to extract contents into
const schema = z.object({
top: z
.array(
z.object({
title: z.string(),
points: z.number(),
by: z.string(),
commentsURL: z.string(),
})
)
.length(5)
.describe("Top 5 stories on Hacker News"),
});
const scrapeResult = await app.scrapeUrl("https://news.ycombinator.com", {
extractorOptions: { extractionSchema: schema },
});
console.log(scrapeResult.data["llm_extraction"]);
5.使用搜索查询
使用 search 方法，您可以在搜索引擎中搜索查询，并获得排名靠前的结果以及每个结果的页面内容。该方法将 query 查询短语作为参数，并返回搜索结果。
const query = 'what is mendable?';
const searchResults = await app.search(query, {
pageOptions: {
fetchPageContent: true // Fetch the page content for each search result
}
});
四、在 Langchain 中使用
Firecrawl 以文档加载器的方式与 Langchain 集成。
1.安装 firecrawl-py
pip install firecrawl-py
2.使用 FireCrawlLoader
crawl 模式：抓取网站和所有可访问的子页面，并 Markdown 格式返回每个子页面。
from langchain_community.document_loaders import FireCrawlLoader
loader = FireCrawlLoader(
api_key="YOUR_API_KEY",
url="https://firecrawl.dev",
mode="crawl"
)
docs = loader.load()
scrape 模式： 抓取单个网址并以 Markdown 格式返回当前页面。
loader = FireCrawlLoader(
api_key="YOUR_API_KEY",
url="https://firecrawl.dev",
mode="scrape",
)
data = loader.load()
五、在 Langchain JS 中使用
1.安装 @mendableai/firecrawl-js
npm install @mendableai/firecrawl-js
2.使用 FireCrawlLoader
import { FireCrawlLoader } from "langchain/document_loaders/web/firecrawl";
const loader = new FireCrawlLoader({
url: "https://firecrawl.dev", // The URL to scrape
apiKey: process.env.FIRECRAWL_API_KEY, // Optional, defaults to `FIRECRAWL_API_KEY` in your env.
mode: "scrape", // The mode to run the crawler in. Can be "scrape" for single urls or "crawl" for all accessible subpages
params: {
// optional parameters based on Firecrawl API docs
// For API documentation, visit https://docs.firecrawl.dev
},
});
const docs = await loader.load();
Firecrawl 官网上还提供了 5 个 Firecrawl 的使用示例，比如使用 Groq Llama 3 API 实现 Chat with website 的功能，感兴趣的话，可以阅读官网上的相关文档。
粤ICP备14082021号
免费POC，
零成本试错
