我要投稿

Super-Rag：功能强大的AI应用的高性能RAG管道

发布日期：2024-04-05 19:09:36 浏览次数： 2541

作者：GitHubStore

微信搜一搜，关注“GitHubStore”

项目简介

支持多种文档格式和矢量数据库。
提供生产就绪的 REST API。
可定制的分割/分块。
包括使用不同的专有和开源编码模型对数据进行编码的选项。
内置代码解释器模式，用于计算问答场景。
允许通过用于缓存目的的唯一 ID 进行会话管理。

☁️ 云API

最简单的入门方法是使用我们的云 API。该 API 可免费使用（在合理限制内）。

安装

克隆存储库

git clone https://github.com/superagent-ai/super-rag cd super-rag

2. 设置虚拟环境

# Using virtualenv virtualenv env source env/bin/activate 
# Or using venv python3 -m venv env source env/bin/activate

3. 安装所需的包

poetry install

4. 将 .env.example 重命名为 .env 并设置环境变量

5. 运行服务器

uvicorn main:app --reload

口译模式

Super-Rag 内置了对使用由 E2B.dev 自定义运行时支持的代码解释器运行计算问答的支持。您可以注册接收 API 密钥，以便在云环境中利用沙箱，或者按照这些说明设置您自己的沙箱。

? 使用方法

Super-Rag 配备了由 FastApi 提供支持的内置 REST API。

摄取文档

// POST: /api/v1/ingest
// Payload{"files": [{"name": "My file", // Optional"url": "https://path-to-my-file.pdf"}],"document_processor": { // Optional"encoder": {"dimensions": 384,"model_name": "embed-multilingual-light-v3.0","provider": "cohere"},"unstructured": {"hi_res_model_name": "detectron2_onnx","partition_strategy": "auto","process_tables": false},"splitter": {"max_tokens": 400,"min_tokens": 30,"name": "semantic","prefix_summary": true,"prefix_title": true,"rolling_window_size": 1}},"vector_database": {"type": "qdrant","config": {"api_key": "YOUR API KEY","host": "THE QDRANT HOST"}},"index_name": "my_index","webhook_url": "https://my-webhook-url"}

查询文件

// POST: /api/v1/query
// Payload{"input": "What is ReAct","vector_database": {"type": "qdrant","config": {"api_key": "YOUR API KEY","host": "THE QDRANT HOST"}},"index_name": "YOUR INDEX","interpreter_mode": true,"encoder": {"provider": "cohere","name": "embed-multilingual-light-v3.0","dimensions": 384},"exclude_fields": ["metadata"], // Exclude specific fields"interpreter_mode": False, // Set to True if you wish to run computation Q&A with a code interpreter"session_id": "my_session_id" // keeps micro-vm sessions and enables caching }

删除文档

// POST: /api/v1/delete
// Payload{"file_url": "A file url to delete","vector_database": {"type": "qdrant","config": {"api_key": "YOUR API KEY","host": "THE QDRANT HOST"}},"index_name": "my_index",}