【开源】支持任意格式文件或数据库的本地知识库问答系统，可断网安装使用。

发布日期：2024-10-12 15:06:58 浏览次数： 2531

作者：三丰述码

微信搜一搜，关注“三丰述码”

知识库问答系统

知识库问答系统（Knowledge Base Question Answering, KBQA）是一种自然语言处理（NLP）技术，旨在通过查询结构化知识库（如数据库、知识图谱等）来理解和回答用户用自然语言提出的问题。这种系统能够解析用户提出的复杂问题，将其转化为对结构化数据的查询，并从知识库中检索出相关信息，最终生成准确、简洁的答案返回给用户。

知识库问答系统的工作流程通常包括以下几个关键步骤：

1. 问题理解：系统首先需要对用户提出的问题进行解析，理解其意图和含义。这包括识别问题中的实体、关系、属性等，以及确定问题的类型（如描述性、确认性、比较性等）。

2. 查询构建：在理解了用户的问题之后，系统需要将这个问题转换成对结构化知识库的查询语句。这个查询语句需要能够精确地反映出用户问题的意图，以便从知识库中检索出相关的信息。

3. 知识库查询：使用上一步构建的查询语句，系统对知识库进行检索，找到与用户问题相关的数据。

4. 答案生成：根据检索到的数据，系统生成一个清晰、简洁的答案，并返回给用户。这个答案应该直接回答用户的问题，并且尽可能地提供有用的信息。

5. 反馈与优化：系统还可以收集用户的反馈，用于评估答案的质量，并进一步优化系统的性能和准确性。

知识库问答系统具有广泛的应用场景，如智能客服、教育辅导、医疗咨询、法律查询等。通过利用结构化的知识库，这些系统能够提供更加准确、高效的信息检索服务，满足用户对信息的需求。同时，随着自然语言处理技术的不断发展，知识库问答系统的性能和准确性也在不断提高，为更多领域的应用提供了可能。

介绍

QAnything (Question and Answer based on Anything) 是致力于支持任意格式文件或数据库的本地知识库问答系统，可断网安装使用。

您的任何格式的本地文件都可以往里扔，即可获得准确、快速、靠谱的问答体验。

目前已支持格式: PDF(pdf)，Word(docx)，PPT(pptx)，XLS(xlsx)，Markdown(md)，电子邮件(eml)，TXT(txt)，图片(jpg，jpeg，png)，CSV(csv)，网页链接(html)，

特点

数据安全，支持全程拔网线安装使用。
支持文件类型多，解析成功率高，支持跨语种问答，中英文问答随意切换，无所谓文件是什么语种。
支持海量数据问答，两阶段向量排序，解决了大规模数据检索退化的问题，数据越多，效果越好，不限制上传文件数量，检索速度快。
硬件友好，默认在纯CPU环境下运行，且win，mac，linux多端支持，除docker外无依赖项。
易用性，无需繁琐的配置，一键安装部署，开箱即用，各依赖组件（pdf解析，ocr，embed，rerank等）完全独立，支持自由替换。
支持类似Kimi的快速开始模式，无文件聊天模式，仅检索模式，自定义Bot模式。

架构

为什么是两阶段检索?

知识库数据量大的场景下两阶段优势非常明显，如果只用一阶段embedding检索，随着数据量增大会出现检索退化的问题，如下图中绿线所示，二阶段rerank重排后能实现准确率稳定增长，即数据越多，效果越好。

QAnything使用的检索组件BCEmbedding有非常强悍的双语和跨语种能力，能消除语义检索里面的中英语言之间的差异，从而实现：

强大的双语和跨语种语义表征能力【基于MTEB的语义表征评测指标】。
基于LlamaIndex的RAG评测，表现SOTA【基于LlamaIndex的RAG评测指标】。

断网安装

windows断网安装

如果您想要断网安装QAnything，您可以使用以下命令启动服务。

# 先在联网机器上下载docker镜像docker pull quay.io/coreos/etcd:v3.5.5docker pull minio/minio:RELEASE.2023-03-20T20-16-18Zdocker pull milvusdb/milvus:v2.3.4docker pull mysql:latestdocker pull freeren/qanything-win:v1.2.x# 从 [https://github.com/netease-youdao/QAnything/blob/master/docker-compose-windows.yaml#L103] 中获取最新镜像版本号。
# 打包镜像docker save quay.io/coreos/etcd:v3.5.5 minio/minio:RELEASE.2023-03-20T20-16-18Z milvusdb/milvus:v2.3.4 mysql:latest freeren/qanything-win:v1.2.1 -o qanything_offline.tar
# 下载QAnything代码wget https://github.com/netease-youdao/QAnything/archive/refs/heads/master.zip
# 把镜像qanything_offline.tar和代码QAnything-master.zip拷贝到断网机器上cp QAnything-master.zip qanything_offline.tar /path/to/your/offline/machine
# 在断网机器上加载镜像docker load -i qanything_offline.tar
# 解压代码，运行unzip QAnything-master.zipcd QAnything-masterbash run.sh

Linux断网安装

如果您想要断网安装QAnything，您可以使用以下命令启动服务。

# 先在联网机器上下载docker镜像docker pull quay.io/coreos/etcd:v3.5.5docker pull minio/minio:RELEASE.2023-03-20T20-16-18Zdocker pull milvusdb/milvus:v2.3.4docker pull mysql:latestdocker pull freeren/qanything:v1.2.x# 从 [https://github.com/netease-youdao/qanything/blob/master/docker-compose-linux.yaml#L104] 中获取最新镜像版本号。
# 打包镜像docker save quay.io/coreos/etcd:v3.5.5 minio/minio:RELEASE.2023-03-20T20-16-18Z milvusdb/milvus:v2.3.4 mysql:latest freeren/qanything:v1.2.1 -o qanything_offline.tar
# 下载QAnything代码wget https://github.com/netease-youdao/QAnything/archive/refs/heads/master.zip
# 把镜像qanything_offline.tar和代码QAnything-master.zip拷贝到断网机器上cp QAnything-master.zip qanything_offline.tar /path/to/your/offline/machine
# 在断网机器上加载镜像docker load -i qanything_offline.tar
# 解压代码，运行unzip QAnything-master.zipcd QAnything-masterbash run.sh

应用场景

QAnything是一个由网易有道自研的基于AI技术的本地知识库问答系统，其应用场景非常广泛，几乎可以在任何需要管理和检索大量文档的场景中发挥作用。以下是QAnything的几个主要应用场景：

1. 企业知识管理：
- QAnything帮助企业整合内部文档，提高员工获取信息的效率。员工可以通过自然语言对话的方式，快速检索到所需的信息，无需花费大量时间在翻找文档上。这不仅可以提升工作效率，还能减少因信息查找不及时或不准确而导致的错误。

2. 个人学习助手：
- 对于学生或研究人员来说，QAnything可以作为一个强大的学习助手。它能够辅助用户快速检索和理解大量学习资料，无论是PDF、Word文档、图片还是其他格式的文件，都能轻松处理。这有助于提升学习效率和效果，使学习过程更加便捷和高效。

3. 客户服务：
- 在客户服务领域，QAnything可以为客服人员提供快速准确的信息检索工具。当客户提出问题时，客服人员可以通过QAnything快速查找到相关的答案和解决方案，从而提供更加专业和高效的服务。这不仅可以提升客户满意度，还能减轻客服人员的工作压力。

4. 法律和合规：
- 在法律和合规领域，QAnything也发挥着重要作用。它可以帮助法律专业人士快速查找相关法规和案例，确保工作的准确性和合规性。同时，QAnything的精确追溯功能还能确保每个答案都能精确到相应的文档段落来源，为法律工作提供有力的支持。

5. 智能采编平台：
- 如网易有道在发布会上所提到的，QAnything已经帮助参考消息社打造了智能采编平台。该平台能够自动完成采编任务，将不同语言的海量文章翻译成中文，并进行摘要、改写和润色等工作。这不仅提高了采编效率，还提升了文章的质量和可读性。

6. API接口赋能多种应用场景：
- 基于QAnything的API接口，可以轻松赋能多种应用场景。例如，可以在QAnything平台上配置管理知识库和Agent，将配置好的Agent通过“问答秘钥”接入到小程序、微信、企业微信等业务系统中，作为销售顾问、售后咨询机器人等使用。此外，还可以使用“管理秘钥”来进行知识库、文件、Agent的增删改查管理，搭建属于自己的企业知识库问答系统。

7. 内容生成能力（AI写手）：
- QAnything还具备内容生成能力，可以依托给定的资料自动拆解题目、生成大纲，快速写作并调整输出，最终形成完整的文章。这一功能在学术研究、新闻报道、营销策划等领域都具有广泛的应用前景。

综上所述，QAnything凭借其强大的文档处理能力、智能问答功能以及丰富的应用场景，正在逐步成为企业、个人以及各行各业不可或缺的知识管理工具。