基于RAG架构的智能房产助手：从架构到手撸代码

def init_db():"""初始化数据库，加载并嵌入文本数据。"""# 实例化文本加载器，用于从指定文件加载文本数据loader = TextLoader("langchain/sales_chatbot/jp_source/real_estate_sales_data.txt", encoding="utf-8")# 加载文本数据documents = loader.load()
# 实例化字符级文本分割器，用于将文本分割为更小的片段text_splitter = CharacterTextSplitter(separator=r'\d+\.',chunk_size=100,chunk_overlap=0,length_function=len,is_separator_regex=True,)# 分割文档并准备向量存储docs = text_splitter.split_documents(documents)vectordb = Chroma.from_documents(documents=docs,collection_name="real_estates_sale",embedding=embedding,persist_directory=persist_directory)# 持久化向量数据库vectordb.persist()

def initialize_sales_bot():"""初始化房产销售聊天机器人。"""# 创建向量数据库实例db = Chroma(persist_directory=persist_directory, embedding_function=embedding, collection_name="real_estates_sale")# 实例化基于OpenAI GPT模型的聊天模型llm = ChatOpenAI(model_name=model, temperature=0, verbose=True)# 初始化检索式问答机器人global SALES_BOTSALES_BOT = RetrievalQA.from_chain_type(llm, retriever=db.as_retriever(search_type="similarity_score_threshold", search_kwargs={"score_threshold": 0.8}))# 启用返回源文档的功能SALES_BOT.return_source_documents = True
return SALES_BOT

def sales_chat(message, history):"""房产销售聊天接口函数。根据输入的消息和历史记录与房产销售聊天机器人进行对话。"""print(f"[message]{message}")print(f"[history]{history}")# TODO: 从命令行参数中获取enable_chat = True
ans = SALES_BOT({"query": message})# 如果有相关文档或聊天模型启用，返回回答if ans["source_documents"] or enable_chat:print(f"[result]{ans['result']}")print(f"[source_documents]{ans['source_documents']}")return ans["result"]else:# 否则，返回标准回答return "这个问题我要问问领导"
def launch_gradio():"""启动Gradio界面，提供与房产销售聊天机器人的交互界面。"""demo = gr.ChatInterface(fn=sales_chat,title="房产销售",chatbot=gr.Chatbot(height=600),)# 启动交互式界面demo.launch(share=True, server_name="0.0.0.0")

# 导入Gradio库，用于构建交互式界面import gradio as gr
# 导入Langchain库的相关模块，用于文本嵌入、向量存储和链式处理from langchain.embeddings.openai import OpenAIEmbeddingsfrom langchain.vectorstores import Chromafrom langchain.chains import RetrievalQAfrom langchain.chat_models import ChatOpenAIfrom langchain.text_splitter import CharacterTextSplitter
# 导入OpenAI库和环境变量管理工具，用于配置API访问import openaiimport osfrom dotenv import load_dotenv, find_dotenvfrom langchain.document_loaders import TextLoader
# 加载环境变量_ = load_dotenv(find_dotenv())# 从环境变量中获取OpenAI的API密钥和基础URLopenai.api_key = os.getenv('OPENAI_API_KEY')openai.api_base = os.getenv('OPENAI_API_URL')model = os.getenv('OPENAI_API_MODEL')persist_directory = 'data/'
# 初始化OpenAI嵌入模型embedding = OpenAIEmbeddings(model="text-embedding-ada-002", base_url=os.getenv('OPENAI_API_URL'), api_key=os.getenv('OPENAI_API_KEY'))
def init_db():"""初始化数据库，加载并嵌入文本数据。"""# 实例化文本加载器，用于从指定文件加载文本数据loader = TextLoader("langchain/sales_chatbot/jp_source/real_estate_sales_data.txt", encoding="utf-8")# 加载文本数据documents = loader.load()
# 实例化字符级文本分割器，用于将文本分割为更小的片段text_splitter = CharacterTextSplitter(separator=r'\d+\.',chunk_size=100,chunk_overlap=0,length_function=len,is_separator_regex=True,)# 分割文档并准备向量存储docs = text_splitter.split_documents(documents)vectordb = Chroma.from_documents(documents=docs,collection_name="real_estates_sale",embedding=embedding,persist_directory=persist_directory)# 持久化向量数据库vectordb.persist()
def initialize_sales_bot():"""初始化房产销售聊天机器人。"""# 创建向量数据库实例db = Chroma(persist_directory=persist_directory, embedding_function=embedding, collection_name="real_estates_sale")# 实例化基于OpenAI GPT模型的聊天模型llm = ChatOpenAI(model_name=model, temperature=0, verbose=True)# 初始化检索式问答机器人global SALES_BOTSALES_BOT = RetrievalQA.from_chain_type(llm, retriever=db.as_retriever(search_type="similarity_score_threshold", search_kwargs={"score_threshold": 0.8}))# 启用返回源文档的功能SALES_BOT.return_source_documents = True
return SALES_BOT
def sales_chat(message, history):"""房产销售聊天接口函数。根据输入的消息和历史记录与房产销售聊天机器人进行对话。"""print(f"[message]{message}")print(f"[history]{history}")# TODO: 从命令行参数中获取enable_chat = True
ans = SALES_BOT({"query": message})# 如果有相关文档或聊天模型启用，返回回答if ans["source_documents"] or enable_chat:print(f"[result]{ans['result']}")print(f"[source_documents]{ans['source_documents']}")return ans["result"]else:# 否则，返回标准回答return "这个问题我要问问领导"
def launch_gradio():"""启动Gradio界面，提供与房产销售聊天机器人的交互界面。"""demo = gr.ChatInterface(fn=sales_chat,title="房产销售",chatbot=gr.Chatbot(height=600),)# 启动交互式界面demo.launch(share=True, server_name="0.0.0.0")
def query():"""直接通过代码查询向量数据库中与给定查询相关的内容。"""db = Chroma(persist_directory=persist_directory, embedding_function=embedding, collection_name="real_estates_sale")query = "有优惠吗"retriever = db.as_retriever(search_type="similarity_score_threshold",search_kwargs={"score_threshold": 0.8})# 获取与查询相关的文档docs = retriever.get_relevant_documents(query)# 打印相关文档的内容for doc in docs:print("=====================")print(doc.page_content + "\n")
if __name__ == "__main__":# 初始化数据库# init_db()# 初始化房产销售聊天机器人initialize_sales_bot()# 启动Gradio界面# launch_gradio()# 直接执行查询query()