前面文章提到，我们将文本切分划分为五个层级，并介绍了前两个层级的实现和一些基础知识。本篇文章开始，我们将介绍第三个层级的内容，基于文档结构的切分，这个级别是关于让我们的分块策略适合不同的数据格式。文本切分五个层级：
我们在日常数据处理中，不仅仅有txt数据，还包含一些存在结构的数据，例如json、markdown、代码(例如py)、PDF等。今天让我们看看如何处理JSON数据，后续将挑重点介绍。
langchain实现
首先遍历json数据深度，然后构建更小的json块。试图保持嵌套json对象的完整，但在需要的时候会将它们分开，以保持块的大小在min_chunk_size和max_chunk_size之间。如果值不是一个嵌套的json，而是一个非常大的字符串，那么字符串将不会被分割。如果您需要对块大小进行硬性限制，请考虑在这些块上使用递归文本分配器来组合它。拆分列表有一个可选的预处理步骤，首先将它们转换为json (dict)，然后拆分它们。
import requestsfrom pprint import pprint
# This is a large nested json object and will be loaded as a python dictjson_data = requests.get("https://api.smith.langchain.com/openapi.json").json()
加载后的json_data是一个很大的json文件，我们看看怎么切分它：
from langchain_text_splitters import RecursiveJsonSplitter
splitter = RecursiveJsonSplitter(max_chunk_size=300)# 还可以设置min_chunk_size
json_chunks = splitter.split_json(json_data=json_data)
可以看出按最内层进行了分割，paths的每一条，被分割成了多条。当json里面有一个大列表时，按上述方法会完整保留，这样就会导致片段的长度超长。怎么解决这个问题呢？我们可以指定convert_lists=True来预处理json，将列表内容转换为index:item作为key:val对的字典:
json_chunks = splitter.split_json(json_data=json_data, convert_lists=True)
可以看到，在存在列表的位置，将列表转化为了dict，key为元素所在的位置。langchain中的实现，我们介绍到这，下面看看llama-index是怎么处理的：
llama-index实现
定义切分器
import jsonfrom llama_index.core.node_parser import JSONNodeParserfrom llama_index.core import Document
parser = JSONNodeParser()
切分文档
nodes = parser.get_nodes_from_documents( [Document(text=json.dumps(json_data))] )
可以看出，llama_index将json切分成了一个个小块。我们可以进一步做切分处理。
JSON的切分就讲到着，大家感觉是不是很有用呢？下篇文章我们将继续分享。
如果对内容有什么疑问和建议可以私信和留言，也可以添加我加入大模型交流群，一起讨论大模型在创作、RAG和agent中的应用。
好了，这就是我今天想分享的内容。如果你对大模型应用感兴趣，别忘了点赞、关注噢~
一文读懂token到底是什么鬼，消耗那么多钱？
粤ICP备14082021号
免费POC，
零成本试错
