Chonkie：开源、轻量、极速的 RAG 分块神器 🦛

在不断扩展的大模型上下文里，分块不仅是技术需求，更是确保模型效率的关键手段。然而，面对大部分冗杂的分块工具，不少开发者需要更直接、更有效的解决方案。

这时，Chonkie — 一款专为分块任务设计的轻量工具 — 应运而生，成为了 RAG 应用开发中的绝佳帮手。

为什么需要分块？

随着语言模型能够处理的上下文不断增加，在提供丰富上下文的同时也带来了计算速度与内存开销的挑战。通过分块，我们可以：

• • 精确匹配：剔除无用信息，提取模型需要的核心数据，避免无关内容干扰。
• • 提升细致度：在向量化表示中保留高精度信息，减少信息丢失。

分块速度的重要性

对于大数据集（如百科全书或动态数据库），分块速度对性能至关重要。Chonkie 在设计中优化了速度，确保分块高效、无阻：

• • 多线程加速：充分利用多线程处理分块任务。
• • 预计算和缓存：提前计算并缓存结果，减少重复处理，大大提升整体效率。

Chonkie 的闪光点 ✨

Chonkie 的理念简单直接：轻量设计、极速响应且功能齐全。

作为一款专注于 RAG 应用的分块工具，它在以下方面尤为出色：

• • ? 丰富的分块选项：支持多种分块方式，满足不同应用场景。
• • ⚡ 速度极快：优化的代码路径让分块过程行云流水。
• • ? 轻量设计：默认安装极简，按需加载，杜绝臃肿。
• • ? 广泛兼容：支持多种分词器，便于集成。
• • ❤️ 纯粹高效：针对 RAG 应用的无废话分块体验，实用至上。

安装方法

Chonkie 提供了模块化的安装选项。以下是不同需求下的安装方案：

基本安装

使用基础功能只需执行以下命令：

pip install chonkie

可选安装

根据需求选择不同依赖，添加分块功能：

快速上手：分块就是这么简单

使用 TokenChunker 对文本进行分块只需几行代码：

from chonkie import TokenChunker
from tokenizers import Tokenizer

# 加载分词器
tokenizer = Tokenizer.from_pretrained("gpt2")

# 初始化分块器
chunker = TokenChunker(tokenizer=tokenizer, chunk_size=512, chunk_overlap=128)

# 分块文本
text = "你的长文本..."
chunks = chunker.chunk(text)

# 查看分块内容
for chunk in chunks:
    print(f"Chunk: {chunk.text}")
    print(f"Tokens: {chunk.token_count}")

灵活的分块器

Chonkie 支持多种分块器，适配不同应用场景的需求：

1. 1. TokenChunker：基于令牌的分块，适合直接将文本分为相似大小的片段。
2. 2. WordChunker：基于词语的分块器，保持完整词语，更适合保留文本语义结构。
3. 3. SentenceChunker：按句子分块，确保句子完整，适合自然语言处理应用。
4. 4. SemanticChunker：基于语义相似性进行分块，适合语义相关的分组需求。

以下是不同分块器的代码示例。

TokenChunker 示例

TokenChunker 按照给定的 token 数量分块：

from chonkie import TokenChunker
from autotiktokenizer import AutoTikTokenizer

tokenizer = AutoTikTokenizer.from_pretrained("gpt2")

chunker = TokenChunker(
    tokenizer=tokenizer,
    chunk_size=512,  # 每块的最大 token 数
    chunk_overlap=128  # 相邻分块的重叠数
)

WordChunker 示例

WordChunker 按照词语分块，保留完整词语，支持“简单”和“高级”模式：

from chonkie import WordChunker

chunker = WordChunker(
    tokenizer=tokenizer,
    chunk_size=512,
    chunk_overlap=128,
    mode="advanced"  # 'simple' 或 'advanced'
)

SentenceChunker 示例

按句子进行分块，确保句子完整，支持 spacy 模式下的更精细分句：

from chonkie import SentenceChunker

chunker = SentenceChunker(
    tokenizer=tokenizer,
    chunk_size=512,
    chunk_overlap=128,
    mode="spacy",  # 'simple' 或 'spacy'
    min_sentences_per_chunk=1
)

SemanticChunker 示例

基于语义相似性进行分块，确保语义连贯性，适合语义相关的文本处理任务：

from chonkie import SemanticChunker

chunker = SemanticChunker(
    tokenizer=tokenizer,
    embedding_model="all-minilm-l6-v2",
    max_chunk_size=512,
    similarity_threshold=0.7
)

性能基准：小河马，实力不凡 ?

Chonkie 虽小但强，数据测试显示：

• • 安装大小：默认仅 21MB，比大多数同类工具轻便。
• • 分块速度：
• • 令牌分块：比最慢的竞品快 33 倍。
• • 句子分块：比大部分竞品快近 2 倍。
• • 语义分块：速度接近其他同类工具的 2.5 倍。

总结

Chonkie 是轻量、快速且功能全面的 RAG 分块工具，特别适合 NLP 应用的上下文管理需求。

结合模块化设计、灵活的依赖管理，以及丰富的分块器，Chonkie 为各类文本处理任务带来了前所未有的便捷体验。