langchain textspltter

### LangChain TextSplitter 使用教程

#### 文档切分工具介绍

LangChain 提供了多种用于处理文本数据的工具，其中 `RecursiveCharacterTextSplitter` 和 `CharacterTextSplitter` 是两种常用的文档切分器。这些工具能够帮助开发者有效地将大段文本拆分为适合进一步处理的小片段[^2]。

#### 支持的语言种类

为了更好地适应不同语种的需求，在使用 `TextSplitter` 前可以先了解其支持的具体语言列表：

from langchain.text_splitter import Language

supported_languages = [e.value for e in Language]
print(supported_languages)

这段代码展示了如何获取并打印出所有被支持的语言名称[^3]。

#### 创建与配置 TextSplitter 实例

下面是一个简单的例子，展示怎样创建一个基于字符的文本分割对象，并设置一些基本参数如最大长度等：

from langchain.text_splitter import RecursiveCharacterTextSplitter

# 初始化递归字符文本分割器实例
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=100,  # 设置每片的最大长度为100个字符
    chunk_overlap=20  # 各片段间重叠大小设为20个字符
)

documents = ["这是一个测试字符串用来演示如何使用LangChain中的文本分割功能"]
splitted_docs = text_splitter.split_documents(documents)

for doc in splitted_docs:
    print(f"Document piece: {doc}")

上述脚本定义了一个新的 `RecursiveCharacterTextSplitter` 对象，并指定了每个片段的理想长度以及相邻两段之间的交集范围。接着应用该对象对给定的一组文档进行了实际切割操作。

#### 官方资源链接

对于希望深入了解 `TextSplitter` 功能特性的用户来说，访问官方 GitHub 页面或查阅最新版本的手册将是很有价值的选择。通常可以在项目的 README 文件或者专门设立的技术文档章节里找到详细的 API 参考指南和更多高级用法示例[^4]。