程序包 top.aoyudi.rag.impl

类 RecursiveCharacterTextSplitter

java.lang.Object

top.aoyudi.rag.impl.RecursiveCharacterTextSplitter

所有已实现的接口:

TextSplitter

public class RecursiveCharacterTextSplitter
extends Object
implements TextSplitter

递归字符文本分割器，按自然边界分割文本为指定大小的块

字段概要

字段

修饰符和类型	字段	说明
private final int	chunkOverlap
private final int	chunkSize
static final int	DEFAULT_CHUNK_OVERLAP	默认块重叠（字符数）
static final int	DEFAULT_CHUNK_SIZE	默认块大小（字符数）
static final List<String>	DEFAULT_SEPARATORS	默认分隔符列表（按优先级排序）
private final List<String>	separators

构造器概要

构造器

构造器	说明
RecursiveCharacterTextSplitter()	使用默认参数创建文本分割器
RecursiveCharacterTextSplitter(int chunkSize, int chunkOverlap, List<String> separators)	创建自定义参数的文本分割器

方法概要

修饰符和类型	方法	说明
private String	findSeparator(String text, List<String> separators)	查找文本中可用的最高优先级分隔符
private List<String>	mergeSplits(List<String> splits, String separator)	合并分割结果并添加重叠
List<Document>	splitDocument(Document document)	将文档分割成块
List<String>	splitText(String text)	将文本分割成块
private List<String>	splitText(String text, int chunkSize, int chunkOverlap, List<String> separators)	递归分割文本为指定大小的块
List<Document>	splitTextWithMetadata(String text, Map<String,Object> metadata)	将带元数据的文本分割成块

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

字段详细资料

DEFAULT_CHUNK_SIZE

public static final int DEFAULT_CHUNK_SIZE

默认块大小（字符数）

另请参阅:

• 常量字段值

DEFAULT_CHUNK_OVERLAP

public static final int DEFAULT_CHUNK_OVERLAP

默认块重叠（字符数）

另请参阅:

• 常量字段值

DEFAULT_SEPARATORS

public static final List<String> DEFAULT_SEPARATORS

默认分隔符列表（按优先级排序）

chunkSize

private final int chunkSize

chunkOverlap

private final int chunkOverlap

separators

private final List<String> separators

构造器详细资料

RecursiveCharacterTextSplitter

public RecursiveCharacterTextSplitter()

使用默认参数创建文本分割器

RecursiveCharacterTextSplitter

public RecursiveCharacterTextSplitter(int chunkSize,
 int chunkOverlap,
 List<String> separators)

创建自定义参数的文本分割器

方法详细资料

splitDocument

public List<Document> splitDocument(Document document)

从接口复制的说明: TextSplitter

将文档分割成块

指定者:

splitDocument 在接口中 TextSplitter

参数:

document - 文档对象

返回:

分割后的文档块列表

splitText

public List<String> splitText(String text)

从接口复制的说明: TextSplitter

将文本分割成块

指定者:

splitText 在接口中 TextSplitter

参数:

text - 文本内容

返回:

分割后的文本块列表

splitTextWithMetadata

public List<Document> splitTextWithMetadata(String text,
 Map<String,Object> metadata)

从接口复制的说明: TextSplitter

将带元数据的文本分割成块

指定者:

splitTextWithMetadata 在接口中 TextSplitter

参数:

text - 文本内容

metadata - 元数据

返回:

分割后的文档块列表

splitText

private List<String> splitText(String text,
 int chunkSize,
 int chunkOverlap,
 List<String> separators)

递归分割文本为指定大小的块

findSeparator

private String findSeparator(String text,
 List<String> separators)

查找文本中可用的最高优先级分隔符

mergeSplits

private List<String> mergeSplits(List<String> splits,
 String separator)

合并分割结果并添加重叠