org.aoju.bus.core.text

Class Similarity

java.lang.Object

org.aoju.bus.core.text.Similarity

public class Similarity
extends Object

局部敏感hash,用于海量文本去重 局部敏感hash定义：假定两个字符串具有一定的相似性, 在hash之后,仍然能保持这种相似性,就称之为局部敏感hash

Since:

JDK 1.8+

Version:

5.6.2

Author:

Kimi Liu

Constructor Summary

Constructors

Constructor and Description
Similarity() 构造
Similarity(int fracCount, int hammingThresh) 构造

Method Summary

Modifier and Type	Method and Description
boolean	equals(Collection<? extends CharSequence> segList) 判断文本是否与已存储的数据重复
long	hash(Collection<? extends CharSequence> segList) 指定文本计算simhash值
static double	similar(String strA, String strB) 计算相似度，两个都是空串相似度为1，被认为是相同的串
static String	similar(String strA, String strB, int scale) 计算相似度百分比
void	store(Long simhash) 按照索引进行存储

Methods inherited from class java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

Constructor Detail

Similarity

public Similarity()

构造

Similarity

public Similarity(int fracCount,
                  int hammingThresh)

构造

Parameters:

fracCount - 存储段数

hammingThresh - 汉明距离的衡量标准

Method Detail

similar

public static double similar(String strA,
                             String strB)

计算相似度，两个都是空串相似度为1，被认为是相同的串

Parameters:

strA - 字符串1

strB - 字符串2

Returns:

相似度

similar

public static String similar(String strA,
                             String strB,
                             int scale)

计算相似度百分比

Parameters:

strA - 字符串1

strB - 字符串2

scale - 保留小数

Returns:

百分比

hash

public long hash(Collection<? extends CharSequence> segList)

指定文本计算simhash值

Parameters:

segList - 分词的词列表

Returns:

Hash值

equals

public boolean equals(Collection<? extends CharSequence> segList)

判断文本是否与已存储的数据重复

Parameters:

segList - 文本分词后的结果

Returns:

是否重复

store

public void store(Long simhash)

按照索引进行存储

Parameters:

simhash - Simhash值