org.dromara.hutool.core.codec.hash

类 Simhash

java.lang.Object

org.dromara.hutool.core.codec.hash.Simhash

所有已实现的接口:

Encoder<Collection<? extends CharSequence>,Number>, Hash64<Collection<? extends CharSequence>>

public class Simhash
extends Object
implements Hash64<Collection<? extends CharSequence>>

Simhash是一种局部敏感hash，用于海量文本去重。
算法实现来自：https://github.com/xlturing/Simhash4J

局部敏感hash定义：假定两个字符串具有一定的相似性，在hash之后，仍然能保持这种相似性，就称之为局部敏感hash。

作者:

Looly, litaoxiao

从以下版本开始:

4.3.3

构造器概要

构造器

构造器和说明
Simhash() 构造
Simhash(int fracCount, int hammingThresh) 构造

方法概要

限定符和类型	方法和说明
boolean	equals(Collection<? extends CharSequence> segList) 判断文本是否与已存储的数据重复
long	hash64(Collection<? extends CharSequence> segList) 指定文本计算simhash值
void	store(Long simhash) 按照(frac, 《simhash, content》)索引进行存储

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

从接口继承的方法 org.dromara.hutool.core.codec.hash.Hash64

encode

构造器详细资料

Simhash

public Simhash()

构造

Simhash

public Simhash(int fracCount,
               int hammingThresh)

构造

参数:

fracCount - 存储段数

hammingThresh - 汉明距离的衡量标准

方法详细资料

hash64

public long hash64(Collection<? extends CharSequence> segList)

指定文本计算simhash值

指定者:

hash64 在接口中 Hash64<Collection<? extends CharSequence>>

参数:

segList - 分词的词列表

返回:

Hash值

equals

public boolean equals(Collection<? extends CharSequence> segList)

判断文本是否与已存储的数据重复

参数:

segList - 文本分词后的结果

返回:

是否重复

store

public void store(Long simhash)

按照(frac, 《simhash, content》)索引进行存储

参数:

simhash - Simhash值