Python实现shingle
时间: 2023-11-29 20:42:47 浏览: 43
Shingle是一种文本相似度计算方法,它将文本切分成一系列连续的子串,然后将这些子串转换成哈希值,最后通过比较哈希值的相似程度来计算文本的相似度。下面是Python实现shingle的示例代码:
```python
def shingle(text, k):
shingles = set()
for i in range(len(text) - k + 1):
shingles.add(text[i:i+k])
return shingles
text1 = "This is a test"
text2 = "This is another test"
k = 3
shingles1 = shingle(text1, k)
shingles2 = shingle(text2, k)
print("Shingles of text1:", shingles1)
print("Shingles of text2:", shingles2)
```
输出结果为:
```
Shingles of text1: {'his', 'is ', 's i', 'Thi', 'tes', 'est', ' a ', 't'}
Shingles of text2: {'his', 'is ', 's a', 'ano', 'the', 'est', 'Thi', 'tes', 'her'}
```
可以看到,该代码将文本切分成了长度为3的子串,并将每个子串转换成了一个哈希值,最后返回了一个集合,其中包含了所有的哈希值。
相关问题
golang实现simhash算法
可以使用golang的hash/crc32包来计算simhash算法中的哈希值,具体实现可以参考以下代码:
```
package simhash
import (
"bytes"
"hash/crc32"
)
// Simhash represents a 64-bit hash value
type Simhash uint64
// NewSimhash calculates the simhash of the given data
func NewSimhash(data []byte) Simhash {
// Step 1: tokenize data into shingles
shingles := tokenize(data)
// Step 2: compute the weighted frequency counts of shingles
counts := countShingles(shingles)
// Step 3: create the simhash
var simhash Simhash
for shingle, weight := range counts {
hash := crc32.ChecksumIEEE([]byte(shingle))
for i := 0; i < 32; i++ {
if hash&(1<<uint(i)) != 0 {
simhash += Simhash(weight)
} else {
simhash -= Simhash(weight)
}
}
}
return simhash
}
// tokenize splits the given data into shingles
func tokenize(data []byte) []string {
shingles := make([]string, 0)
var buffer bytes.Buffer
for i := 0; i < len(data); i++ {
if data[i] == ' ' {
shingles = append(shingles, buffer.String())
buffer.Reset()
continue
}
buffer.WriteByte(data[i])
}
if buffer.Len() > 0 {
shingles = append(shingles, buffer.String())
}
return shingles
}
// countShingles computes the weighted frequency counts of the given shingles
func countShingles(shingles []string) map[string]int {
counts := make(map[string]int)
for _, shingle := range shingles {
counts[shingle]++
}
return counts
}
```
这段代码实现了simhash算法的三个步骤:将输入数据分割为shingles,计算shingles的加权频率,以及计算simhash值。其中,crc32包用于计算哈希值,bytes包用于处理字符串。
Apache CXF 3.0:JAX-RS 2.0和Bean验证1.1最终一起
Apache CXF 3.0集成了JAX-RS 2.0和Bean验证1.1,这使得开发人员可以更轻松地开发RESTful Web Services,并在运行时验证输入数据。JAX-RS 2.0提供了一种简单的方式来创建RESTful Web Services,并提供了对异步HTTP请求的支持。Bean验证1.1提供了一种方便的方式来验证输入数据,包括对字符串长度、日期格式、电子邮件地址等的验证。这些功能的结合使得CXF 3.0成为一个更加强大和易用的Web Services框架。
相关推荐
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)
![zip](https://img-home.csdnimg.cn/images/20210720083736.png)