python字符串聚类分析

### Python 字符串聚类分析

#### 使用 Jaro-Winkler 距离进行预处理
为了提高字符串聚类的效果，在实际操作中可以先利用Jaro-Winkler距离衡量字符串之间的相似程度。该算法特别适合于短文本间的对比，因为它会给予开头部分字符更多的权重[^2]。

from jellyfish import jaro_winkler_similarity as similarity

def calculate_similarities(strings):
    """计算字符串列表内每一对字符串的Jaro-Winkler相似度"""
    n = len(strings)
    similarities = [[0]*n for _ in range(n)]
    
    for i in range(n):
        for j in range(i, n):
            sim = similarity(strings[i], strings[j])
            similarities[i][j] = sim
            similarities[j][i] = sim
            
    return similarities

#### 应用 K-Means 进行聚类
对于已经量化后的数据集，则可采用K-means方法来进行分类。此过程涉及初始化质心、分配样本至最近质心以及更新质心位置这三个主要环节反复迭代直至收敛。值得注意的是，由于K-means默认接受数值型输入，因此需预先转换原始字符串为向量形式；这里推荐使用TF-IDF模型完成这一步骤[^3]。

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.cluster import KMeans

def cluster_strings(strings, num_clusters=5):
    vectorizer = TfidfVectorizer()
    X = vectorizer.fit_transform(strings)

    model = KMeans(n_clusters=num_clusters, init='k-means++', max_iter=100, n_init=1)
    model.fit(X)

    labels = model.labels_
    centroids = model.cluster_centers_

    return labels, centroids

#### 层次聚类作为替代方案
除了上述提到的方式外，还可以考虑运用层次聚类技术。这种方法不需要事先指定类别数目，并能自然形成树形结构展示各对象间关系远近。具体来说，`scipy.cluster.hierarchy`提供了丰富的接口支持此类运算需求[^1]。

import numpy as np
from scipy.cluster.hierarchy import linkage, dendrogram
import matplotlib.pyplot as plt

def hierarchical_clustering(similarity_matrix):
    Z = linkage(1 - np.array(similarity_matrix), 'ward')
    fig = plt.figure(figsize=(8, 6))
    dn = dendrogram(Z)
    plt.show()

similarities = calculate_similarities(["string1", "strng2", "sting"])  # 替换成自己的字符串集合
hierarchical_clustering(similarities)