springboot调用 huggingface 句子相似度

Spring Boot是一个流行的轻量级框架，用于简化Java应用程序的初始搭建和部署。Hugging Face是一家专注于自然语言处理（NLP）技术的公司，他们的Sentence Transformers库提供了一种计算文本之间相似度的方法，特别适合于诸如问答系统、信息检索等任务。

在Spring Boot项目中调用Hugging Face的Sentence Transformers，你需要做以下几个步骤：

1. **添加依赖**：在你的`pom.xml`或`build.gradle`文件中添加Hugging Face Transformers的Maven或Gradle依赖，例如：

Maven:

   <dependency>
       <groupId>com.huggingface</groupId>
       <artifactId>transformers</artifactId>
       <version>4.15.0</version>
   </dependency>

Gradle:

   implementation 'com.huggingface:transformers:4.15.0'

2. **模型加载**：使用`TrainerFactory`或者`AutoModelForSequenceClassification.fromPretrained`方法加载预训练的模型，如`sentence-transformers/distilbert-base-nli-stsb-mean-tokens`。

3. **相似度计算**：创建一个方法，接收两个输入字符串，然后通过模型计算它们的相似度得分。这里可以使用`model.predict()`函数。

import com.huggingface_hub.model卡哈希.HfClient;
import com.huggingface_hub.utils.cache.CachedFeatureExtractor;
import org.apache.commons.lang3.StringUtils;
import org.springframework.stereotype.Component;

@Component
public class HuggingFaceSimilarityService {

    private final HfClient hfClient = HfClient.createWithDefaultApi();
    private final String modelId = "sentence-transformers/distilbert-base-nli-stsb-mean-tokens";

    public double getSimilarity(String text1, String text2) {
        if (StringUtils.isEmpty(text1) || StringUtils.isEmpty(text2)) {
            return 0.0;
        }

        CachedFeatureExtractor<String, FloatArrayModelOutput> featureExtractor = hfClient.getFeatureExtractor(modelId);
        SentenceTransformer model = new SentenceTransformer(featureExtractor);

        // 对句子编码并计算相似度
        float[] embeddings1 = model.encode(text1);
        float[] embeddings2 = model.encode(text2);
        return cosineSimilarity(embeddings1, embeddings2);
    }

    private double cosineSimilarity(float[] vector1, float[] vector2) {
        return cosine(vector1, vector2);
    }
}

这里的`cosineSimilarity`函数可以根据需要实现余弦相似度计算。