Hive如何计算余弦相似度

在Hive中，可以使用自定义函数来计算余弦相似度。下面是一个示例：

1. 创建一个Java类来实现余弦相似度计算：

package com.example;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.io.DoubleWritable;
import org.apache.hadoop.io.Text;

public class CosineSimilarity extends UDF {
    public DoubleWritable evaluate(Text str1, Text str2) {
        if (str1 == null || str2 == null) {
            return null;
        }

        String[] tokens1 = str1.toString().split(" ");
        String[] tokens2 = str2.toString().split(" ");

        double dotProduct = 0.0;
        double magnitude1 = 0.0;
        double magnitude2 = 0.0;

        for (int i = 0; i < tokens1.length; i++) {
            double value1 = Double.parseDouble(tokens1[i]);
            double value2 = Double.parseDouble(tokens2[i]);
            dotProduct += value1 * value2;
            magnitude1 += Math.pow(value1, 2);
            magnitude2 += Math.pow(value2, 2);
        }

        double magnitude = Math.sqrt(magnitude1) * Math.sqrt(magnitude2);
        if (magnitude == 0.0) {
            return new DoubleWritable(0.0);
        } else {
            return new DoubleWritable(dotProduct / magnitude);
        }
    }
}

2. 编译Java类并创建JAR文件：

$ javac -cp /path/to/hive/lib/hive-exec.jar CosineSimilarity.java
$ jar cvf cosine.jar CosineSimilarity.class

3. 将JAR文件添加到Hive的classpath中：

hive> ADD JAR /path/to/cosine.jar;

4. 使用自定义函数计算余弦相似度：

hive> SELECT CosineSimilarity("1.0 2.0 3.0", "2.0 3.0 4.0");

其中，第一个参数是一个字符串，表示向量1的值，多个值之间用空格分隔；第二个参数是一个字符串，表示向量2的值，多个值之间用空格分隔。