注意力机制代码 matlab

以下是一个简单的注意力机制代码示例，该示例使用了 MATLAB：

% 计算注意力得分
function [scores] = attention_scores(query, keys)
    % 求内积
    dot_products = query * keys';
    % 求归一化得分
    scores = softmax(dot_products);
end

% 计算 softmax
function [softmax_scores] = softmax(scores)
    % 按行进行 softmax
    exp_scores = exp(scores);
    softmax_scores = exp_scores ./ sum(exp_scores, 2);
end

% 使用注意力机制计算加权和
function [weighted_sum] = attention_weighted_sum(values, scores)
    % 计算加权和
    weighted_sum = scores * values;
end

% 例子
% 假设我们有一个 3x4 的键值对矩阵，每个键为 4 维向量
keys = [1 2 3 4; 2 3 4 5; 3 4 5 6];
values = [0.1 0.2 0.3 0.4; 0.2 0.3 0.4 0.5; 0.3 0.4 0.5 0.6];
% 假设我们想要查询第二个键
query = keys(2, :);
% 计算注意力得分
scores = attention_scores(query, keys);
% 计算加权和
weighted_sum = attention_weighted_sum(values, scores);
% 打印结果
disp("注意力得分：");
disp(scores);
disp("加权和：");
disp(weighted_sum);