自注意力机制的MATLAB代码

自注意力机制（Self-Attention）是一种用于处理序列数据的机制，常用于自然语言处理和计算机视觉任务中。下面是一个简单的自注意力机制的MATLAB代码示例：

function output = self_attention(input, d_model)
    % input: 输入序列，大小为 [seq_len, d_model]
    % d_model: 模型维度
    
    seq_len = size(input, 1);
    
    % 计算注意力权重
    scores = input * input' / sqrt(d_model);  % 点积得分
    attention_weights = softmax(scores, 'DataFormat', 'column');  % 注意力权重
    
    % 上下文向量
    context_vector = attention_weights * input;
    
    % 输出
    output = context_vector;
end

这段代码实现了一个简单的自注意力机制，输入为一个序列数据，大小为 [seq_len, d_model]，其中 seq_len 表示序列长度，d_model 表示模型维度。代码首先计算输入序列的注意力得分，然后通过 softmax 函数将得分转换为注意力权重。最后，根据注意力权重计算上下文向量，并将其作为输出。