pytorch中的 F.normalize

在 PyTorch 中，F.normalize() 是一个函数，用于对张量进行归一化操作。该函数接受两个参数：输入张量 input 和归一化的维度 dim。通常情况下，dim = 1 表示对每个样本进行归一化，dim = 0 表示对每个特征进行归一化。

F.normalize() 可以实现 L1 范数归一化和 L2 范数归一化，具体实现方式如下：

L1 范数归一化：

output = F.normalize(input, p=1, dim=dim)

其中 p=1 表示使用 L1 范数进行归一化操作。

L2 范数归一化：

output = F.normalize(input, p=2, dim=dim)

其中 p=2 表示使用 L2 范数进行归一化操作。

归一化后，输出的张量将满足输入张量在指定维度上的范数为 1。这样可以将张量的值缩放到一个标准范围内，便于模型的训练和优化。