InfoNCE loss和supcon loss

InfoNCE（Normalized Cross-Entropy）损失和SupCon（Supervised Contrastive）损失都是用于自监督学习任务中的损失函数。

InfoNCE损失是一种用于学习特征表示的无监督损失函数。它基于最大化正样本对的相似性并最小化负样本对的相似性。具体来说，在训练中，我们构建一个正样本对（通常是同一个样本的两个不同视角或变换），并从数据集中随机选择一些负样本对。然后，通过计算正样本对的相似性概率和负样本对的相似性概率的交叉熵来定义损失函数。通过最大化正样本对的相似性概率和最小化负样本对的相似性概率，我们可以鼓励模型学习到更有用的特征表示。

SupCon损失是一种用于自监督对比学习任务中的损失函数。对比学习旨在学习一个能够将同一类别样本聚集在一起并将不同类别样本分开的特征表示。SupCon损失通过最大化同一类别样本之间的相似性并最小化不同类别样本之间的相似性来实现这一目标。具体来说，我们使用一种称为“对比预测”的技术，将每个样本与其他样本进行比较，然后计算它们之间的相似性概率。通过最大化同一类别样本之间的相似性概率和最小化不同类别样本之间的相似性概率，我们可以鼓励模型学习到更具有区分度的特征表示。

总结来说，InfoNCE损失和SupCon损失都是用于自监督学习任务中的损失函数，它们都通过最大化正样本对的相似性并最小化负样本对的相似性来鼓励模型学习到更有用和区分度的特征表示。