MG-BERT: leveraging unsupervised atomic representation learning for molecular property prediction预训练策略

MG-BERT是一种用于分子属性预测的预训练模型，它是基于BERT的模型。它的预训练策略可以分为以下几步：

1. 原子嵌入：使用晶体学数据库（CSD）中的晶体结构数据，从中提取原子坐标并将其转换为原子嵌入表示。

2. 无监督原子表示学习：使用Transformer编码器，对原子嵌入进行无监督的原子表示学习。通过掩码语言建模任务（MLM）和下一句预测任务（NSP）来训练模型。

3. 有监督分子属性预测：使用已知的分子属性数据集，对MG-BERT进行有监督的微调。

在预训练阶段，MG-BERT使用了与BERT类似的预训练任务，例如掩码语言建模任务和下一句预测任务。这些任务的目的是让模型学习原子之间的关系和上下文信息。在微调阶段，MG-BERT使用已知的分子属性数据集进行有监督的微调，以预测分子的性质。