自注意力词嵌入驱动的信用评估模型：超越传统方法

本篇论文研究关注于"自注意力信用评估模型"，主要针对信用评估领域的非线性二分类问题。在传统模型中，人工智能方法往往处理类别数据时采用one-hot编码，然后与数值数据合并为判别器输入。然而，作者创新地借鉴了自然语言处理中的词嵌入技术，将类别数据转化为词向量，将这些词向量视为"句子"，利用自注意力机制对这些特征进行深入挖掘，以提取用户的关键特征。 自注意力机制允许模型对输入的不同部分赋予不同的权重，从而更有效地捕捉类别数据之间的关联性和重要性。这种方法摒弃了简单的拼接策略，而是通过动态计算每个词向量与其他词向量的关系，提高了特征表达的灵活性。接着，论文构建了一个基于多层感知机的模型，该模型能够直接通过反向传播算法进行端到端训练，这意味着模型可以从原始输入数据中自动学习到信用评估的相关规律。 作者在三个不同的数据集上对比了新提出的自注意力信用评估模型与包括支持向量机(SVM)、K-近邻(KNN)、决策树(DT)以及集成学习(EL)在内的六种常见基准算法。实验结果显示，新模型在预测用户违约概率方面表现更优，显示出其在复杂信息处理和预测准确度上的优势。 这篇论文的主要贡献在于引入了自然语言处理技术到信用评估领域，优化了特征提取过程，并验证了自注意力机制的有效性。它不仅提升了评估模型的性能，也为未来基于深度学习的信用评估提供了新的思路。关键词涵盖了信用评估、自注意力机制、词嵌入、特征提取以及深度神经网络，这表明了研究者对于深度学习在金融风控领域的探索与实践。