图灵奖得主Bengio与LeCun预言：自监督学习开启AI人工智能新纪元

在2020年的国际机器学习会议（International Conference on Learning Representations, ICLR）线上会议上，两位重量级人物——图灵奖得主Yoshua Bengio和Facebook的首席人工智能科学家Yann LeCun，对未来人工智能研究趋势发表了见解。他们强调了自监督学习作为推动AI迈向人类智力水平的关键技术。 自监督学习，作为一种新兴的机器学习范式，与传统的监督学习形成对比。在监督学习中，模型依赖于大量带有标签的数据进行训练，而在自监督学习中，模型通过分析数据本身内在的结构和关系，生成自我定义的标签，从而进行学习。这种模式模拟了人类和动物在日常生活中自我观察并理解环境的过程，如图像旋转预测任务所示，无需人工标注就能进行训练。 LeCun指出，随着自监督学习的普及，其在AI训练中的作用将会增强，因为它能更好地捕捉数据的复杂性和多样性，这在一定程度上减少了对标注数据的依赖。然而，自监督学习也面临挑战，尤其是处理连续分布数据的不确定性问题。尽管像Google的BERT这样的模型在离散数据上表现出色，但在处理连续变量的分布表示方面，研究人员尚未找到理想的解决方案。 在斯坦福对话问答数据集上，BERT展示了强大的性能，达到了93.2%的准确率，超过了当时的机器学习和人类水平的标准。这表明自监督学习在某些任务中已经展现出超越传统方法的能力。然而，要实现真正的人工智能，即类人的推理能力，还需要解决更多理论和技术上的难题，包括如何更好地处理不确定性、开发适用于连续变量的高效表示方法等。 自监督学习被认为是未来AI发展的圣杯，它有望改变我们训练和理解复杂数据的方式。随着研究的深入，这种学习方式有望助力AI在更广泛的领域实现更高层次的认知能力。然而，科研人员还需克服许多技术障碍，才能让自监督学习真正成为人工智能领域的一大突破。