不用真实图片，如何训练出图像识别SOTA模型？

"这篇论文探讨了如何在不使用任何真实图像和人工标注的情况下，训练出一个性能媲美甚至超越当前SOTA的图像识别模型。研究人员采用了一种名为Formula-Driven Supervised Learning (FDSL)的方法，该方法利用分形数据库(FractalDB)来生成图像模式和类别标签，从而避免了传统视觉预训练模型所需的大量真实图像和标注数据。这种方法对于解决隐私保护、标注成本以及AI伦理问题具有重要意义。" 在计算机视觉领域，视觉Transformer (ViT)作为一种新兴的模型架构，已经在许多任务中展现出强大的性能，但它通常需要大规模的真实图像数据和标注进行预训练。然而，这样的需求不仅带来了高昂的标注成本，还涉及到隐私和公平性问题，例如著名的ImageNet数据集就受限于非商业使用。为了解决这些问题，这篇名为"Can Vision Transformers Learn without Natural Images?"的论文提出了一个创新的解决方案。 FDSL是一种新颖的监督学习策略，它依赖于分形数据库。分形是一种基于自然规律的数学构造，可以模拟现实世界的复杂结构。FractalDB中的分形图像可以被用来生成各种模式，并且它们的类别标签是根据分形生成的规则自动分配的。这种方法消除了对真实图像的依赖，使得训练过程更加符合隐私保护原则，同时也降低了训练成本。 论文中提到的实验结果显示，使用FDSL训练的ViT模型在图像识别任务上的表现可以与使用大量真实图像和标注的传统方法相媲美，甚至在某些情况下超越了现有的SOTA模型，如MoCov2和SimCLRv2。这一发现揭示了无需真实图像也能训练出色图像识别模型的可能性，为未来的计算机视觉研究开辟了新的道路。 这篇论文展示了在多模态学习的背景下，如何利用非传统数据源，如数学构造，来训练高效且隐私友好的视觉模型。这种方法的潜力在于，它不仅减少了对大量现实世界图像的依赖，还可能推动模型在更广泛的环境中应用，比如在保护用户隐私和确保数据安全的场景下。此外，FDSL也为自监督学习方法提供了新的视角，可能会启发更多无需或少用真实图像的预训练策略。