TableFormer：解决表格理解模型的行列顺序作弊问题

"实习生在谷歌实习期间发现模型在理解表格时存在依赖行列顺序的bug，为解决此问题，提出了TableFormer模型，该模型在ACL2022会议上发表，具有严格的行列顺序扰动鲁棒性，并在多个基于表格的任务中表现出色。TableFormer引入了13种可学习的注意力偏置标量，改进表格结构编码和表格与文本描述的对齐。" 本文主要介绍了作者在谷歌实习期间遇到的一个模型问题及其解决方案。现有的自然语言处理（NLP）和多模态任务中的模型在处理表格时，往往依赖于表格的行列顺序来理解内容。例如，对于一个包含奥运会奖牌榜的表格，即使行顺序被打乱，模型仍可能错误地将首行的国家视为金牌最多的国家，这暴露出模型的局限性。 为解决这一问题，作者提出了TableFormer模型，这是一个针对表格和文本编码的强健Transformer架构。TableFormer设计了一种新的机制，即13种可学习的注意力偏置标量，这些标量有助于模型在不依赖行列顺序的情况下理解表格结构。这种增强使得TableFormer在处理行列顺序被扰动的表格时更具鲁棒性。 TableFormer不仅提高了对表格结构的编码能力，还优化了表格与相关文本描述（如问题）之间的对齐。在基于表格的自动问答、事实核查任务，以及连续问答任务中，TableFormer均表现出色。特别地，它在面对表格行列扰动的场景下，相比于先前的最佳模型，性能提升了6%-10%，达到了当前最先进的水平。 论文《TableFormer: Robust Transformer Modeling for Table-Text Encoding》详细阐述了TableFormer的设计原理和实验结果，并计划在GitHub上的tapas项目中开源相关代码，供研究者和开发者参考和使用。这个模型的创新之处在于，它为表格理解和处理提供了一个更健壮、更灵活的框架，有望推动NLP领域中表格相关任务的进一步发展。