堆栈神经模块网络：复杂推理任务的自解释模型

本文主要探讨了在复杂推理任务，如视觉问答（Visual Question Answering, VQA）和参考表达理解（REF）中，如何通过堆栈神经模块网络（Stacked Neural Module Networks, SNMN）提高模型的可解释性和组合推理能力。传统的可解释模型设计往往需要在训练过程中对解释轨迹进行监督，但这限制了模型的灵活性和泛化能力。SNMN提出了一种创新的神经模块化方法，旨在自动学习和分解复杂的子任务，无需强监督，从而实现无监督的组合推理。 堆栈神经模块网络的工作原理是构建一个层次结构，其中每个模块代表一个特定的推理操作，如识别、定位、比较等。这些模块可以共享，形成一个通用的模块库，使得模型能够根据不同问题灵活地组合和重用。在解决像图1所示的问题时，例如确定图像中是否存在特定物体，模型需要经历一系列步骤，如检测对象、定位位置、判断条件等。这种模块化的设计有助于揭示模型内部的决策过程，使它在面对复杂任务时更易于理解和解释。 与传统方法相比，SNMN的优势在于其生成的可解释轨迹不仅展示了模型如何处理特定任务，而且还能预测模型在中间步骤的表现，如判断是否能成功解决问题。这有助于用户了解模型决策的依据，增强用户对模型的信任，并在必要时进行调试和优化。此外，实验结果表明，相比于仅关注最终预测结果的模型，SNMN在人类评估者的可解释性方面表现更优，因为它们能够提供更清晰的推理路径。 本文的贡献在于提出了一种新颖的堆栈神经模块网络架构，它在复杂推理任务中实现了组合推理的可解释性，同时避免了对解释轨迹的过度依赖。这种方法不仅提升了模型的性能，还提高了其在实际应用场景中的透明度和信任度，为深度学习模型的可解释性研究开辟了新的方向。