V-Doc: 一种文件图像的问答工具

0V-Doc: 文档的视觉问答0Yihao Ding 1, Zhe Huang 1, Runlin Wang 1, YanHang Zhang 1, Xianru Chen 1, Yuzhong Ma 1, HyunsukChung 2, Soyeon Caren Han 1*01悉尼大学2FortifyEdge0{yihao.ding, hyunsuk.chung, caren.han}@sydney.edu.au0{zhua8534, rwan2687, yzha5308, xche9640, yuma6895}@uni.sydney.edu.au0摘要0我们提出了V-Doc，这是一个使用文档图像和PDF的问答工具，主要面向研究人员和非深度学习专家，用于生成、处理和理解文档视觉问答任务。V-Doc支持使用文档图像生成和使用提取型和抽象型问答对。提取型QA通过从文档内容中选择一部分标记或短语来预测答案，而抽象型QA通过识别内容中的语言并基于训练好的模型生成答案。这两个方面对于理解文档尤其是图像格式的文档至关重要。我们详细介绍了抽象型QA任务的问题生成场景。V-Doc支持广泛的数据集和模型，并通过一个声明性、框架无关的平台具有高度的可扩展性。01. 引言0视觉问答（VQA）是一种多模态深度学习，用于回答关于图像的基于文本的问题。根据不同的应用场景，有一系列基于各种应用场景定义的VQA任务，包括统计图表[9,14]，日常生活照片[6]和数字化文档[13]。在这些VQA任务中，文档VQA更具挑战性，它旨在从文档中提取信息并回答自然语言问题。它需要检测场景对象并理解这些对象的含义和关系，以预测可靠的答案。一般来说，现有的QA可以分为抽象和提取两种任务。提取型QA通过从文档内容中选择一部分标记或短语来预测答案，而抽象型QA通过识别文档内容生成答案。0*通讯作者（caren.han@sydney.edu.au）1数据和演示视频：https://github.com/usydnlp/vdoc0图1.V-Doc平台架构概述。用户可以从数据集中选择样本图像，并使用训练好的模型预测输入问题的答案。比较不同模型之间的预测答案可能代表用户提出的模型对目标客户的优势。0训练好的模型。针对抽象型和提取型VQA问题，引入了不同的数据集和最先进的模型。最近，通过使用网站[15]、教科书幻灯片[10]、扫描文档[7]或跨领域文档[13]提出了几个文档VQA数据集。许多最新的VQA模型广泛使用这些数据集，但大多数数据集只使用单页域文档，如[14,15]，忽略了现实世界中更常用的多页文档的情况。此外，大多数现有的抽象型QA任务只关注图表或图形[9,14]，而不是整个文档页面。Transformer和BERT架构[1,12]在许多自然语言任务中取得了许多显著的成就，包括文本分类、语言生成和文本问答。不同的多模态模型解决了VQA的挑战，例如双线性模型[2]。0基于图像文本融合的transformers [11, 16]，自注意力[3]等。尽管最近提出了许多最先进的模型，但没有一个平台能够代表新模型的性能并将其与一些经典基线进行比较。本文提出了一个名为V-Doc的平台，用户可以在不同的数据集上上传他们训练好的抽象或提取模型，以与其他基线进行比较，以向客户或目标用户展示模型的改进和优势。该平台主要包含三个模块，从设计数据集存储和模型存储模块到通过Web应用程序展示性能。数据集存储模块包含一个组合问题生成引擎，可以基于从PubMed开放源子集2收集的多页文档生成新的文档VQA数据集。它还提供了一些经过良好预处理的常用文档VQA数据集，如FUNSD。用户可以向系统中添加和训练/测试更多数据集。模型存储模块在我们的数据集存储模块中提供了一些在不同数据集上训练的模型，该模块还提供了一个环境，支持用户在我们的平台上上传和测试用户训练的模型。我们的Web应用程序可以直接使用模型存储模块中的训练模型，以向目标客户展示所选模型的可用性和可靠性。我们的论文的贡献主要包括：0•据我们所知，我们的V-Doc是第一个包含数据集存储、模型存储和图形用户界面三个模块的文档-VQA平台。0•我们引入了一个新的数据集生成引擎，并引入了一个新的文档-VQA数据集PubVQA，可以在我们的数据集存储模块中访问，以填补这一领域缺乏抽象文档-VQA数据集的空白。0•提供可扩展的数据和模型存储模块，支持用户通过用户友好的图形用户界面上传和比较他们的新模型与基准模型。02. 系统架构0V-Doc主要包含三个模块：1）数据集存储，2）模型存储，和3）一个Web应用程序。数据集存储提供现有的预处理基准数据集和一个基于PubMed访问的论文生成QA对的问题生成引擎。模型存储提供一个环境来上传和存储各种训练过的文档-VQA模型。提出的Web应用程序可以根据用户的需求调用训练好的模型。02 https://pubmed.ncbi.nlm.nih.gov0数据集存储模块提供可训练的预处理数据集和一个新的问题生成引擎，用于生成新的QA对。原始的PDF文档是从PubMed收集的。每个文档被拆分成多个图像，并输入预训练的Mask RCNN [17]模型和Google Vision API3来生成收集文档的场景图。组合式问题生成引擎处理场景图文件以生成一个名为PubVQA的新的抽象文档-VQA数据集。模型存储模块包含了经典和广泛使用的深度学习模型MAC [5]、LayoutLMv2[16]，用于处理阅读理解（抽象）或信息检索（提取）任务。这些典型的架构可以用作与用户上传的训练模型进行比较的基准。该系统允许在常用的机器学习框架上构建用户定义或训练的模型。Web应用程序为用户提供了一个图形用户界面，而不是调用预测方法。V-DocWeb应用程序由前端设计和后端开发组成。前端由JavaScriptReact框架构建，负责渲染GUI，处理用户输入并将其传递给后端，最后从后端渲染收集到的答案。我们的后端由Python Flaskrestful框架构建。它从模型存储中加载模型，并通过机器学习框架（包括Tensorflow和Pytorch）调用预定义的预测函数。每个模型都部署在单独的后端服务器上，以避免依赖冲突。因此，用户可以通过在用户界面上上传图像并写下问题来从任何特定模型获取预测结果。03. 数据集存储0数据集存储模块提供一些预处理的文档-VQA数据集。它还包含一个问题生成模块，该模块提供了一个具有经过处理的PubMed论文的场景图的组合式问题生成引擎，用于生成一个新的文档-VQA数据集PubVQA。问题生成过程主要包括数据收集、场景图生成和问题生成。03.1. PubVQA数据集生成03.1.1 数据收集0我们从PubMed开放访问子集中根据PMCID收集了一组PDF文档，并将PDF文档拆分为单独的文档图像（.jpg文件）4。一个预训练的03 https://cloud.google.com/vision 4https://github.com/Belval/pdf2image0IBM提供的MaskRCNN模型基于他们提出的大规模PubLaynet[17]数据集，用于进行目标检测，获取每个检测到的段落的边界框坐标和类别类型。由于PubLaynet的领域与我们的数据集相同，因此这个预训练的Mask-RCNN模型的输出是合理且可接受的。03.1.2 场景图生成0在从Mask-RCNN获取结果后，我们需要为每个图像生成场景图，以表示检测到的段之间的关系。生成的场景图可以提供基本信息，并由问题生成引擎用于生成Pub-VQA数据集的QA对。场景图文件中的关键属性包括文本内容，阅读顺序，父子关系，相对位置等。获取这些属性以生成场景图文件的过程包括：0（a）原始图像0（b）预处理页面0图2. 场景图生成预处理示例0• 内容提取：我们使用Google Cloud VisionAPI实现光学字符识别（OCR）来提取每个PDF段（边界框）的文本内容。0•阅读顺序：我们设计了一种方法，根据人们的阅读顺序为每个段分配索引号。它主要包含两个步骤：（1）根据左上角y坐标对段进行排序，生成初始的阅读顺序列表。（2）如果任何段在其左侧有邻居，但当前的阅读顺序列表索引大于该段，则在阅读顺序列表中交换位置。继续执行步骤2以生成最终的阅读顺序列表。根据所提出的方法，图2a中段A到F的阅读顺序是A（图），B（文本），C（文本），E（文本），D（标题），F（文本），每个段的索引在图2b中表示。0•间隙距离：我们通过计算两个边界框之间的最短距离来获得间隙距离。有三个规则：（1）如果两个边界框重叠，则边界框之间的间隙距离计为0。（2）如果两个边界框在x轴或y轴方向上部分相交，则间隙距离是两个边的垂直或水平距离。（3）如果两个边界框在x轴和y轴上没有交集，则间隙距离在两个最近顶点之间。图2b中的线段（c），（d）表示段D（标题）到段B（文本）和段E（文本）之间的间隙距离，分别。0•类别细化：我们在Publaynet上预训练的Mask-RCNN的输出中有五个类别，包括文本，标题，列表，表格，图像。然而，为了生成更全面的QA对，一些段的预测类别应该更新，特别是将一些文本段更改为表格标题或图像标题。大多数表格和图像标题都是最接近表格或图像的段。在这种情况下，根据计算的间隙距离结果，很容易将最接近的文本段更改为表格或图像段，以生成表格标题或图像标题。根据这些规则，图2a中段B的类别在图2b中从文本更新为图像标题。0•父子关系：我们通过使用阅读顺序和类别细化结果轻松生成文档段之间的父子关系。有三个规则：（1）如果在阅读顺序列表中的两个标题对象之间没有其他标题对象，则第一个标题是所有文本或列表段的父对象，直到下一个标题出现，例如图2b中的关系（b）。（2）如果它们之间没有其他类型的段落基于阅读顺序序列，则文本或标题段是列表段的父对象。（3）如果有表标题或图标题，则表或图是最近标题段的父对象。例如，根据图2b中的关系（a），段A（图）是段B（图标题）的父对象。0•相对位置：我们根据它们的边界框坐标分配两个段之间的相对位置。例如，在图2b中，如果两个段在y轴方向上重合，但在x轴上不重合，如元素C和D之间的相对位置。我们可以定义C在D的左侧，D在C的右侧。如果两个段在x轴和y轴方向上都不重合（例如在段E和D之间），我们可以定义D位于E的右上方，E位于D的左下方。0表1. 每个模板的问题和答案示例0问题类型 示例问题模板 答案类型0与位置相关的  的标题位于哪里？顶部/底部 标题位于  的哪一侧？顶部/底部0基于计数的 在  的  侧有多少个  对象？数量 对于  ，在其  侧有多少个 对象？数量0基于存在的 标题对象在此页面上存在吗？是/否 是否存在任何标题？是/否03.1.3 问题生成0受Clevr[8]提出的用于合成图像的问题生成器的启发，我们设计了一个用于真实世界PDF文档的组合问题生成引擎，通过使用每个文档图像的生成场景图文件。类似于Clevr的问题生成方法，我们定义了一些模板和功能程序来生成问答对。表1显示了三个不同组的模板，包括与位置相关的、基于计数的和基于存在的模板，以及预期的答案类型。图3表示预定义函数序列生成相应问答对的工作流程。例如，与位置相关的问题工作流主要由三个预定义函数组成。为了生成一个问题'标题在 的哪里？'，引擎需要使用'筛选类别'函数过滤目标段落，然后通过'唯一'函数随机选择一个目标表格或图形段落。然后，'标题位置'函数可以提取目标表格与其标题之间的相对位置。0表2. 现有数据集大小（问题-答案对）0数据集 训练 验证 测试0PubVQA 1260 360 180 FUNSD-QA1000 30003.2. 现有数据集0V-Doc提供了两个默认数据集，这些数据集是文档VQA领域中公开可用且广泛使用的数据集。0•  FUNSD-QA: 它是从RVL-CDIP[4]数据集中选择的一个表单理解数据集。它用于扫描文档相关的任务，包括文本检测、OCR、布局分析。它包含199个PDF图像，并提供布局组件的类别、边界框坐标、文本内容和实体之间的链接。基于预定义的四个类别0图3.与位置相关的、基于计数的和基于存在的问题生成预定义函数序列0通过'问题'和'答案'之间的链接，我们可以轻松生成一个基于跨度分类的抽取型问答数据集，命名为FUNSD-QA。0•  PubVQA:我们引入/创建了一个新的生成型文档VQA数据集，命名为PubVQA。数据集的划分信息在表2中列出。在该数据集上使用了一些经典的生成型QA模型，生成了上传到我们的模型存储模块的训练模型。04. 模型存储0V-Doc提供了一个模型存储模块，用于管理现有的或用户上传的训练模型。它提供了支持基于常用机器学习框架构建的模型的环境。与数据集存储类似5https://semi.design/en-US/start/introduction0模型存储模块中的现有训练模型也可以分为抽取型和生成型两种。许多预训练语言模型可以在基于跨度的问答任务上进行微调，通过预测输入文本中的起始和结束索引来提取答案，例如BERT [1]，LayoutLMv2[16]。这些模型是在数据集存储模块提供的抽取型数据集上进行训练的，可以作为基准与新提出的模型进行比较。此外，模型存储模块还提供了一些广泛使用的生成型基准模型，可以直接用于生成预测答案并与用户上传的模型进行比较。04.1. 抽取QA模型0V-Doc有两个抽取QA模型，包含在模型存储中。0•BERT：它是一种广泛使用的多层双向变压器语言模型。它可以轻松应用于解决基于跨度分类的问答模型，并在QA数据集（如斯坦福问答数据集）上进行训练。线性层被放置在预训练的BERT的顶部，以预测起始和结束的逻辑，从输入中提取内容。我们在FUNSD-QA数据集上对基于BERT的QA模型进行微调，以获得一个经过训练的模型上传到模型存储模块。0•LayoutLMv2：它是一种基于多模态变压器的架构，不仅通过掩码语言建模任务进行预训练，还应用了一些新的文本-图像对齐和匹配任务来学习跨模态交互。它还提供了一个LayoutLMv2FeatureExtractor来提取图像特征进行预训练和下游任务。与用于抽取QA的BERT类似，线性层被放置在隐藏状态输出的顶部，以预测起始和结束索引。我们还在FUNSD数据集上提供了一个经过训练的LayoutLMv2模型，存储在我们的模型存储模块中。04.2. 抽象QA模型0V-Doc有两个抽象QA模型，包含在模型存储中。0•  LSTM+CNN：这是MAC[5]采用的基线模型架构。它使用长短期记忆（LSTM）网络来编码问题的文本信息，并使用预训练的卷积神经网络来学习文档图像的视觉特征。然后，将问题和视觉嵌入连接起来，输入到线性层中得到预测的答案逻辑。0•MAC：它是一个端到端可微分的架构，包含一系列的MAC单元来执行多阶段推理过程。每个MAC循环单元包含控制单元、读取单元和写入单元，分别管理、提取和整合问题和图像特征。MAC网络在Clevr[8]数据集上取得了最先进的性能，这也是我们选择此模型作为模型存储模块中提供的基线模型之一的原因。0多阶段推理过程。每个MAC循环单元包含控制单元、读取单元和写入单元，分别管理、提取和整合问题和图像特征。MAC网络在Clevr[8]数据集上取得了最先进的性能，这也是我们选择此模型作为模型存储模块中提供的基线模型之一的原因。05. Web应用程序05.1. 图形用户界面0V-Doc系统的用户界面是使用Nodejs和React框架构建的单页Web应用程序。所有组件和图标都从Semi design5导入。主要，这个Web应用程序将PDF图像和问题发送到具有不同预测模型的服务器，并在下面的表格中显示结果。V-Doc系统的GUI主要由四个部分组成：模型选择、图像选择、输入问题和答案表示。0图4.Web应用程序界面。重点子部分已突出显示，包括模型选择、问题输入、数据集选择和预测答案表示0模型选择：允许用户选择模型存储模块提供的训练模型。数据集选择：提供一个图像选择器，通常包含九个PDF图像，包括来自PubVQA数据集的六个样本图像和来自FUNSD-QA数据集的三个图像。用户可以选择一个样本图像，系统可以直接应用Figure 5. User oriented workflow from model and dataset upload-ing, trained model and dataset selection, question inputting to getpredicted answer.5.2. Backend DependenciesThe dependencies of the V-Doc web application in-herit from both provided MAC and LayoutLMv2.Bothtorch1.8.0 and tensorflow1.15 are implemented to adaptvarious models. The packages imageio2.9.0 and PIL8.4.0are called to process the uploaded image, as a binary data.Then, dataset1.12.1 and pandas1.3.4 are used to col-lect and process both image data and uploaded question,preparing for the model pre-processing step. We appliedtransformer4.12.3 build-in methods to pre-process andpredict answer by trained models.Finally, flask2.0.2,flask − cors3.0.10 are used for building the backend toreceive and response the request from front-end.5.3. User InstructionThe interaction between users and the V-Doc GUImainly contains three key steps. The first step is an optionalone is to upload user trained model and dataset to DatasetStorage module or Model Storage module base on user de-mands. For uploading new dataset to Dataset Storage mod-ule, user should upload document images and other requiredembedding sequentially. Regarding to upload trained modelto Model Storage module, user need to check whether thedataset existed in Dataset Storage before uploading theirtrained model. V-Doc GUI also allow users to select the ex-isting trained models on provided datasets in Model Storageand Dataset Storage modules and send them to back-end ofWeb application. Then, users can input question and get thepredicted answers based on selected dataset and model.6. Evaluation6.1. Extractive QA performanceTable 3. Extractive QA model performance on FUNSD-QAModelBLUEBERT9.37LayoutLMv211For solving extractive problems, we provide two trainedmodel on FUNSD-QA dataset to predict the start index andend index of input documents. After getting the start andend index, we extract the actual tokens and calculate theaverage sentence-level BLUE score between ground-truthand predicted answers. The first provided Model is fine-tuned on pre-trained ”bert-base-uncased” ignoring the vi-sual aspect features of document images to provide a text-feature only baseline for comparing with other models.In addition, we also provided another multi-modal base-line which is fine-tuned on ”microsoft/layoutlmv2-base-uncased”. We use LayoutLMv2 provided Processor to en-code multi-aspect features including text, bounding box,visual features. The BLUE score of two trained modelsare 9.37 and 11, respectively, which represents multi-aspectfeatures can effectively improve the extractive QA modelperformance.Table 4. Abstractive QA model performance on PubVQA datasetModelVal-AccTest-AccLSTM+CNN45.6948.78MAC54.3255.446.2. Abstractive QA performanceFor anstractive task, we selected two commonly usedbaselines and tested on our PubVQA dataset includingLSTM+CNN, MAC. We use one bi-directional LSTM layer0选择模型并将其文件存入输入阶段。每个样本表示模板和推荐的输入问题。在此数据集选择部分，用户可以使用存储在数据集存储模块中的其他图像。问题输入：如图4所示，我们的V-Doc系统接受预定义的模板和自定义问题。当选择预定义模板时，问题将由骨架和参数组成。每个模型都有几个特定的模板，作为建议的问题。确定问题后，选择的训练模型、样本图像和问题将被发送到后端生成预测答案。答案表示：当结果从后端返回时，前端将文件名、问题和预测答案渲染到结果表中。结果将保存直到用户离开页面。(dim = 128) and extract the last hidden state, which is con-catenated with the image visual feature (dim=1024) ex-tracted from ResNet101 (same as MAC model adopted).For the MAC network, the only change is the output layerdimension is change to 9 which is equal to the lengthof PubVQA answer set.From Table 4, MAC model canhave better performance 55.44, than LSTM+CNN structure48.78 on test dataset.7. ConclusionThis paper introduces a new document visual questionanswering platform, V-Doc, that provides a web applica-tion to predict corresponding answers of input questions byusing an uploaded trained model in the model storage. Cur-rently, the extendable model storage contains both abstrac-tive and extractive trained document related VQA baselinemodels on different datasets. The model storage can alsoallow a user to upload other trained models to demonstratethe performance in the web application. In addition, we alsointroduced a new PubVQA dataset generated by real-worldmedical journals by an extendable question generation en-gine. In summary, our system provides a platform for deeplearning researcher to represent their VQA model results tofill the gaps in this area. In the future, we will update ourmodel storage to provide more trained baseline models, andmore question generation templates will be provided to im-prove the quality of our dataset.[16] Yang Xu, Yiheng Xu, Tengchao Lv, Lei Cui, Furu Wei,Guoxin Wang, Yijuan Lu, Dinei Florencio, Cha Zhang,Wanxiang Che, et al. Layoutlmv2: Multi-modal pre-trainingfor visually-rich document understanding. In Proceedingsof the 59th Annual Meeting of the Association for Compu-tational Linguistics and the 11th International Joint Confer-ence on Natural Language Processing (Volume 1: Long Pa-pers), pages 2579–2591, 2021. 2, 5[17] Xu Zhong, Jianbin Tang, and Antonio Jimeno Yepes. Pub-laynet: largest dataset ever for document layout analysis. In2019 International Conference on Document Analysis andRecognition (ICDAR), pages 1015–1022. IEEE, 2019. 2, 30参考文献0[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and KristinaToutanova. Bert:预训练的深度双向转换器用于语言理解。在2019年北美计算语言学协会会议论文集上，页码为4171-4186，2019年。1, 50[2] Akira Fukui, Dong Huk Park, Daylen Yang, AnnaRohrbach, Trevor Darrell, and Marcus Rohrbach.多模态紧凑双线性池化用于视觉问题回答和视觉定位。CoRR，abs/1606.01847，2016年。10[3] Peng Gao, Hongsheng Li, Haoxuan You, Zhengkai Jiang,Pan Lu, Steven C. H. Hoi, and Xiaogang Wang.动态融合的视觉问题回答中的内部和跨模态注意力流。CoRR，2018年。20[4] Adam W Harley, Alex Ufkes, and Konstantinos GDerpanis.用于文档图像分类和检索的深度卷积网络的评估。在2015年第13届国际文档分析与识别会议上，页码为991-995，IEEE，2015年。40[5] Drew A Hudson和Christopher D Manning.用于机器推理的组合注意力网络。在国际学习表示会议上，2018年。2, 50[6] Drew A Hudson和Christopher D Manning. Gqa:用于真实世界视觉推理和组合的新数据集0问题回答。在IEEE/CVF计算机视觉和模式识别会议论文集上，页码为6700-6709，2019年。10[7] Hazim Kemal Ekenel Jaume, Guillaume和Jean-PhilippeThiran. Funsd:用于嘈杂扫描文档中的表单理解的数据集。在2019年国际文档分析与识别研讨会上，卷2，页码为1-6，IEEE，2019年。10[8] Justin Johnson, Bharath Hariharan, Laurens Van DerMaaten, Li Fei-Fei, C Lawrence Zitnick, and Ross Girshick.Clevr:用于组合语言和基础视觉推理的诊断数据集。在IEEE计算机视觉和模式识别会议论文集上，页码为2901-2910，2017年。4, 50[9] Samira Ebrahimi Kahou, Vincent Michalski, Adam Atkin- son, ´Akos K´ad´ar, Adam Trischler, and Yoshua Bengio. Figureqa:用于视觉推理的注释图像数据集。arXiv预印本arXiv:1710.07300，2017年。10[10] Aniruddha Kembhavi, Minjoon Seo, Dustin Schwenk,Jonghyun Choi, Ali Farhadi, and Hannaneh Hajishirzi. Are yousmarter than a sixth grader?用于多模态机器理解的教科书问题回答。在IEEE计算机视觉和模式识别会议论文集上，页码为4999-5007，2017年。10[11] Liunian Harold Li, Mark Yatskar, Da Yin, Cho-Jui Hsieh,and Kai-Wei Chang. Visualbert:用于视觉和语言的简单且高性能的基线。arXiv预印本arXiv:1908.03557，2019年。20[12] Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, MandarJoshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettle-moyer, and Veselin Stoyanov. Roberta:一种经过优化的鲁棒性BERT预训练方法。arXiv预印本arXiv:1907.11692，2019年。10[13] Minesh Mathew, Dimosthenis Karatzas, and CV Jawahar.Docvqa:用于文档图像上的VQA的数据集。在IEEE/CVF冬季计算机视觉应用会议论文集上，页码为2200-2209，2021年。10[14] Nitesh Methani, Pritha Ganguly, Mitesh M Khapra, andPratyush Kumar. Plotqa:在科学图表上进行推理。在IEEE/CVF冬季计算机视觉应用会议论文集上，页码为1527-1536，2020年。10[15] Ryota Tanaka, Kyosuke Nishida, and Sen Yoshida.Visualmrc:用于文档图像上的机器阅读理解。在人工智能AAAI会议论文集上，卷35，页码为13878-13888，2021年。1