"基于图像理解的移动应用自动化测试技术及挑战分析"

基于图像理解的移动应用自动化测试是南京大学软件学院iSE实验室的研究方向之一。目前，研究主要关注测试报告的文本描述或者程序代码的执行树，但这种方法并不适用于移动应用的测试报告，因为移动应用的测试报告通常只包含少量的文字描述和缺陷截图。 针对这个问题，iSE实验室提出了一种基于图像理解的移动应用自动化测试方法。该方法包括以下几个方面的内容。 首先，实验室提出了自动化脚本录制与回放的技术。传统的GUI测试脚本录制与回放方法有基于坐标、基于控件树和基于图像等。而基于图像的方法是通过对比控件截图与屏幕截图，从当前UI中定位控件。这种方法可以有效解决移动平台的碎片化问题，因为移动平台存在多样性，包括操作系统版本、品牌、型号、屏幕尺寸分辨率等。基于图像的方法可以准确地定位控件，从而实现自动化脚本的录制与回放。 其次，实验室提出了基于图文理解的报告排序技术。传统的测试报告通常只是简单地列出测试结果，缺乏更多的细节信息。基于图文理解的报告排序技术可以将测试报告中的文字描述和缺陷截图进行分析和理解，从而对测试结果进行排序。这样，测试人员可以更加方便地查看和理解测试报告，快速找到重要的问题和缺陷。 此外，实验室还提出了基于深度图文理解的报告排序技术。这种技术是在基于图文理解的报告排序技术的基础上进一步提升，通过深度学习算法对测试报告进行分析和理解。深度图文理解技术可以更加准确地理解测试报告中的文字描述和缺陷截图，从而更加精确地排序测试结果。 最后，实验室提出了基于图像理解的测试报告生成技术。传统的移动应用测试报告通常只包含少量的文字描述和缺陷截图，缺乏直观的展示效果。基于图像理解的测试报告生成技术可以通过图像处理和分析算法，将测试报告中的文字描述和缺陷截图转化为直观的图像展示，提供给测试人员更加直观和全面的测试报告。 总之，基于图像理解的移动应用自动化测试是南京大学软件学院iSE实验室的研究方向之一。通过自动化脚本录制与回放、基于图文理解的报告排序、基于深度图文理解的报告排序以及基于图像理解的测试报告生成等技术，可以提高移动应用的测试效率和准确性，帮助测试人员更好地理解和处理测试结果，提升移动应用的质量和可靠性。