语义分割损失函数的Python包

软件影响9（2021）100078原始软件出版物SemSegLoss：用于语义分割的损失函数的python包什鲁蒂·贾东Sunnyvale，CA 95134，美国自动清洁装置保留字：深度学习图像分割医学成像损失函数代码元数据A B标准图像分割一直是一个活跃的研究领域，因为它具有广泛的应用，从自动疾病检测到自动驾驶汽车。近年来，各种研究论文提出了不同的损失函数，用于有偏数据，稀疏分割和不平衡数据集的情况。在本文中，我们介绍了SemSegLoss，这是一个Python包，包含一些广泛用于图像分割的著名损失函数。 它的开发旨在帮助研究人员开发新的损失函数，并对各种应用的模型架构进行广泛的实验。所提供的软件包的易用性和灵活性可以减少开发时间，并增加用于语义分割的机器学习模型的评估策略。此外，由于其功能的通用性，使用图像分割的不同应用程序可以使用SemSegLoss。这 广泛的应用将导致AI在所有行业的发展和增长当前代码版本v.1.1用于此代码版本的代码/存储库的永久链接https://github.com/SoftwareImpacts/SIMPAC-2021-46可再生胶囊的永久链接https://codeocean.com/capsule/7888892/tree/v1法律代码许可证MIT使用git的代码版本控制系统使用Python的软件代码语言、工具和服务编译要求、操作环境依赖性如果可用，链接到开发人员文档/手册问题支持电子邮件sjadon@umass.edu0. 介绍近年来，深度学习已经改变了从软件到制造业的多个行业。医学界也从深度学习中受益。在疾病分类方面有多项创新，例如，使用U-Net的病变分割[1]和使用SegNet的癌症检测。图像分割是深度学习社区的重要贡献之一。图像分割可以定义为像素级的分类任务。图像由各种像素组成，并且这些分组的像素定义图像中的不同元素。将这些像素分类为元素的方法称为语义图像分割。损失/目标函数的选择在设计复杂的基于图像分割的深度学习架构，因为它们引入了算法的学习过程。因此，自2012年以来，研究人员已经尝试了各种特定于域的损失函数，以提高模型在其数据集上的性能。本文介绍了SemSegLoss，这是一个基于Python的软件包，由一些广泛用于图像分割的著名损失函数组成我们的 实 现 可 以 在 GitHub 上 获 得 ： https://GitHub.com/shruti-jadon/Semantic-Segmentation-Loss-Functions。1. 影响概述SemSegLoss具有广泛的应用范围，从医学到自动驾驶。在创建最佳深度学习的同时，本文中的代码（和数据）已由Code Ocean认证为可复制：（https://codeocean.com/）。更多关于生殖器的信息徽章倡议可在https://www.elsevier.com/physical-sciences-and-engineering/computer-science/journals上查阅。电子邮件地址：shrutijadon@ieee.org。https://doi.org/10.1016/j.simpa.2021.100078接收日期：2021年4月26日;接收日期：2021年4月30日;接受日期：2021年5月3日2665-9638/©2021作者。由Elsevier B. V.发布，这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表软件影响杂志 首页：www.journals.elsevier.com/software-impactsS. Jadon软件影响9（2021）1000782表1语义分割损失函数的类型[2]。类型损失函数基于分布的损失二进制交叉熵[3]加权交叉熵[4]平衡交叉熵[5]焦点丢失[6]距离图导出的损失惩罚项[7][8]第八话灵敏度-特异性损失[9]特沃斯基损失[10][11]第十一话对数余弦骰子损失[2]基于边界的损失Hausdorff距离损失[12]形状感知损失[13][14]第十四话指数对数损失[15]模型，选择正确的目标函数（也称为损失函数）是至关重要的。因此，至关重要的是要有这样的框架，促进这些目标函数的研究和发展。然而，据我们所知，没有其他软件包提供集合语义分割的损失函数。出于这个原因，该领域的所有当前研究人员都被迫花费数小时搜索实现或编写代码。这个过程减缓了实验室的研究速度，有时还限制了实验范围。SemSegLoss的主要目标是提供一种简单的方法来实验各种目标函数并确定最佳可能的方法，即，选择损失函数，使性能最佳，优化步骤少。此外，当前基于分割的损失函数主要由具有深度学习、线性代数和优化方面广泛知识的研究人员开发。尽管如此，由于SemSegLoss的易用性，更多的用户将开始在这一领域的研究。一这个框架的优点之一是它完全用Python编写，Python是一种具有易于理解语法的编程语言。近年来，大多数与机器学习相关的开发都是在Python中进行的。而且，它也很容易修改或扩展 还没有实现的功能。此外，Python的灵活性促进了与其他编程语言编写的模块的集成。SemSegLoss是一个最近开发的Python包。它得到了GitHub上各种研究人员的认可。同时，SemSegLoss已被用于：1. 创建新的损失函数：SemSegLoss GitHub存储库已用于设置实验，以获得新的拟议损失函数的实验声明，例如倾斜交叉熵[16]损失函数，混合焦点损失函数[17]和软分割损失函数[18]2. 执行基于分割的实验：SemSegLoss代码实现易于遵循，允许应用程序使用损失函数的代码实现进行基于分割的实验。例如，胚胎斑马鱼的心脏功能评估[19]，从卫星图像分析自然灾害后果[20]和野火检测[21]在所有列出的用例中，使用SemSegLoss GitHub代码实现获得的结果为研究人员提供了选择正确损失函数以提高模型性能的能力2. 功能和主要特点SemSegLoss目前有12个广泛使用的损失函数，分为四种类型，如表1所示。如果最终用户想要分析分割模型架构的效率，他们可以使用基线二进制交叉熵损失到焦点Tversky损失的不同实现。除了损失函数之外，该框架还可以评估模型性能使用不同的统计分析，如精度，召回率，特异性和骰子系数。使用SemSegLoss包，任何程序员都可以使用损失函数进行实验，并使用基于性能的功能分析结果。3. 结论和进一步发展SemSegLoss包提供了易于使用的损失函数，以便在开发有效的基于分割的模型时分析和试验不同的方法。研究人员和开发人员可以利用这个软件包，因为它的简单性。我们打算在未来版本中添加更高级的损失函数技术，例如相关性最大化，结构相似性损失[22]和距离图导出的损失惩罚项[7]，用于基于医学的我们还计划将SemSegLoss包上传到PyPI，以促进其分发和使用。竞合利益作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作引用[1]放大图片作者：Shruti Jadon，Owen P. Leary，Ian Pan，Tyler J. Harder，DavidW.作者：Lisa H. 德里克·默克Merck，使用多中心临床试验的CT数据对创伤性脑损伤的2D 图像分割算法的 比较研究，载于：Po-Hao Chen ，Thomas M. Alberno（ Eds. ） ， Medical Imaging 2020 ： Imaging Informatics for Healthcare ，Research ， and Applications ， vol. 11318 ， InternationalSociety for Optics andPhotonics，SPIE，2020，pp. 195-203.[2] Shruti Jadon，语义分割损失函数的调查，在：2020年IEEE生物信息学和计算生物学计算智能会议，CIBCB，IEEE，2020年，pp. 1-7号。[3] 马以德，刘庆，钱志柏，基于交叉熵的PCNN模型在图像分割中的应用，2004年智能多媒体、视频和语音处理国际研讨会论文集，2004年，IEEE，2004年，pp. 743-746[4] Vasyl Pihur，Susmita Datta，Somnath Datta，聚类验证措施的加权秩聚合：蒙特卡罗交叉熵方法，生物信息学23（13）（2007）1607-1615。[5] 谢赛宁，涂卓文，整体嵌套边缘检测，在：IEEE计算机视觉国际会议论文集，2015年，pp.公元1395-1403年。[6] T.Y. Lin ， P. Goyal ， R. 格 希 克 角 He ， P. Dollár ， Focal loss for dense objectdetection. ArXiv 2017，2002，arXiv预印本arXiv：1708.02002。[7]Francesco Caliva ， Claudia Iriondo ， Alejandro Morales Martinez ， SharmilaMajum-dar，Valentina Pedoia，语义分割的距离图损失惩罚项，2019，arXiv预印本arXiv：1908.03679。[8] 卡罗尔·H李文琪，李文琪，李文琪. JorgeCardoso，Generalized dice overlap as adeep learning loss function for highlyunbalanced segmentations ， in ： DeepLearning in Medical Image Analysis andMultimodalLearning for Clinical DecisionSupport，Springer，2017，pp. 240-248[9] 放 大 图 片 作 者 ： Seyed Raein Hashemi ， Seyed Sadegh Mohseni Salehi ， DenizErdogmus，Sanjay P. 作者：Simon K. Warfield，Ali Gholipour，不对称损失函数和深度密集连接网络用于高度不平衡的医学图像分割：应用于多发性硬化症病变检测，IEEE Access 7（2018）1721-1735。[10] Seyed Sadegh Mohseni Salehi，Deniz Erdogmus，Ali Gholipour，使用3D完全卷积深度网络进行图像分割的Tversky损失函数，在：国际医学成像机器学习研讨会，Springer，2017年，第100页。379-387.[11]Nabila Abraham，Naimul Mefraz Khan，一种新的焦点tversky损失函数，具有改进的注意力u-net用于病变分割，在：2019年IEEE第16届国际生物医学成像研讨会，ISBI 2019，IEEE，2019年，pp. 683 -687[12]Davood Karimi，Septimiu E. Salcudean，用卷积神经网络减少医学图像分割中的Hausdorff距离，IEEE Trans. 医学成像39（2）（2019）499-513。[13]Zeeshan Hayder ， Xuming He ， Mathieu Salzmann ， Shape-aware instancesegmentation，2（5）（2016）7，arXiv预印本arXiv：1612.03129。[14]作者：张晓，郑业锋，张伟. Kevin Zhou，Bogdan Georgescu，Puneet Sharma，Daguang Xu，Dorin Comaniciu，Ghassan Hamarneh，Combo loss：处理多器官分割中的输入和输出不平衡，Comput。医 学 成像图。75（2019）24-33.[15]Ken C.L. Wong，Mehdi Moradi，Hui Tang，Tanveer Syeda-Mahmood，高度不平衡对象尺寸的指数对数损失的3D分割，在：医学图像计算和计算机辅助干预国际会议，Springer，2018年，第100页。612-619S. Jadon软件影响9（2021）1000783[16]A. Szabó，H. J. Rad，Siva-Datta Mannava，倾斜交叉熵（TCE）：促进语义分割的公平性，2021，arXivarXiv：abs/2103.14051。[17]Michael Yeung，Evis Sala，Escha-Bibiane Schönlieb，Leonardo Rundo，用于处理类别不平衡医学图像分割的混合焦点损失函数，2021，arXiv预印本arXiv：2102.04525。[18]Charley Gros，Andreanne Lemay，Julien Cohen-Adad，SoftSeg：图像分割的软训练与二进制训练的优势，医学图像分析。71（2021）102038。[19]Amir Mohammad Naderi ， Haisong Bu ， Jingcheng Su ， Mao-Hsiang Huang ，Khuong Vo，Ramses Seferino Trigo Torres，J.- C.放大图片作者：Michael P.H.Lau，Xiaolei Xu，et al.，基于深度学习的框架，从心脏跳动视频中评估胚胎斑马鱼的心脏功能，2021，arXiv预印本arXiv：2102.12173。[20] Victor Oludare，Landry Kezebou，Karen Panetta，Sos Agaian，半监督学习，用于改进卫星图像的灾后损害评估，载于：2021年多模式图像利用和学习，第11734卷，国际光学和光子学学会，2021年，第11734页。117340 O.[21]Simone Monaco，Andrea Pasini，Daniele Apiletti，Luca Colomba，Paolo Garza，Elena Baralis，从卫星图像中改进深度学习U网的野火严重程度分类，2020年IEEE大数据国际会议，大数据，2020年，pp. 5786-5788[22] Shuai Zhao ， Boxi Wu ， Wenqing Chu ， Yao Hu ， Deng Cai ， Correlationmaximizing structural similarity loss for semantic segmentation ， 2019 ， arXivpreprintarXiv：1910.08711。