"2D和3D与CNN科研前沿进展：细粒度姿势数据集与多分支卷积神经网络的应用"

2D和3D与CNN科研前沿的最新进展2020.11.10 方建勇 摘要：目前已有的对象类别的3D姿势数据集仅限于泛型对象类型，并且缺乏细粒度信息。在这项工作中，我们引入了一个新的大型数据集，包括409个细粒度类别和31个二维三维综合类别。通过使用深度学习算法，我们对这些类别进行了细粒度分类和姿势分析。具体而言，我们提出了一种基于多分支卷积神经网络（CNN）的多发性硬化症（MS）病变分割的自动化方法，该方法基于多模态脑磁共振图像。我们的方法使用基于切片的三维体积数据进行分割，采用多分支下采样路径对不同模态的切片进行编码，然后通过多尺度特征融合块将不同阶段不同模态的特征图结合起来。接下来，我们还提出了多尺度特征上采样块，以组合不同分辨率的特征地图，并利用病变形状和位置的信息。我们使用每个3D模态的正交平面方向训练和测试我们的模型，以利用各个方向的上下文信息。我们在包括37名MS患者的私人数据和其他数据集上评估了我们的方法。 关键词：2D，3D，CNN，细粒度，自动化，多发性硬化症 简介： 2D和3D技术与卷积神经网络（CNN）是计算机视觉和深度学习领域的研究热点。2D和3D技术可以用于图像和视频的处理，而CNN则是一种强大的深度学习算法，可用于图像分类、对象检测和分割等任务。近年来，随着科技的不断进步，2D和3D与CNN的结合在多个领域取得了突破性进展。 然而，目前已有的对象类别的3D姿势数据集仅限于泛型对象类型，缺乏细粒度信息的问题限制了2D和3D与CNN在某些领域的应用。为了解决这个问题，我们引入了一个包括409个细粒度类别和31个二维三维综合类别的新数据集，这个数据集具有更丰富的类别信息和更准确的姿势数据，为2D和3D与CNN的研究提供了更好的基础。 在这项工作中，我们使用这个新数据集进行了细粒度分类和姿势分析。我们首先使用多尺度特征融合块将不同阶段不同模态的特征图结合起来，并通过多尺度特征上采样块提高不同分辨率的特征地图组合的效果。然后，我们使用每个3D模态的正交平面方向进行训练和测试，以利用各个方向的上下文信息。通过这些方法，我们得到了在细粒度分类和姿势分析任务上表现优秀的结果。 我们还对我们的方法进行了评估。我们使用了包括37名MS患者的私人数据和其他数据集进行实验。实验结果表明，我们的方法在多发性硬化症病变分割中具有很高的准确性和鲁棒性。 综上所述，我们的工作在2D和3D与CNN科研前沿取得了最新的进展。我们引入了一个新的大型数据集，并使用深度学习算法进行了细粒度分类和姿势分析。通过多分支卷积神经网络，我们提出了一种自动化的多发性硬化症病变分割方法，取得了显著的效果。我们的工作不仅拓展了2D和3D与CNN的应用领域，还为该领域的研究提供了重要的数据集和方法。 关键词：2D，3D，CNN，细粒度，自动化，多发性硬化症