构建高效的肝脏超声造影连续勾画软件和迁移模型
发展,这些研究往往都基于大量实验,目前还没有重大的理论进展。在我看来,
这些研究可以分为两类,1)改进训练策略,2)改进模型的泛化能力。
改进训练策略针对超参数的选择、数据集的优化和选择最优的迁移模块(网
络每个子模块是固定,ne-tune 或者随机初始化)。结论具有借鉴意义的研究
有:Dube 等 (2018b) 指出正确选择超参数和源数据集,可以提升 TL 的准确性。
Dube 等 (2018b) 神经网络各层的学习率是重要的超参数,在 ImageNet22 k 迁移到
Oxford Flowers 的任务中,选择适当选择学习率,可以将精度提高 127%;Ngiam
等 (2018) 指出更多的预训练数据并不一定有帮助,通过删除不相关的数据,改
进预训练数据集不同数据的比重(给弱相关的数据低权重),在细粒度分类数据
集上获得了卓越的性能;Chen 等 (2019) 对多个医学挑战中的数据集进行汇总,
建立具有不同成像模态、目标器官和病理的 3DSeg-8 数据集,并通过建立名为
Med3D 的异构三维网络来共同训练多领域的 3DSeg-8,建立一系列预训练模型。
相比直接从 Kinetics 数据集上的预训练模型,3DSeg-8z 上预训练的数据集在肺
部分割、肝脏分割效果更好;
Kornblith
等
(2018)
通过比较
12
个图像分类数据集
上 16 个分类网络的性能得出,当网络用作固定功能提取器或微调时,ImageNet
精度与迁移精度之间有很强的相关性,此外,在两个小型的细粒度图像分类数据
集上,ImageNet 中学到的要素无法很好地迁移。
改进模型的泛化能力的研究是研究什么样的网络结构可以更好地完成迁移
任务,这些研究工作集中在迁移域学习(Domain Transfer, DL),代表性的研究有:
Huang 等 (2018) 设计了一个在结构上有多个组合的神经网络,能自动为输入在
大的语义空间中选择最匹配的子特征空间。Dube 等 (2018a) 允许迁移学习在训练
时和测试时的数据来自相似但不同的分布,通过自适应方法,寻找在源域上对主
要学习任务具有辨别性且在不同迁移域中有较好表现的特征,以提高泛化能力。
WEI 等 (2018) 提出了一种新颖的转移学称为” 学习转移”(Learning to Transfer) 的
学习框架,通过元学习,使得网络在面对不同迁移问题时能自动确定那些特征需
要保留,哪些需要训练。Wan 等 (2019) 指出虽然迁移学习通常可以通过更好的
精度和更快的收敛来提升性能,但从不合适的网络中转移权重会伤害训练过程,
并可能导致更低的精度,因为提出了一种正则化方法改进网络优化的方向使得
网络部分参数得到较好的保留。
当然,在医学图像分析中也明确存在负迁移的现象,Raghu 等 (2019) 指出
36
评论0