基于中红外光谱和深度学习的农业土壤交换性钾预测及解释性研究

农业中的人工智能6（2022）230基于中红外光谱和深度学习的土壤交换性钾预测：从预测到解释Franck Albineta，b，Yi Pengc，Tetsuya Eguchid，b，Erik Smolderse，Gerd Derconb法国盖塔里独立研究顾问b土壤和水管理作物营养实验室，粮农组织/原子能机构粮食和农业核技术联合中心，奥地利塞伯斯多夫c全球土壤伙伴关系，联合国粮食及农业组织，Viale delle Terme di Caracalla，00153 Rome，Italyd农业辐射研究中心，东北农业研究中心，国家农业和食品研究组织，日本福岛e比利时鲁汶大学土壤和水管理股a r t i c l e i nf o文章历史记录：收到2022年7月4日收到修订版，2022年9月13日接受，2022年2022年10月18日网上发售保留字：高通量土壤表征机器学习卷积神经网络核应急反应解释性a b s t r a c t快速和重复表征土壤中交换性钾（Kex）含量的能力对于优化农业中放射性铯污染的修复至关重要在本文中，我们展示了如何使用卷积神经网络（CNN）模型在大型中红外（MIR）土壤光谱库（40，000个样品，Kex用1 M NH4OAc，pH 7确定）上训练，由美国农业部国家土壤调查中心使用偏最小二乘回归作为基线，我们发现，当大量数据可用（10000）时，我们实现的CNN导致Kex的预测性能显着提高，将确定系数从0.64提高到0.79，并将平均绝对百分比误差从135%降低到31%。此外，为了向最终用户提供所需的解释性密钥，我们实施了CresentShap算法来识别预测Kex的模型认为重要的光谱区域。在各种土壤分类学订单上实施CNN的背景下使用，它允许（i）将重要的光谱特征与领域知识联系起来，以及（ii）证明在基于CNN的建模中包括所有土壤分类学订单是有益的，因为所学习的光谱特征可以在不同的，有时代表性不足的订单中重复使用版权所有© 2021作者。出版社：Elsevier B.V.我代表科爱通信公司，公司这是一篇基于CC BY-NC-ND许可证的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。1. 介绍农田放射性污染的修复需要准确的土壤数据。在影响粮食和农业的核紧急情况下，交换性钾（Kex）起着重要作用。由于钾与放射性铯在土壤到植物的转移中竞争，它可以帮助减少作物对这种主要沉降物放射性核素的吸收关于土壤中钾含量的信息对于优化放射性污染的修复至关重要 ， 如 1986年 在 切 尔 诺 贝 利 或 2011年 在 福 岛 发 生 的 放 射 性 污 染（Komatsu等人，2017年）。快速和重复表征Kex的能力将为决策提供信息和便利，并显着降低多年来修复所需的分析成本通过湿化学表征土壤性质（例如K ex）的传统方法可以提供高准确度和精确度，但其通常成本和时间过高（Viscarra Rossel等人， 2006年）。为*通讯作者：独立研究顾问，Guéthary，法国。电子邮件地址：franckalbinet@gmail.com（法国）Albinet）。几十年来，土壤科学家已经成功地使用可见光、近红外和中红外光谱技术来估计广泛的土壤物理、化学和生物特性（ViscarraRossel等人，2006; Frost等人，2007; Shepherd和Walsh，2007; Bellon-Maurel等人，2010; Grinand等人，2012; Peng等人，2014; Torres Astorga等人， 2018; Dangal等人， 2019; Ng等人， 2022年）。当分析地面、干燥土壤时，MIRS通常比近红外反射光谱法（NIRS）更准确并且产生更稳健的校准（Viscarra Rossel等人，2006; Ng等人，2019年b）。然而，开发用于估计土壤特性的模型通常在范围上受到限制，因为只有小的和区域特 异性的 土壤 MIR 光谱 库可用（Viscarra Rossel等人， 2008; deSousa Mendes等人， 2022年）。湿化学方法缺乏标准化（ViscarraRossel和Bouma，2016年），加上数据可用性低的情况，或所谓的低数据制度，也长期导致校准模型过度拟合小型且经常有噪声的数据集（Torres Astorga等人， 2018年）。为了避免这种过度拟合，通常涉及仔细的数据预处理和降维（Viscarra Rossel等人， 2022），这些都是MIRS土壤数据处理和统计学习中普遍存在的主题（Hastie等人， 2009年）。https://doi.org/10.1016/j.aiia.2022.10.0012589-7217/© 2021作者。出版社：Elsevier B.V.我代表科爱通信公司，公司这是一篇CC BY-NC-ND许可证下的开放获取文章（http：creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表农业中的人工智能杂志主页：http://www.keaipublishing.com/en/journals/农业人工智能/F. Albinet，Y.彭氏T.Eguchi et al.农业人工231然而，数据稀缺的情况正在迅速改变，随着大规模的、不断增长的、高质量的、区域特异性较低的核磁共振扫描土壤样品库的可用性。一个强有力的例子是由美国农业部（USDA-NRCS）的国家土壤调查中心（NSSC）凯洛格土壤调查实验室（KSSL）维护的光谱库，该光谱库可供全球科学界使用。现有数据的数量和多样性前所未有通常根据开放数据政策发布，允许土壤科学研究人员将重点从传统的建模技术（如偏最小二乘回归（PLSR））转移到更高复杂性的机器学习（ML）模型，如卷积神经网络（CNN）。CNN是一类深度神经网络，通常应用于具有网格状拓扑结构的数据，如图像，音频或时间序列。深度神经网络的一个非表特性是它们能够以分层的方式学习例如，在图像识别任务的背景下，已经表明第一个卷积层学习低级别的特征，如对角，水平和垂直边缘，而其他层学习更高语义的组件，如角，圆甚至复杂的图像（Zeiler和Fergus，2013）。最近在中红外土壤光谱学中利用，CNN已被证明能够学习，因此自动化光谱预处理步骤，并将复杂的吸收峰模式与待表征和预测的土壤性质的存在相关联（Ng等人，2019年b）。与PLSR相比，CNN的性能增益对于一些易于预测的参数（如土壤有机碳或碳酸钙）可能并不显著然而，最近的研究表明，在大数据情况下，卷积神经网络（CNN）在大多数土壤性质预测上优于PLSR（ Wijewardane 等 人 ， 2018; Ng 等 人 ， 2019 b; Shen 和 ViscarraRossel，2021; Shen等人， 2022; Ng等人，2022年）。此外，对于某些土壤参数，通过PSLR进行的性质预测的性能通常非常低（Ng等人，2019 b; Wijewardane等人， 2018），特别是当光谱和这些性质之间的关系是非线性的，例如对于K ex。已知这种较差的性能与这样的事实有关，即这种土壤性质没有直接或强的光谱特征来支持校准模型，并且仅与其他光谱活性土壤组分相关地推断（Janik和Skjemstad，1995;Sanderman等人，2020年）。然而，如果这种关系存在并且可以学习，则需要具有能够（i）从光谱中提取深度信息以用于更好的校准目的的模型类别，例如CNN(ii)利用一个庞大而多样的光谱库。据我们所知，估计的Kex在一个水平的性能足够的核修复使用一个大型的MIR光谱库和CNN算法从未被测试，直到KSSL数据库已提供给公众最近。此外，当旨在用于获得新的科学见解，在大规模危机响应期间为决策和政策提供信息时，机器学习算法不仅需要展示足够的预测能力，而且还必须为最终用户提供解释性密钥，以允许理解这些预测是在输入数据的哪些基础上进行的。在理论上，基于振动光谱学原理，并且在具有土壤成分的限定混合物的受控条件下，特征性红外电磁辐射吸收模式可以归因于官能团和化学键（Socrates，2004）。在实践中，这是更具挑战性的测量条件的基础上，当分析土壤成分，如K ex是在较低的浓度，只有通过与其他光谱活性的主要土壤成分的相关性观察（桑德曼等人， 2020年）。然而，将光谱特征分配给特定土壤特性的基本振动的解释和能力是关键：（i）通过选择特定波数（在预处理过程中被认为是重要的）来开发更简约的模型，提取和建模阶段（ViscarraRossel和Lark，2009; Mehmood等人，2012; Ng等人，2019 a），（ii）更好地理解模型输出，并提供如何进一步改进这些模型的见解（Viscarra Rossel和Behrens，2010），（iii）可能对正在建模的土壤过程的当前知识状态产生新的影响（Lundberg和Lee，2017）以及（iv）促进最终用户的信任并促进采用基于机器学习的技术（Molnar等人，2020年）。到目前为止，用于解释每个输入特征的贡献的方法（即， 在特定波数电磁辐射的吸收）到模型输出是模型特定的（Terhoeven-Urselmans等 人 ， 2010; Viscarra Rossel 等 人 ， 2016; Clairotte 等 人 ， 2016;Wijewardane等人，2018; Landre等人，2018; Gomez等人，2020）或具有高计算成本（Ng等人，2019年b）。此外，这些方法平均了所有预测中特征的重要性，而个体或一组预测的重要性，例如土壤分类顺序，对于模型开发人员和放射性环境修复领域专家都至关重要（Molnar等人，2020年）。在本出版物中，我们的第一个假设是，表征土壤中钾离子的能力，在足够的性能水平修复的条件是大量数据的可用性和使用高容量的模型类，如CNN。 我们的第二个假设是，基于CNN的土壤性质预测受益于合并MIRS信息，从广泛的土壤类型（土壤分类订单），即使数据不是均匀分布在所有订单。 通过合并，KSSL数据集中数据量较低的土壤等级也受益于CNN学习过程，在可能的情况下，重用在良好代表的土壤等级上学习的光谱特征。这一特点将为解决缺乏关于放射性核素在干旱、热带和季风气候等勘探不足的环境中的归宿的数据问题提供一个重要的机会因此，在这项研究中，我们的第一个目标是评估CNN模型在大MIRS光谱线上训练时预测土壤中Kex的能力，并具有足够的精度水平，用于修复农业用地的放射性污染。为了阐明数据制度和模型容量在本分析中的作用，PLSR被用作基线。我们的第二个目标是通过分析模型在土壤分类顺序中的表现，研究领域专家如何利用CNN可解释性算法来获得对正在建模的土壤过程的新见解，并在核修复期间的决策过程中建立信心2. 材料和方法2.1. 建模管道概述表1总结了本研究中开发的整个数据预处理，分析和建模流程，并特别强调了PLSR和CNN模型之间的差异以下各节提供了每个任务的完整详细信息为了确保可重复性，建模管道的源代码和复制这项工作的数据可在以下链接中获得：https://fr.anckalbi.net/mirzai。Python 版 本 3.6 、 NumPy （ https://numpy.org ） 、 Scikit-Learn（https：scikit-learn.org）和PyTorch（https://pytorch.org）已用于数据预处理、分析和建模部分，Captum（https://captum.ai/）也用于满足可解释性需求。Google Colab Pro计算环境已被用于以下规格：1个GPUTesla P100 16 GB、2个Intel（R）Xeon（R）CPU@2.30GHz内核和26 GB RAM。 这种对足够计算资源的民主化访问也是再现性研究的关键组成部分。2.2. 数据选择、预处理预测和表征Kex的能力是优化农业放射性污染修复的关键。为此F. Albinet，Y.彭氏T.Eguchi et al.农业人工232表1使用中红外光谱、偏最小二乘法和卷积神经网络模型的Kex表征流程概述：从数据选择、预处理、分析、模型验证和优化到可解释性。阶段任务模型PLSR CNNI. 数据选择Kex> 0.12（cmol（+）.kg−1）和所有土壤目SNV光谱预处理Savitzky-GolayCO2区去除Kex Log10变换II. 建模评估方案训练（80%）、验证（10%）和测试（10%）随机分割重复20次，包括RXR 2、LCCC、RMSE、MAPE、偏倚超参数分量数历元数正则化早停辍学III. 可解释性a PLSR：偏最小二乘回归; CNN：卷积神经网络; SNV：标准正态变量; R2：决定系数; LCCC：Lin一致性相关系数; RMSE：均方根误差;偏倚：平均误差和MAPE：平均绝对百分比误差。在这项研究中，我们重点关注美国农业部凯洛格土壤调查实验室（KSSL）向粮农组织/原子能机构粮食和农业核技术联合中心提供的中红外光谱数据库 使用具有HTS-XT高通量附件的Bruker Vertex 70 FTIR光谱仪在空气干燥和研磨的土壤样品上获得中红外光谱（Dangal等人，2019年）。从数据集中识别并选择了总共50，494个样本，并在其上测量了Kex（截至2022年1月）。对于基线（PLSR）和CNN模型，使用标准正态变量变换（SNV）（Barnes等人， 1989年）。当用于训练基线模型时，进一步应用Savitsky-Golay变换（窗口长度为11，多项式阶数为1和一阶导数），并删除CO2光谱区域，以避免与土壤分析无关的伪影（从波数2269到2389 cm−1）的干扰。CNN将安全地忽略CO2光谱区域，并学习第一导数（有限差分）算子，如果认为这对Kex预测是必要的，因此，在这种情况下不应用两种预处理。在本研究涉及的数据集中，已使用NH4 OAc pH 7提取方法测量了土壤中的Kex含量（kg−1）。表2提供了这些测量值的经验分布的汇总统计量及其在任何数据选择之前的log10转换（总共50，494个测量值图 1 显 示 了 在 任 何 选 择 之 前 的 样 品 数 量 和 土 壤 系 统 分 类 顺 序（Baillie，2001）的Kex浓度分布我们观察到，某些土壤目在很大程度上代表性不足，尽管它们在理论上仍然可能被纳入大多数然而，从软土到氧化土的定义土壤目的相对分布代表了KSSL数据集（主要是美国）覆盖的地理区域中存在的土壤类型（Dangal等人， 2019年）。用于KSSL数据库的NH4 OAcpH 7提取法的Kex含量（目标变量）的方 法 检 测 限 （ MDL ） 为 0.06 cmol （ + ） .kg-1 ， 而 其 实 际 检 测 限（PDL）为0.30 cmol（+）.kg−1（MDL的5倍），由于土壤提取物中的基质更复杂，因此设定为高于纯化学中的PDL（约为MDL的3.3倍）（Klesta和Bartz，1996年）。然而，在福岛地区，确保99%糙米的放射性铯浓度低于目标水平的适当Kex含量为0.14 cmol（+）.kg−1为了包括该适当的Kex含量（0.14 cmol（+）.kg−1），本研究中使用的检测限更接近MDL，并采用0.12 cmol（+）.kg−1的阈值，即MDL的两倍。大约20%的数据的值低于该阈值，其余80%的数据，即。对40，132个样本进行log10转换，以避免加权损失函数，否则会导致预测残差的异方差性2.3. 建模2.3.1. 评估方案对于本研究中进行的所有实验，数据按以下比例随机分配：80%用于训练，10%用于验证，10%用于测试。为了优化模型超参数，使用了PLSR和CNN模型的分量或时期的数量分别增加，只要验证损失继续减少。当损失在超参数的三次召唤增加期间趋于平稳或增加时然后，在该分裂方案的20个不同版本（随机种子）(i)以评估其鲁棒性和（ii），以减轻影响相对较小的样本量为某些土壤分类的订单，如氧化土，变性土，凝胶土和组织土。对于这20个不同的随机分割中的每一个，两个模型都暴露于相同的训练，验证和测试（看不见的）数据。报告了平均性能及其标准差表2测得的Kex（cmol（+）.kg-1）的汇总统计量。Q1、Q2和Q3分别是第一四分位数、第二四分位数（中位数）和第三四分位数。MinMax是说标准分位偏度峰度偏差Q1Q2Q3Kex032.330.661.060.150.360.747.1103log10（Kex）a-2.341.51-0.430.49-0.75-0.42-0.11−0.10.02a仅适用于Kex值>0F. Albinet，Y.彭氏T.Eguchi et al.农业人工233σ2yBy2.B.∑Bb.b-m.by-yii1¼ ð Þ∑m2y-yi1B图1.一、（a）每一土壤分类学等级的样本数量（注意，其中大多数是“未定义的”）。 该框从数据的第一四分位数值延伸到第三四分位数值，在中位数处有一条线。须线从框中延伸，以显示数据的范围飞行点（红色）是指那些超过胡须末端的不应用数据选择(For对于图中颜色的解释，请读者参考本文的网络版本为了评估PLSR和CNN模型的能力，以利用在-2rσyσy随着数据量的增加，PLSR和CNN模型也在数据量和性能不断增加的随机子样本上进行了训练公司简介y σ2σb。y-by通过所谓的“学习曲线”描绘的测试集s2001年1月1日星期一上午。ffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiffiΣffiffiffiffiM图（Viering和Loog，2021）。模型的评估进一步在两个不同的-我们在本研究中称之为“全球”和“本地”。在全球RMSE¼∑yi1/1-bið3Þ设置，模型在所有数据上进行训练，在整个测试集上进行评估，并通过土壤分类顺序进行评估。为了进一步了解CNN训练过程，土壤的验证损失MAPE100米我-我4M1.yi.1m在训练期间，随着时期数量的增加，还监测了分类顺序在当地环境中，模型分别由土壤分类学命令进行训练，并在训练的土壤分类学命令上进行测试仅报告了软土、变性土和冻胶土的性能，以（i）突出不同数据区域（从高到低）的作用，以及（ii）评估CNN模型“重新使用”或转移不同土壤税订单中学到的光谱特征的能力2.3.2. 度量为了在训练、验证和测试数据集上评估PSLR和CNN模型，使用了以下度量：（i）确定系数（R2 ）和（ii）Lin的一致性相关系数（LCCC）。LCCC测量预测值和真实值之间的线性相关性，但受到偏倚项的惩罚，允许评估观察值和预测值之间相对于1：1线的一致性（Lawrence和Lin，1989）。这两个指标是在Kex的真实值和预测值的log10转换版本上计算的。此外，均方根误差（RMSE），平均绝对百分比误差（MAPE）计算的目标变量的原始规模事实上，考虑到目标变量的偏态经验分布，RMSE和MAPE倾向于分别对大的和小的Kex值产生超重误差。还根据原始量表计算并报告偏倚。下面解释上述度量的等式偏倚∑ y i y i 51/1其中m是实例的数量;i是单个实例的索引;y是观察值;y是预测值;y是观察值;y为预测值的平均值;r为观察值与预测值之间的Pearson相关系数;σy为观察值的标准差，σy为预测值的标准差。2.3.3. 卷积神经网络模型在这项研究中，PLSR被用作基线，以突出其在不断增加的数据体系中的行为我们的CNN的设计受到VGG16架构（Simonyan和Zisserman，2014）的启发，堆叠具有小内核大小的均匀卷积池层（i）以促进分层特征的自动提取，（ii）控制学习参数数量的增长，以及（iii）处理足够的模型容量以预测大数据体系中的Kex图2提供了我们的卷积神经网络的架构概述，包括两个主要组件：• 特征学习器由堆叠的块组成，每个块由卷积层、批量归一化层、非线性激活层和平均池化层组成，每个连续块的深度（滤波器数量）加倍（最后一个块高达512• 一个任务学习器，（i）学习学习的特征图，（ii）执行使用全连接层将最终特征降维到20维潜在空间中，并且最终（iii）应用非线性∑m2R2¼1 -I¼I¼ð1Þ激活和单神经元线性层（没有进一步的激活函数）预测感兴趣的土壤性质。还添加了Dropout和2ÞF. Albinet，Y.彭氏T.Eguchi et al.农业人工234图二、本研究中使用的卷积神经网络架构由（i）5个堆叠的卷积池块组成，这些卷积池块具有恒定和较小的内核大小以及不断增加的深度（特征学习器）和（ii）任务学习器。我们研究中使用的模型总共有162，401个可训练参数，并使用早期停止（在3个时期后没有验证损失减少）进行正则化，以保证其泛化性能并防止过度拟合。虽然我们依赖于关于网络架构的合理默认值结构，并且没有进行广泛的超参数调整，我们使用了循环学习率（Smith，2017）。 循环学习率背后的动机是，通过交替地降低和增加学习率，我们给优化器探索的机会，访问损失函数的多个局部极小值，并希望防止优化器陷入局部极小值。 在这项研究中，我们使用Adam优化器（Kingma和Ba，2014），循环学习率在3 × 10 −5和1× 10 −3之间。均方误差损失用于优化CNN，最小和最大学习率的确定是基于8个学习时期的损失结构决定的（Smith，2017）。2.4. 解释性在这项研究中，我们实现了AdmisentShap（Lundberg和Lee，2017;Sundararajan等人， 2017; Smilkov等人， 2017; Kokhlikyan等人，2020）模型可解释性算法，以识别被学习算法认为对于正在执行的预测任务重要的光谱特征。光谱特征的重要性可以在模型范围内计算，或者针对具有边际附加计算负担的个体或实例组计算在我们努力将这些信息与领域知识联系起来的过程中，基于（i）本研究中使用的完整数据集和（ii）分别计算了整个CNN模型的特征重要性还评估了土壤系统分类顺序用于预测Kex含量的光谱特征的相关性，从而了解它们的相似性。这种相关性的信息不仅可以增加解释性，而且有助于了解如何在土壤等级中重复使用所学习的光谱特征与在线性回归设置中一样，CorrelentShap算法采用模型输出相对于输 入 特 征 的 梯 度 然而， CNN模型的 非 线 性 行 为 引 入 了 掩 蔽 效 应（Shrikumar等人，2019年，这种做法不太合适。相反，为了弥补这种可能缺乏灵敏度的情况，我们的研究中集成了梯度形状算法，沿着几个基线之间的路径（在我们的研究中，从训练集中随机采样100个光谱），因此可以更好地近似SHAP（SHapley Additive explanations）（Lundberg和Lee，2017）值的计算3. 结果3.1. 数据增长条件下的交换性钾预测模型PLSR和CNN模型预测交换性钾（log 10（K ex））的学习曲线和模型性能，随着训练样本数量的增加和使用所有土壤分类顺序，如图所示。 3.多达5000个样本的数据集，PLSR和CNN模型都表现不佳，R2低于0.65，并且不同随机分割之间的方差水平很高然而，10，000个样本的数据制度似乎是一个切入点。虽然PLSR模型在大约0.64的R2处趋于稳定，但随着数据集大小的增加，CNN的性能不断增加，R2约为0.793.2. 交换性钾预测模型训练与评价3.2.1. 全局设置在此设置中，PLSR和CNN模型在所有数据上进行训练，并在整个测试集上评估性能，并通过土壤分类法进行评估。图3. 学习曲线的PLSR和CNN模型训练，以预测K ex在不断增长的数据制度，使用所有土壤分类顺序。报告了随着数据集大小的增加，在20个不同的测试分割上计算的决定系数R2的平均值和标准偏差F. Albinet，Y.彭氏T.Eguchi et al.农业人工235表3比较PLSR和CNN模型在预测Kex时的性能a，当对所有土壤分类阶进行训练并分别对单个土壤分类阶进行测试时报告的数字是在20个不同的训练/验证/测试分割的测试集上计算的指标的平均值和标准差N是样本数Oxisols的性能没有报告，因为其测试集的大小通常包含单个样本。度量订单N型号R2 LCCCRMSEMAPE所有4032PLSR0.64± 0.010.780± 0.0051.06± 0.45135.0± 3.3CNN0.79± 0.080.884± 0.0050.60± 0.1630.9± 0.9Unde fined1553PLSR0.65± 0.010.788± 0.0071.15± 0.52153.0± 7.2CNN0.81± 0.010.897± 0.0060.76± 0.2831.6± 1.3黑土977PLSR0.60± 0.020.742± 0.0120.77± 0.2094.3± 3.1CNN0.78± 0.020.868± 0.0140.44± 0.0727.4± 1.2铝硅溶胶422PLSR0.54± 0.050.728± 0.0290.41± 0.1882.6± 4.4CNN0.69± 0.030.822± 0.0180.38± 0.1727.3± 1.3初始土289PLSR0.54± 0.040.715± 0.0210.56± 0.12117.6± 6.8CNN0.72± 0.030.838± 0.0230.40± 0.0735.0± 3.1腐植土192PLSR0.30± 0.080.581± 0.0560.32± 0.0580.9± 9.0CNN0.62± 0.050.763± 0.0380.26± 0.0632.5± 2.4重溶土165PLSR0.54± 0.100.734± 0.0510.44± 0.09124.3± 15.2CNN0.77± 0.050.875± 0.0330.32± 0.0530.8± 3.4阿里迪索尔163PLSR0.45± 0.160.686± 0.0672.13± 2.74145.9± 56.2CNN0.69± 0.040.822± 0.0220.66± 0.3235.1± 3.1安地土133PLSR0.59± 0.030.729± 0.0280.59± 0.29106.4± 11.3CNN0.74± 0.040.856± 0.0260.48± 0.1532.6± 3.3变性土95PLSR0.55± 0.100.732± 0.0620.39± 0.1098.7± 12.3CNN0.75± 0.060.857± 0.0370.27± 0.0626.9± 3.3组织土80PLSR0.64± 0.090.778± 0.0551.16± 0.38243.1± 46.1CNN0.76± 0.060.870± 0.0290.87± 0.2745.4± 7.4灰壤64PLSR0.70± 0.080.824± 0.0430.48± 0.13157.1± 19.7CNN0.78± 0.050.880± 0.0250.41± 0.1137.2± 4.7热利索尔61PLSR0.63± 0.100.767± 0.0600.65± 0.14193.8± 31.4CNN0.75± 0.080.860± 0.0470.59± 0.1447.3± 9.9aN是测试集中的样本数测定系数R2和林氏一致性相关系数（LCCC）无单位;均方根误差（RMSE）以cmol（+）.kg−1表示。平均绝对百分比误差（MAPE）以%表示报告了在20个不同随机分割上计算的度量的平均值和标准偏差。命令表3.报告它们在测试集上的平均值和标准差性能。我们记得，这些模型是在20个不同的随机训练、验证和测试分割上训练、验证和测试的结果证实，CNN模型在大数据范围内优于PLSR，平均达到0.79的R2和30.9%的MAPE，而PLSR在整个测试集上的R2为0.64和135%的MAPE。此外，CNN在20个不同的随机分割中计算的预测结果显示，R2和MAPE的标准差分别为0.08%和0.9%。在这种预测能力下，CNN模型更适合于放射性污染的修复此外，当用土壤系统分类法评价时，平均MAPE范围从变性土的26.9%到变性土的47.3%。在KSSL数据集中最具代表性的软土上，平均MAPE为27.4%。指标的变异性随着测试集样本量的减少而增加，这是Gelisols的情况，其MAPE的标准在 所 有 数 据 上 评 估 的 CNN 预 测 的 平 均 偏 差 值 为 0.0047 cmol（+）.kg−1。当对单个土壤系统分类级进行评估时，对于代表性较低的土壤级（如凝土或组织土），偏差值范围为-0.04至0.02 cmol（+）.kg-1。 对于PLSR，对所有数据评价的平均偏倚值预测为−0.0002cmol（+）。kg−1。当对单个土壤分类等级进行评估时，凝胶土和极端土的偏差值分别为-0.09至0.04 cmol（+）.kg-1在单个训练/测试分割上观察到的与预测的K ex的散点图如图所示。 4证实了CNN模型在观察值和预测值之间相对于1：1线的较高总体一致性。如图所示。 4，报告的RMSE和MAPE指标还提供了对所执行的错误的补充观点，因为分别对预测的Kex的较高和较低范围的错误进行了加权。事实上，这些散点图清楚地突出了用PLSR预测时的较高离散度，特别是对于Kex水平，低于1 cmol（+）.kg−1（一旦按其原始标度反向转换）。对于更高的水平（高于1 cmol（+）.kg−1），PLSR模型显示出偏差，几乎系统地低估了Kex。为了了解CNN的学习过程，土壤分类学订单的验证损失报告在图中。五、如在整个验证集（全部）上评价的损失动态所示，需要200个训练时期才能满足“提前停止”标准（在3个时期后停止，在该曲线下方，第一组验证曲线（包括Andisol、Alfi sol、Mollisol和Vertisol）显示出连续下降。相反，在该曲线上方，第二组验证曲线，包括初始土、干旱土、淋溶土、灰壤和凝胶土，在训练结束之前很久就已经趋于平稳，表明存在过度拟合的风险Histosol的验证曲线仍然显示出稳定下降，直到大约180个训练时期，但具有更高的MSE值。3.2.2. 本地设置图6显示了PLSR和CNN模型在松软土、冻胶土和变性土土壤分类等级上的测试性能（R2和MAPE）的比较，当训练（i）包括的所有等级（全局）和（ii）分别在松软土、冻胶土或变性土上（局部）时。这个实验清楚地表明，至少在预测Kex时，通过土壤分类顺序对建模方法进行分层对PLSR模型几乎没有兴趣，对CNN模型则是有害此外，由于样本量小，在Gelisol上进行培训和测试时报告了高标准差，因此证实了系统性报告多个随机分组结果的相关性。3.3. 谱带分配整个测试集的平均值或土壤分类顺序的平均值如图所示。 7以及每个类别的平均光谱。F. Albinet，Y.彭氏T.Eguchi et al.农业人工236图四、 观察与用（a）PLSR和（b）CNN使用所有土壤分类顺序预测Kex重要的是要记住，当SNV（标准正态变量）预处理步骤应用于建模管道的上游时，MIR光谱是平移和尺度不变的。因此，机器学习算法仅利用变形/失真模式来提供估计。CorpentShap值表示光谱的局部变形对预测值的影响第一次分析表明，CNN认为波数3700-3400 cm −1附近的 几项研究（Viscarra Rossel等人， 2006; Le Guillou等人， 2015）强调了土壤矿物学特征在该光谱区域中所起的作用，其中存在方解石、高岭石、2：1型粘土矿物等土壤成分的吸收峰以及自由水的特征。矿物学的重要性也体现在1200-970 cm −1的区域，被分配给Si-O拉伸（Farmer，1974）。土壤有机质也可能有助于土壤中钾的保持具有高有机质含量，如3000-2800 cm-1光谱区域的重要性所暗示的组织土、凝胶土和安地土（Le Guillou et al.，2015年）。为了进一步比较为每个土壤分类等级计算的相关性形状值，相关性矩阵如图所示。 八、通过对相似性值的评估，可以假设存在跨土壤分类顺序重复使用的光谱特征，并将支持我们对不同数据体系下CNN模型行为的分析。下文对相关性水平进行了详细分析为了只考虑这一阶段的总体趋势，在为灰壤、潮土和未定义类别计算的CumentShap值之间观察到高度相关性在KSSL数据库中最具代表性的土壤系统分类级--软土上计算出的CresentShap值与变性土高度正相关，与泼溅土和潮土高度负相关。图五、CNN在训练过程（200个时期）中的验证损失（MSE：均方误差），根据整个验证集（所有）和土壤分类顺序计算。不同的曲线表示20个不同随机分割的平均MSEF. Albinet，Y.彭氏T.Eguchi et al.农业人工237图第六章 比较PLSR（a）和CNN模型（b）在松软土、冻胶土和变性土土壤分类等级上的测试性能、决定系数R2和平均绝对百分比误差（MAPE），当训练（i）包括的所有等级（全球）和（ii）分别在松软土、冻胶土或变性土上时。报告的数据是在20个不同的随机分割上计算的另一方面，计算的Andisols，Aridisols和Ultisol的BeclentShap值与其他目的地的相关性很小，并且表现出独特性。最后，Gelisols和Histosols的dielentShap值相互之间有很强的相关性，但与其他订单的相关性较低，这表明一个独特的集群。4. 讨论4.1. 性能分析放射性铯向农作物转移风险高的土壤需要约1 cmol（+）.kg-1的Kex，以使放射性铯向农作物的转移降至最低点（Hirayama等人，2018年 ） 。 因 此 ， 在 放 射 性 污 染 的 补 救 方 面 ， 准 确 表 征 低 于 1 cmol（+）.kg−1的Kex水平的能力至关重要。在如此低的钾浓度下，可用的钾不足以避免吸收放射性元素，如放射性铯，通常存在于与核紧急情况有关的沉降物中。因此，CNN（31%）的MAPE误差比PLSR（135%）模型低得多，这为该应用领域提供了对于较高的K ex浓度（高于1 cmol（+）.kg-1），如图所示。4，对于PLSR模型可以观察到明显的偏差。此外，PLSR模型似乎受数据集中0.3至1 cmol（+）.kg−1范围内（对数10转换时为−0.5至0）的大多数测量值的支配相比之下，CNN模型在这个范围内具有明显优越的预测能力，尽管训练集中这种类型的数据缺乏代表性如前所述，早期停止技术用于训练我们的模型。在CNN的情况下，训练在3个时期后停止，而没有减少验证损失，以避免过度拟合。但是图图5显示了按土壤分类顺序排列的验证曲线，便于进行更深入和更有区别的分析。确定了两组验证曲线，一组曲线在整个训练期间显示出稳定的下降，另一组曲线通常在训练期结束时趋于平稳或再次开始增加我们解释是，整体验证损失的减少主要是由软土和Alfi sol订单驱动的，这是KSSL数据集中最具代表性的两个订单更多的训练时期将进行最有可能甚至更好的表现对这些订单。然而，包括Gelisols、Spodosol和Ultisol的组在100个时期（训练期的中途）后验证损失停止我们对那些土壤订单的要求太高了因此，更保守的方法是在100个epoch时停止训练4.2. 利用不断增长的数据体系经常出现的一个问题是，使用深度学习模型需要多少样本学习曲线的分析如图所示。3允许为我们的特定应用领域回答这个问题。用于Kex预测的PLSR和CNN模型的学习曲线突出了在这项研究中，CNN模型被发现优于PLSR的预测Kex时，数据制度超过约10，000个样本，其中PLSR模型的性能达到约0.65的R2的平台，而CNN的性能继续增加，直到它达到接近0.8的R2学习曲线在低数据状态下也显示出高标准差这是所用评估方案的人为因素。虽然训练、验证、测试随机分割各自的比例：80%、10%和10%在高数据状态中是相关的并且是常用的，但在较低数据状态中，k倍评估方案或至少训练、验证、测试随机分割各自的比例：60%、20%和20%将是更合适的。然而，这一限制并不影响我们的基本原理，(i)分裂的大小，