PhysiCell模拟器下的新颖搜索用于癌症治疗进化算法优化模拟器设计

医学信息学解锁19（2020）100347新奇搜索用于癌症处理模拟Michail-Antisthenis Tsompanasa，*，Larry Bullb，Andrew Adamatzky a，Igor Balaz ca非传统计算实验室，西英格兰大学，布里斯托尔，BS16 1QY，英国b英国布里斯托尔西英格兰大学计算机科学与创意技术系，BS16 1QYc塞尔维亚诺维萨德大学农业学院气象学、物理学和生物物理学实验室，Trg Dositeja Obradovica 8，21000，诺维萨德A R T I C L EI N FO关键词：新奇搜索癌症治疗进化算法PhysiCell模拟器优化A B S T R A C T当自动搜索由于欺骗性目标函数景观而陷入局部最优时，常规优化方法可能受到阻碍。因此，开放式检索方法，如新颖性检索，已被提出来解决这个问题。忽视目标，同时施加压力，发现新的解决方案可能会导致更好的解决实际问题。在PhysiCell模拟器下，采用新颖性搜索来优化用于肿瘤治疗的靶向药物递送系统的模拟设计。使用混合目标方程，其包含有效肿瘤治疗的实际目标和可能解决方案的新颖性度量。研究了混合方程两个分量的不同权重，以揭示每个分量的显著性1. 介绍在优化理论和机器学习中，通过在接近最优的区域投入更多精力来搜索可能的解决方案的想法已经得到了很好的确立。然而，这些区域是基于一个目标函数确定的，这个目标函数肯定充满了局部最优值。这是合乎逻辑的，当问题，因此，其目标是复杂的，目标函数将包含更多的局部最优。单独使用目标函数的缺点是忽略了搜索空间中的区域，这些区域可能是找到全局最优值的垫脚石。新颖性搜索[1]是一种进化搜索方法，它不使用解决方案的有效性作为指导，而是使用其新颖性度量。 新颖性度量[9]是所考虑的解决方案的参数，其指示与先前考虑的解决方案相比在行为空间中的位置。新奇搜索的动机是贪婪的搜索方法，依赖于一个特定的目标函数，可能会遭受欺骗性的进化。因此，收敛到最优目标实际上将受到这种欺骗的阻碍[1]。此外，提出新颖性搜索，以解决有限的进步，向更高的复杂性时，观察到利用基于目标函数的基于目标的搜索方法新奇搜索完全忽视了目标，每次都有新的发现也就是说，最新颖的行为，可以通过利用每个解决方案从搜索空间。多个个体合并到行为空间中的单个点的事实使得该方法在计算上可行。此外，由于多个解决方案可以合并到行为空间中的同一点，因此将期望从新颖性搜索继续搜索更复杂的解决方案。因此，人们期望在复杂性阶梯上找到一个好的解决方案。这使得开放式搜索（从模拟的人工生命世界）的概念能够缓解到实际问题[2]。这种方法在几个现实问题中的表现优于目标驱动搜索在第一次提出的研究中，研究了如何通过神经进化设计人工神经网络（ANN），引导机器人通过迷宫[1]。由于目标空间中的局部最优解，即位于接近最终目标的死端，新颖性搜索比贪婪搜索表现得更好Risi等[3]对一个动态的、基于奖励的单T迷宫问题实现了新颖性搜索这类问题（以及一些变体，如双T-迷宫域和蜜蜂域任务，在参考文献[1]中进行了研究。[3]）配备了一个基本的欺骗行为，新颖性搜索设法处理比完善的目标为基础的进化。PhysiCell [4]是一个多细胞的，基于代理的模拟器，* 通讯作者。电子邮件地址：antithenis. uwe.ac.uk（M.-A. Tsompanas）。https://doi.org/10.1016/j.imu.2020.100347接收日期：2020年3月23日;接收日期：2020年5月4日;接受日期：2020年2020年5月20日网上发售2352-9148/©2020的 自行发表通过Elsevier 公司这是一个开放接入文章下的CCBY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）中找到。可在ScienceDirect上获得目录列表医学信息学期刊主页：http://www.elsevier.com/locate/imuM.- A. Tsompanas等人医学信息学解锁19（2020）1003472X1单位;吉吉Fig. 1. PhysiCell [4]模拟快照（左）和NP定位提取（右）。红点代表NP，蓝点代表治疗化合物，绿点代表癌细胞。黑星（右）是NP系综的平均位置，它被转换并用作解的行为（有关此图例中颜色的解释，请读者参考本文的Web版本旨在扩展BioFVM [5]框架，以形成虚拟实验室。PhysiCell是开源的，并提供了几个示例项目，其中一个在这里进行了研究。更具体地说，样本项目“抗癌生物机器人”[ 4 ]被开发为研究靶向癌症治疗的可能工具，即使用粘附到靶向癌细胞特定分子的专用纳米颗粒的药物。先前提出了PhysiCell作为优化基于纳米颗粒的癌症治疗设计[6，7]和发现癌症免疫疗法[8在Preen等人的研究中。[6]，PhysiCell被用于提供替代辅助进化算法，优化治疗化合物向癌性肿瘤细胞的靶向递送在Tsompanas等人的研究[7]它被用于设计治疗性化合物递送系统的相同应用中，作为新的模因算法的靶模拟器，其受到真核生物的基本单倍体-二倍体生命周期的启发。最后，Ozik et al.[8]将PhysiCell与主动学习和遗传算法相结合，以动态探测参数空间并揭示免疫疗法的最佳癌症回归区域。2. 新颖性搜索算法新颖性搜索的实现可以通过利用任何进化方法来实现，同时用新颖性度量改变基于目标的适应度函数[9]。因此，这种方法迫使发现新的个人。这个新的措施，将表明如何发散每个解决方案与其他人相比，在行为空间，应根据给定的问题定义。选择行为空间将代表什么并不是每个问题的先验显而易见的，就像适应度函数一样。新颖性度量应该代表每个新个体的行为在行为空间中与迄今为止已知的其他个体的距离有多远。因此，每一个新的个体都是根据他们的行为而不是他们的基因型与前几代成员的档案进行比较，以确定新个体的新颖性。这个档案包含了在前几代人中被认为是新颖的个人。一个公认的衡量标准是稀疏性[1]，它可以定义为研究中的点与k-最近邻的平均距离，并在以下等式中给出。Kρx dist xμ（1）ki¼0其中ρ是稀疏度量，k是考虑的最近邻的数量，μi是第i个最近邻，x是研究中的个体，dist是返回行为空间中两点距离的函数。因此，远离其他人的集群的个体被分配有更高的稀疏值，因此被认为是更新颖的。表1PhysiCell模拟器的参数不变。参数值损坏率0.03333min-1修复率0.004167min-1药物死亡率0.004167min-1弹性系数0.05min-1CargoO2相对吸收0.1min-1货物凋亡率4.065e-5min-1货物相对附着力0货物相对斥力5最大相对细胞粘附距离1.25最大弹性位移50μm最大附着距离18μm最小连接距离14μm运动性关闭检测阈值0.001附着受体阈值0.1工人迁移速度2μm=min工人凋亡率0min-1工人O2相对摄取量0.1min-1与实际问题的常规适应度函数空间类似，行为空间不能通过进化方法预先得到完美的映射。因此，只能通过探索过程来发现新的个体，类似于定位接近传统目标最优值的区域。此外，新奇搜索具有内在的共同进化性质，因为稀疏度是在整个进化过程中计算的与先前发现的新个体的距离。当一个新的个体具有非常大的稀疏性/新颖性度量值时，意味着它在当代是新颖的，它被添加到上述新颖个体的档案中。因此，有了这个档案作为搜索程序已经寻求解决方案的指南，该方法努力走向行为空间的未暴露区域，最有可能包含更复杂和更好的解决方案。3. 方法这里研究了确定纳米颗粒在癌症治疗中的效率的参数集的优化，该参数集在模拟器PhysiCell（v.1.5.1）[ 4 ]中被定义为工作者代理。也就是说，样本项目“抗癌生物机器人”[ 4 ]被用来模拟不同种类的纳米粒子的效果。例如，模拟的结果在图1中示出，其中蓝点描绘了由纳米颗粒（红点）沉积在癌细胞（绿点）附近的治疗化合物。癌细胞腐烂并最终死亡M.- A. Tsompanas等人医学信息学解锁19（2020）1003473联系我们¼¼¼½�½�（图1中绿色点的不同阴影），这是由于治疗化合物的接近性（更多细节参见参考文献1）。[4]）。当使用基于群体的优化方法时，在模拟的纳米颗粒参数的可能组合的6-D空间中定义因子。这些参数及其范围为：附着工蜂迁移偏倚[0，1]、未附着工蜂迁移偏倚[0，1]、工蜂相对粘附[0，10]、工蜂运动持续时间（分钟）[0，10]、工蜂相对排斥[0，10]和货物释放 O2阈值（mmHg）[0，20]。模拟器的所有其他参数在整个演变过程中未进行修改，并设置为与模拟器初始分布相同的值（PhysiCell v.1.5.1 [4]），如表1所示。样本项目“抗癌生物机器人“的场景然后再进行3天的治疗。该疗法由代表纳米颗粒的50种模拟剂和代表治疗化合物的450种模拟剂组成。为了减轻模拟器的随机性质对结果的部分影响，使用单个肿瘤来测试搜索空间中的每个可能的个体。上述肿瘤是在模拟器中进化最初200μm半径的癌细胞集合7天的模拟期后产生的。然后，对于每个测试，将完全生长的肿瘤加载到模拟器中（在初始源代码更改后），并立即进行治疗。在引入治疗3天后完成测试（图1左侧部分示出了一个示例），即从初始200μm半径肿瘤开始的总模拟时间为10天。然而，为了进一步最小化随机过程的影响，检查了具有相同参数集的模拟器运行5次后的输出的平均值。每种溶液的客观适合度被确定为在3天模拟治疗后模拟区域中剩余的癌细胞。请注意，在2.20 GHz、64 GB RAM的英特尔®至强®CPU E5-2650（使用48个内核中的8个）上测试每个可能的解决方案（使用相同参数和平均结果运行5次模拟器）的执行时间需要大约6分钟的挂钟时间。 作为参考点，PhysiCell的工人代理的优化尝试了通用遗传算法（GA）。GA的群体大小为P20。采用锦标赛法进行亲本此外，均匀交叉的概率为X80%，每个等位基因的变异率为μ20%，随机步长为s5; 5%。请注意，种群是世代进化的（这里是10代），也就是说，将先前种群的所有个体与后代进行比较，并替换适当的个体。最终形成下一代。对于所提出的新颖性搜索方法，使用与上述相同的算法，而适应度函数被改变以纳入新颖性度量。值得注意的是，尽管人口规模并不大，但选择 这是由于有限的计算负载预算。此外，对两种算法使用相同的群体大小消除了准确性和执行时间之间的权衡可能施加的任何影响。建议可以在混合适应度函数中实现新颖性搜索，同时使用新颖性度量和目标[10，11]。以此为动机，我们指定了一个混合适应度函数，如下所示图二. 简单遗传算法每代个体的平均和最佳实际适应度。图三. 每代个体的平均和最佳实际适应度，用于混合适应度函数，s thr 200。对于下面的实验，赋值等于1400，以便在0; 1的范围内归一化适应度函数的第一部分。最后，sthr是一个加权参数，用于规范化稀疏性（或新颖性度量）的值对于以下实验，该参数取值范围为200适应度¼rcc-稀疏（二）类似地，将适应度函数的第二部分在以下范围内归一化：泰国红十字会斯特尔0; 1 . sthr的值越大，新颖性测度对混合适应度函数的影响越小。其中rcc是癌症治疗3天后剩余的癌细胞数量，稀疏是新个体的行为与行为空间中5个最近邻居的平均距离（如等式2中所定义）。① ①）。此外，rccthr是用于将剩余癌细胞数的值标准化的在行为空间中的每个解决方案的输出被定义为在3天的模拟处理后在其最终位置处的工人代理的集合的重心。更具体地，纳米颗粒集合在模拟区域中的放置（一个示例在图1的右侧部分中被描绘为黑星）。这种行为很容易通过所有工人M.- A. Tsompanas等人医学信息学解锁19（2020）1003474¼¼见图4。每代个体的平均和最佳实际适应度，用于混合适应度函数，sthr<$400。见图6。每代中个体的平均和最佳实际适应度，对于混合适应度函数，sthr<$800。图五. 每代中个体的平均和最佳实际适应度，对于混合适应度函数，s thr¼600。剂. 因此，与以前的新颖性搜索工作[1，12]一样，考虑了结果的拓扑结构，这忽略了实际目标。4. 结果为了使不同算法之间的比较有意义，每种情况下的初始种群由相同的因子组成。对三组不同的初始种群（P20个体）进行了测试。使用通用GA和混合适应度函数的输出（如等式2中所述）。（2））具有不同的归一化参数s thr。2比7这些数字说明了每一代群体的平均实际适应度和每一代中发现的最佳个体的实际适应度。由见图7。每代中个体的平均和最佳实际适应度，对于混合适应度函数，s thr¼1000。术语实际适应度，我们定义了模拟区域中剩余癌细胞的数量，不要与新颖性搜索方法中使用的混合适应度函数混淆，并在Eq. （二）、从图2中的结果来看，图2-7确定了，虽然简单GA为每一代提供了更好的（或至少相同的）适应性，但新颖性搜索方法呈现出更不稳定的行为。也就是说，对于sthr200，它没有设法找到比初始随机生成的解更好的解，相反，它搜索解景观，而没有任何适应性的深刻进步。然而，对于参数sthr的较高值（意味着与实际适应度相比新颖性度量的意义较小），搜索方法设法在10代的范围内至少短暂地优化解。更具体地，如图1A和1B所示。图4-7中，剩余癌细胞的量（实际适合度）下降，M.- A. Tsompanas等人医学信息学解锁19（2020）1003475¼¼�见图8。首次运行的累积结果。与简单遗传算法相比，每代个体对所有sthr参数见图10。第三次运行的累积结果。与简单遗传算法相比，每代个体对所有sthr参数的实际适应度最见图9。第二次运行的累积结果。与简单遗传算法相比，每代个体对所有sthr参数的实际适应度最第六代，但随后的新颖性措施似乎给寻找更多新颖的解决方案带来了更大的压力，而不是保持种群中的最适者。对于sthr参数范围内的中间值，特别是对于sthr800，实际适应度的下降更为深刻。为了更好地比较具有不同sthr参数的搜索方法和简单GA的结果，图1和图2示出了具有不同sthr参数的搜索方法和简单GA的结果。提供8-10个。每个图包含每次运行的结果，即在P20个体的相同初始群体中使用不同在所有不同的运行中，可以观察到，当研究实际适应度时，新颖性搜索产生更不稳定的输出。这是一个预期的结果，因为该搜索方法中使用的混合适应度函数包含完全忽略解的实际适应度的新颖性度量。然而，可以注意到，虽然在最终结果中（经过10代人工进化），简单GA提供了更好的解决方案，但在大多数初始代中，新颖性搜索提供了更好的解决方案。特别是对于高于400的sthr这一事实在图11中更好地示出。在这里，最好的个人见图11。第四代和所有代中个体的最佳实际适应度。发现，直到第4代，并在所有代的简单GA和不同的情况下的混合新奇搜索的第一次运行。尽管事实上，简单的GA似乎优于新颖性搜索在整个10代，它似乎是新颖性搜索与s thr600的性能优于简单的GA，直到第四代。相同的发现代表所有三次运行（比较检验的不同初始化）。这可以通过图1和图2来实现。图12和图13绘制了直到第四代以及所有代的长度上的实际适应度方面的最佳个体的box图。5. 结论新奇搜索的动机是需要克服的问题，欺骗和局部最优的目标优化固有完全忽略目标或使用包括新颖性度量的混合适应度函数通常可以有利于搜索更好的解决方案。在这项研究中，这种方法被用来优化靶向药物递送系统的设计，针对癌性肿瘤。通过PhysiCell模拟器，即通过其样本项目“抗癌生物机器人”评估解决方案。虽然PhysiCell [4]以前曾被研究过，M.- A. Tsompanas等人医学信息学解锁19（2020）1003476图12个。所有运 行中 第 4代 个体 的最佳实际适应度的Bo x图 。图13岁所有世 代 中 所 有 试 验 的 个 体 最佳实际适应度的 Bo x图 。在总是由传统目标引导的不同优化算法[6将适应度函数与新颖性度量相关联，而不仅仅是目标，这被证明可以在人工进化的初始步骤中更快地获得更有效的解决方案。此外，通过对新颖性度量运行具有不同权重的优化过程来执行新颖性度量的显著性的分析。研究范围内的中等和高值证明更有效。然而，新颖性搜索有一些局限性。考虑到它忽略目标的事实，一旦找到好的解决方案，就没有进一步优化的压力，这并不理想。只有当一个人能表现出新颖性，同时证明这种优化的性能时，才能通过新颖性搜索产生优化的解决方案。如所提供的结果中所示，一个简单的GA能够在10个进化步骤的过程中胜过混合新颖性搜索。一个可能的解决方案，这个限制，是采取最有希望的结果，从新颖性搜索并基于目标函数进一步优化它们。因此，遵循此程序将利用这两种方法的优势。新颖性搜索成功地定位了近似解，而目标优化进一步调查了近似解周围的局部区域。另一方面，在传统进化算法达到收敛的情况下，可以应用新颖性搜索，为种群注入新的、多样化的个体。结合新颖性和基于客观的程序的这些前景可以作为未来工作的方面。最后，本研究得出的结论将应用于正在进行的研究[6，7]，以建立更广泛的适用性平台，设计，开发和评估针对癌症肿瘤的药物递送系统。也就是说，在代理辅助进化算法[6]或非常规的创新进化技术（如单倍体-二倍体方法[7]）的应用中使用混合适应度函数和新颖性度量，可以帮助避免陷入潜在的局部最优。M.- A. Tsompanas等人医学信息学解锁19（2020）1003477竞合利益未申报。确认这项工作得到了欧盟地平线2020 FET开放计划的资助引用[1] LehmanJ，Stanley KO.利用开放性，通过寻求新奇来解决问题。 Artiff Life2008;11：329.[2] LehmanJ，Stanley KO.进化计算抽象的修正：最小准则新颖性搜索。在：第12届遗传和进化计算年会论文集; 2010年。p. 103比10[3] Risi S，Hughes CE，Stanley KO.用新颖性搜索进化塑性神经网络。AdaptBehav2010;18（6）：470-91.[4] Ghaffarizadeh A，Heiland R，Friedman SH，Mumberer SM，Macklin P.Physicell：an open source physics-based cell simulator for 3-d multicellularsystems. PLoSComput Biol 2018;14（2）：e1005991。[5] Ghaffarizadeh A，Friedman SH，Macklin P. Biofvm：一种用于3-D生物模拟的高效并行扩散输运求解器。 Bioinformatics 2015;32（8）：1256-8.[6] Preen RJ，Bull L，Adamatzky A.一个可进化的癌症治疗模拟器。生物系统2019;182：1-7. https://doi.org/10.1016/j.biosystems.2019.05.005。http://www.sciencedirect.com/science/article/pii/S0303264719300206网站。[7] Tsompanas M-A，Bull L，Adamatzky A，Balaz I.单倍体-二倍体进化：大自然的迷因算法。2019，07302。a r X i v ：1911年。[8] OzikJ，Collier N，Heiland R，An G，Macklin P.学习加速发现免疫肿瘤相互作用。 分子系统设计&工程; 2019。[9] LehmanJ，Stanley KO.通过寻找新颖性来有效地发展程序。在：第12届遗传和进化计算年会论文集; 2010年。p. 837- 44[10] StanleyKO，Lehman J. 为什么伟大不能被计划：目标的神话。Springer;2015.[11] MouretJ-B. 基于新颖性的多目标化。In：DoncieuXS，Bre déecheN，Mouret J-B，editors.进化机器人的新视野。Berlin，Heidelberg：Springer Berlin Heidelberg;2011. 第139- 154页。[12] Gomes J，Urbano P，Christensen AL.具有新颖搜索的群体机器人系统的进化。Swarm Intelligence 2013;7（2）：115-44. https://doi.org/10.1007/s11721-013-0081-z.