BenchCouncil交易基准，标准和评估2（2022）100037使用Clinical AIBench训练、测试和基准测试医疗AI模型黄云友a，f，苗秀霞a，张汝昌a，马丽c，刘文静a，张凡b，关祥龙a，梁肖双a，陆湘江a，唐素清e，张志飞d，张晓飞广西师范大学计算机科学与工程学院软件学院多源信息挖掘安全广西重点实验室b中国科学院计算技术研究所计算机体系结构国家重点实验室，中国c桂林医科大学，中国d中国北京首都医科大学生理与病理生理学系广西师范大学教育学院，桂林，中国f国际开放基准委员会，中国A R T I C L E I N F O关键词：基准临床设置阿尔茨海默氏牙科可配置的临床环境A B S T R A C T人工智能技术已经应用于许多临床研究领域，但大多数人工智能技术很难在现实世界的临床环境中落地。在大多数当前的临床AI研究环境中，诊断任务是在给定的疾病中识别不同类型的疾病。 然而，现实世界中的诊断需要基于医疗机构的现有资源动态地制定检查策略，并从多种可能性中识别出不同种类的疾病。为了促进不同临床AI技术的发展和临床应用的实施，我们提出了一个名为Clinical AIBench的基准，用于在现实世界的临床环境中开发，验证和评估临床AI技术。 具体来说，Clinical AIBench可以用于：（1）模型训练和测试：研究人员可以使用数据来训练和测试他们的模型。 （2）模型评估：研究人员可以使用Clinical AIBench客观、公正、合理地评价不同研究者的各种模型。(3)临床价值评估：研究人员可以使用Clinical AIBench提供的临床指标来评估临床 模型的价值，将应用于现实世界的临床环境。为方便起见，Clinical AIBench提供了三种不同级别的临床设置：受限临床设置，称为封闭临床设置，数据岛临床设置和真实世界临床设置，称为开放临床设置。此外，Clinical AIBench涵盖三种疾病：阿尔茨海默病，COVID-19和牙科。Clinical AIBench为研究人员提供pythonAPI。数据和源代码可从项目网站https://www.benchcouncil.org/clinical_aibench/公开获取。1. 介绍数据是当前人工智能技术研究的基石，这已经成为研究者的共识。从一般领域的ImageNet [1]、MNIST [2]到临床领域的ADNI [3]、TCGA[4]，数据集极大地推动了发展AI技术研究。然而，目前许多研究工作提出的人工智能技术很难在现实世界中落地。特别是在临床医学方面，到目前为止，只有71项临床AI技术获得FDA批准[5]。一种人工智能辅助决策设备已被用于在分娩过程中检测胎儿的心率在孕妇中。然而，实践证明，该设备不能改善母亲或婴儿的临床结局;相反，它增加了临床医生的工作量[6]。为什么人工智能技术在现实世界中失去了力量？ 答案是相同的临床任务的要素发生了变化∗通讯作者。电子邮件地址：zhifeiz@ccmu.edu.cn（Z. Zhang）。https://doi.org/10.1016/j.tbench.2022.100037在不同的临床环境中。例如，目前大多数临床人工智能研究环境中的诊断任务是在给定的疾病中识别不同类型的疾病。孤立数据岛临床环境中的诊断，也称为联邦学习环境[7]，有三个阶段：第一，确保数据安全;第二，使用来自不同机构的数据来训练模型;最后，在给定的疾病中识别不同类型的疾病。不断地，在现实世界中的诊断，我们也称之为开放的临床环境，需要动态地开发基于医疗机构的现有资源的检查策略，在一种类型或几种类型的疾病中定位受试者，并识别不同种类的疾病。因此，解决临床环境中的任务，例如，一个封闭的或数据孤岛的临床环境，并不意味着它是在一个开放的临床环境做得很好为了促进临床AI技术的实施，我们提出了一个基于AIBeno的基准套件[8]，名为Clinical AIBench，接收日期：2022年3月7日;接收日期：2022年3月24日;接受日期：2022年3月24日2022年4月12日在线提供2772-4859/©2022作者。Elsevier B. V.代表KeAi Communications Co. Ltd.提供的出版服务。这是CC BY-NC-ND许可证下的开放获取文章（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect标准和评价期刊主页：https://www.keaipublishing.com/en/journals/benchcouncil-transactions-on-benchmarks-standards-and-evaluations/BenchCouncil交易基准，Y. Huang，X.苗河，巴西-地Zhang等人BenchCouncil交易基准，标准和评估2（2022）1000372||||||||||(4)|(7)是一种测量标准，也需要严格的验证[9]，以开发、验证和评估临床AI技术和系统[10]。具体来说，Clinical AIBench可用于（1）模型训练和测试。例如，5.1节中提到的封闭临床环境、5.2节中提到的数据岛临床环境和5.3节中提到的开放临床环境可以用于在不同需求下训练和测试阿尔茨海默(2)模型评估。例如，第5.3节中提到的开放临床环境再现了真实阿尔茨海默病诊断的临床环境它不仅可以用于训练和测试阿尔茨海默(3) 临 床 价 值 评 价 。 例 如 ， 第 4 节 中 提 到 的 get_damage_level 和get_costAPI可以用于评估诊断过程中受试者的成本和受损程度。诊断过程中的风险指标和受试者2. 安装Clinical AIBenchClinical AIBench是一个开源工具，根据客户端服务模型提供服务（ 目 前 ， Clinical AIBench仅 在 Linux 和 Mac 系 统 上 运 行 ） 。 ClinicalAIBench的设计类似于FLBench [7]结构，它有四个部分：输入数据，场景配置，场景和自动化部署工具。研究人员可以从这个网站下载临床AIBench的客户端。由于临床数据的特殊性和要求在数据所有者的组织中，研究人员必须登记并遵守所有相关协议。如图1、Clinical AIBench需要13个包：config- parser、pandas、numpy、nibabel、flask、scikit-learn、requests、imageio、joblib、tensorflow、torch、wandb、fedml [11]等。3. 临床环境在Clinical AIBench中，根据配置文件构建临床设置。对于每个典型的临床设置，Clinical AIBench将提供一个配置文件来描述特征并在Clinical AIBench中构建临床环境。此外，研究人员能够上传配置文件，以根据他们的需要构建他们的临床设置。 如图2、Clinical AIBench中使用 的配置文 件格式为ini. ini文件有 三个元素 ：section、parameter和comment。 节用方括号（[]）括起来，ini文件包含一个或多个节。参数是一个键值对。节声明之后的所有参数都属于节。注释以;或#开头，这意味着整行都是注释。 如图3是ini文件使用的具体例子如图3、此配置文件有两个部分。每个部分包含多个参数。第一部分名为sce- nario，描述了场景的一些基本信息，如场景名称、场景版本号等。第二部分名为block 1，描述了场景中使用的数据信息。下面将详细描述块1的参数的含义。(1) files指定需要在方案中使用的数据文件。对数据文件的要求如下：（1）文件类型必须为XML格式。(2)文件的第一行必须是列名。(3)列名中不能存在特殊符号，例如@、。&（4）如果数据文件中包含图像、音频或视频资源，则在文件中填写图像、音频或视频的路径。(2) ���������������������������连接数据文件的顺序指定，例如joinorder= file1，file2.Fig. 1. 包 装 件.图二. Ini格式。(3) ������������������������������指定连接不同数据文件的主键，例如connection=file1column1& file2 column1+file1 column2& file2 column2。��������������������� 根 据 列 名 指 定 文 件 中 选 定 的 列 ， 如 columns=files1column1，files1 column2，files2 column1，files2 column2。如果未指定列名，则选择文件中的(5) ������������根据指定的条件指定文件的选行规则，如rows=file 1column 1=value 1，file 1 column 2！ =值2。 ，则选择文件中的所有数据���������没有指定的人。(6) ���������������指定文件的哪一列作为机器学习任务的标签，例如label = filecolumn1。客户端数目_客户端数目。如果数字1，这是一个封闭的临床环境。如果所述数量大于1，这是一个具有多个客户端的数据岛临床环境。如果数字为-1，这是一个数据孤岛临床环境，客户端数量不确定。(8) ������������������������������数据岛临床设置中划分数据集的方法：（1）_该方法的功能��������������� 是根据数据集的排序和配置文件中的参数划分数据集;（2）_划分数据集划分方法的作用是根据指定列的值的类型划分数据集;（3）_划分数据集划分方法的作用是根据配置文件中的参数划分数据集。Y. Huang，X.苗河，巴西-地Zhang等人BenchCouncil交易基准，标准和评估2（2022）1000373||||(11)||(12)|(12)图三. 配置文件(9) 分区数据分配指定分区数据的比例，分配给数据岛临床设置中的每个客户端。比例的数量需要等于客户端的数量(10) 如果你想知道的话 的 条件 的 选择 的 数据 在数据岛临床设置，如条件=file1 column1>value1& file1column1conditions。(12)列指定列，列是文件中的图像数据，例如图像=文件列。音频数据指定列，该列是文件中的音频数据，例如作为音频=文件列。���������������文件中的视频数据指定列，如作为视频=文件列。4. Clinical AIBenchClinical AIBench为研究人员提供了许多python API，以利用ClinicalAIBench来训练，测试和评估他们的AI模型。(1) loadData（inipath，data_save_path，proportion= [80，5，15]，setting=-1）：此方法的功能是从本地磁盘加载训练集、验证集和测试集每个参数定义如下。(1) 配置文件路径指定配置文件的路径。(2) 数据保存���������路径指定数据的保存路径。������������(3) ������������������������������指定训练集、验证集和测试集的划分比例，默认划分比例为：训练集80%，验证集5%，测试集15%(4) 方案类型指定方案类型。 这是一个封闭的临床设置或数据岛临床设置（如果该值为−1）。���������������������如果开放式临床设置中的最大值为-2，则为开放式临床设置(2) __toMatrix（source，save_path）：该方法的功能是获取特征矩阵X和标签矩阵Y。每个参数定义如下。(1) 下载的数据指定已下载的数据(2) 保存路径_标签矩阵_标签矩阵指定保存路径，即特征矩阵X和标签矩阵Y。(3) 特征提取（input_path，image_tmp_save_path，image_save_path，pre_model=−1）：此方法的功能是从一个通过预训练的模型配准图像。每个参数定义如下。(1) 提取图像的���������路径指定需要提取特征的图像的路径。(2) ���������������������������������������������临时保存路径指定的临时保存路径为形象(3) 图像保存路径_图像保存路径_图像保存路径指定提取特征的图像的保存路径。(4) ���������_���������������specifies the pre-trained model.(5) ���������������������指定池化方法。(6) ������������������������图像编号的开始位置和结束位置(4) convert_3Dto2DtoRGB （ image_path ， image_tmp_save_path ，image_save_path）：此方法的功能是将3D图像数据转换为2D图像数据，然后转换灰度图像 RGB图像每个参数定义如下。(1) ���������������_���������ℎspecifies the path of the image that needs to beconverted.(2) ���������������������������������������������临时保存路径指定的临时保存路径为形象(3) ������������������������������������转换后的图像的保存路径指定为保存路径(5) registration（input_path，out_path，image_type，weighted_image）：该方法的功能是将图像与公共模板对齐。每个参数定义如下。(1) 请输入您需要注册的图像的路径。���������(2) ������������������_���������ℎspecifies the saving path of the image, which was注册的.(3) image_type指定图像的类型(4) weighted_image指定MRI加权图像的类型(6) image_correct（image_path，image_save_path，image_type）：该方法的功能是将非均匀组织强度图像校正为具有均匀组织强度的图像。每个参数定义如下。(1) 错误更正错误更正_错误更正指定需要更正的图像的路径。(2) ���������������_������������_���������ℎspecifies the saving path of the image,这一点已得到纠正。(3) image_type指定图像的类型(7) strip_nonbrain（image_path，image_save_path，strip_method）：该方法的功能是剥离非大脑结构成分，如颅骨、颈部、头皮等。每个参数定义如下。(1) 删除镜像_删除镜像指定需要剥离的镜像的路径。(2) ���������������_������������_���������ℎspecifies the saving path of the image,被剥夺了。(3) 删除删除方法_删除删除方法指定删除方法。Y. Huang，X.苗河，巴西-地Zhang等人BenchCouncil交易基准，标准和评估2（2022）1000374(8) image_segmentation（image_path，image_save_path，segment_method）：该方法的功能是将预处理后的图像根据不同的脑组织成分分割成不同的组织类型。每个参数定义如下。(1) 分割图像_分割图像指定需要分割的图像的路径。(2) 保存路径指定分割后的图像的保存路径。���������������������(3) 分段方法_分段方法_分段方法指定分段方法。(9) smoothing（image_path，image_save_path，smooth_method）：该方法的功能是通过减少图像噪声和使图像模糊来补偿配准的不准确性。每个参数定义如下。(1) 平滑_���������平滑指定需要平滑的图像的路径。(2) ���������������_������������_���������ℎspecifies the saving path of the image,它是平滑的。(3) ���������������平滑���������方法_平滑方法(10) get_damage_level（method，predict_value，label）：该方法的功能是获取受试者在医疗诊断和治疗过程中所遭受的伤害值。这些伤害等级从0到5，5级是最高的。 每个参数定义如下。(1) ���������������诊断和治疗过程中，受试者的检查项目。(2) 预测值_预测值_预测值指定模型的预测值。如果预测值是疾病诊断预测，则预测值是疾病类型。预测值是下一次治疗，如果它是治疗预测。(3) ���������������疾病类型指定受试者的实际疾病类型或临床医生建议的下一个治疗方法(11) get_cost（method，predict_value，label）：该方法的功能是获取受试者在医疗诊断和治疗过程中的成本。每个参数定义如下。(1) ���������������诊断和治疗过程中，受试者的检查项目。(2) 预测值_预测值_预测值指定模型的预测值。如果预测值是疾病诊断预测，则预测值是疾病类型。预测值是下一次治疗，如果它是治疗预测。(3) ���������������疾病类型指定受试者的实际疾病类型或临床医生建议的下一个治疗方法5. 临床AIBench用例为了展示Clinical AIBench的使用，分别在三种不同的临床环境中开发、验证和评估了阿尔茨海默病的诊断模型5.1. 封闭式临床环境目前，大多数临床AI研究都是基于封闭的临床环境：（1）所有受试者的类型都是已知的，即所有受试者的类型都出现在训练集中。(2)所有主题的数据类型相同。也就是说，所有主题都包含所有预先指定的数据类型。(3)所有医疗机构都可以获得所有预先指定的数据类型，即所有医疗机构都具有预先指定的检查和治疗能力。本文根据限制性情景的特点，基于阿尔茨海默病受试者的基本信息和MRI图像，构建了一个封闭的临床情境临床环境包含2127名受试者，其中740名为阿尔茨海默病（AD），1082名为轻度认知障碍（MCI），589名为认知正常受试者（CN）。(2)将所有类型的受试者按80%：5%：15%的比例分为训练集、验证集和测试集。(3)由于受试者一般有多次随访，Clinical AIBench规定同一受试者不同访视的数据只允许出现在训练集、验证集和测试集之一中。(4)所有受试者均包含基本信息和MRI信息。当受试者缺失部分数据时，ClinicalAIBench将根据指定的策略填写数据为了构建上面的临床设置，我们创建了一个配置文件，如图所示。 四、在本文中，我们开发和评估阿尔茨海默病的诊断模型在上述临床设置。如图5所示，它是基于Keras的阿尔茨海默病分类模型。如图6所示，它是程序的入口点。研究人员可以启动main（）函数来执行整个程序。图21线6、创造模型对象。图34线六是模型评价。第39行图 六是模型预测。5.2. 数据孤岛临床环境由于数据隐私、数据安全和数据价值的原因，临床数据很难为研究人员共享。临床数据通常存储在其医疗机构中，形成数据孤岛临床环境。 为了促进人工智能技术在数据岛临床环境中的进步，提出了新的机器学习概念（联邦学习和群学习）[12本文构建了一个数据岛临床环境：（1）主题和数据类型与封闭临床环境相似。(2)根据不同的医疗机构将临床数据划分为多个部分，形成自然的数据孤岛临床环境。为了构建上面的临床设置，我们创建了一个配置文件，如图所示。第七章此场景配置文件与上述已关闭的场景配置文件之间的区别在于，客户端的设置为-1（图23的第23行）。 7）、数据分区方法选择了_class（图26 的第26行）。 7）。在本文中，我们开发和评估阿尔茨海默病的诊断模型在上述临床设置。如图8所示，它是基于Pytorch的阿尔茨海默病分类模型。如图9、它是程序的切入点。第46话Fig 9是模型训练的入口[11]。5.3. 开放临床环境如上所述，真实世界的临床设置是开放和完整的复杂性和不确定性。我们捕捉真实世界临床环境的特征，构建开放式临床环境，该开放式临床环境保持了真实世界临床环境的主要特征：（1）某些受试者的类型是未知的，即， 测试集不出现在训练集和验证集中。(2)受试者的具体情况不同，对受试者执行的检查和治疗方法也不同，即， 主题的数据类型不同。(3)医疗条件医疗机构是不同的。有些机构能够满足受试者的诊疗策略要求，有些机构则不能。也就是说，不同医疗机构采集的受试者数据类型有很多不同。在本文中，我们没有提供开放临床环境的可修改功能。我们开发并评估了一个诊断模型在上述临床环境中的阿尔茨海默病。ClinicalAIBench针对阿尔茨海默病开放临床环境提出了一个统一的数据表示框架，由于每个数据类别的维度不同，每次访视包含的数据类别数量不同，每个受试者包含的历史访视次数不同， 也不一样数据框架提供了一个检查类别Y. Huang，X.苗河，巴西-地Zhang等人BenchCouncil交易基准，标准和评估2（2022）1000375见图4。 关闭临床设置配置文件。图五. 封闭的临床环境模型。一个1 × 2090的我们的数据的形状是2090× 2090，2090是主题数据的类别数。阿尔茨海默病开放临床环境的数据可以通过ClinicalAIBench下载。作为一个样本，我们开发了一个模型，该模型基于文件www.example.com和www.example.com中显示的阿尔茨海默病的开放临床环境HierarchicalOpenNet.pyOpenClinicalAI.py6. Clinical AIBenchClinical AIBench是一个开放和不断发展的基准。我们选择的数据集将遵循以下原则（1）：在当前临床研究领域中更受关注;（2）：更完整的数据集;（3）：低采集成本的数据集。目前，它包含三个临床数据集：阿尔茨海默病（更完整），COVID-19（更受关注）和牙科（低获取成本）。此外，ICU和精神疾病数据集将很快添加到临床AIBench中6.1. 隐私和数据安全临床数据非常敏感，涉及受试者隐私和数据安全。根据第5节的安全目标，Y. Huang，X.苗河，巴西-地Zhang等人BenchCouncil交易基准，标准和评估2（2022）1000376见图6。 封闭式临床环境标准GB/T 39725-2020此外，根据GB/T 39725-2020因此，ClinicalAIBench的公共数据目前仅为科学研究提供服务。Clinical AIBench的私人数据将根据1996年健康保险流通和责任法案、公法104-191和技术标准进行严格脱敏此外，所有隐私数据都存储在数据所有者的私人服务器上，并通过Clinical AIBench以数据岛临床设置方式提供服务6.2. 阿尔茨海默阿尔茨海默病临床环境的数据支持我们根据受试者标识（RID）和访视代码（VIS-CODE 2，代表受试者当前访视日期与首次访视日期之间的时间）组织ADNI数据集。数据集分为以下几个部分。(1) 合并表有113个字段，包括主题的分类和目前通常认为与阿尔茨海默病有关，以及该信息的首次访问所对应的值。完整的合并表信息可在网站Mergetale获得，其中为了统一表达和理解，字段VISCODE被表示为VISCODE 2。(2) 基本信息表有148个字段，包括受试者的人口统计学信息、家族病史 、 个 人 病 史 和 受 试 者 的 当 前 症 状 。 更 多 信 息 可 在Basicinformationtabe获得。(3) 体格检查信息表包含39个字段，包括受试者更多信息可在Physicalexaminationinable获取。(4) 认知信息表有259个字段，包括阿尔茨海默病评估量表-认知信息（ADASCog）、简易精神状态检查信息（MMSE）、精神认知评估信息（MoCA）、临床痴呆评定信息（CDR）和认知变化指数信息（CCI）。 更多信息可 在 请注意，我们的网站上没有任何关于您的信息。(5) 认知测验信息表有73个字段，包括神经心理学信息：时钟绘画测验、逻辑记忆测验-Ⅰ（瞬时记忆）、逻辑记忆测验-Ⅱ（延时记忆）、雷伊听力测验、连线测验、动物分类测验、波士顿测 验 、 美 国 成 人 阅 读 测 验 。 更 多 信 息 可 在Cognitivetestinformationtable获得。(6) 功 能 和 行 为 测 试 表 有 112 个 字 段 ， 包 括 功 能 评 估 问 卷 信 息（FAQ）、日常认知-参与者自我报告信息Y. Huang，X.苗河，巴西-地Zhang等人BenchCouncil交易基准，标准和评估2（2022）1000377见图7。 数据岛临床设置配置文件。见图8。 数据岛临床环境模型。（ECOGPT）和日常认知-研究伙伴报告信息（ECOGSP）。更多信息可在Functionandbehaviortable获得。(7) 精神病学测试表具有55个字段，包括受试者的老年抑郁量表信息（GDS）和神经精神病学量表检查信息（NPI）。更多信息请访问Psychiatrictestabe。(8) 血液表有459个字段，包括受试者的各种血液检查信息。更多信息请访问Blodtable。(9) 尿液表有4个字段，包括受试者更多信息请访问Urinetable。(10) 脑脊液（CSF）表有379个字段，包括受试者更多信息请访问Cerebralspinalfluidtable。Y. Huang，X.苗河，巴西-地Zhang等人BenchCouncil交易基准，标准和评估2（2022）1000378见图9。 数据岛临床设置(11) 基因表有351个字段，包括与阿尔茨海默病相关的受试者的单核苷酸多态性（SNP）。在Clinical AIBench中，每例受试者仅进行一次基因检测，因此基因检测表不包含访视代码，默认为首次访视时的数据。此外，每个SNP都代表通过5个字段，即A、G、C、T四个碱基和SNP的置信度。更多信息可在Genetable获得。(12) 医学影像检查床有33个字段，包括受试者3种原始医学影像和信 息 ： MRI 、 PET- 18FDG 、 PET-AV 45 。 更 多 信 息 请 访 问Medicalimagingtable。6.3. COVID-19Clinical AIBench中的COVID-19数据支持收集自不同的可公开访问的数据集、在线资源和已发表的论文。COVID-19数据集包含三个不同 的 公 开 可 用 数 据 集 ： covid-chestxray-dataset [18] 、 Figure 1-COVID-chestxray- dataset [19]和Actualmed-COVID-chestxray-dataset[20]。如表2所示，其中包含742例受试者的1243次个体访视记录。COVID-19汇总表有24个字段，包括 受试者的人口统计数据、受试者的当前身体状况、原始医学图像和图像类型。更多信息可在COVID-19table。6.4. 牙科牙科数据集是来自合作医疗机构的脱敏的私人数据集。牙科数据集只能用于开发、验证和评估类似于数据岛临床设置的临床AI模型或系统，并且仅在数据所有者的私人服务器上运行。如表3所示，牙科数据集包含447名受试者的661次个体访视。牙科数据表有5个字段，包括id、就诊数据、年龄、性别、图像保存路径7. 使用Clinical AIBench可以根据标准数据使用协议访问临床AIBench（不同的临床设置涉及不同的使用协议）。根据本协议，用户必须同意仅将Clinical AIBench用于协议中规定的目的。 Clinical AIBench的用户应该通过正确引用相关文章及其到Clinical AIBench的链接来客观、公正、公平地评价研究者的临床AI模型和系统。ClinicalAIBench作为独立的第三方工具，将为评估提供一致的临床环境。Clinical AIBench提供的临床设置的配置文件不允许修改。Clinical AIBench的数据来自两个来源：公共数据集和私有数据集。公共数据集可以下载 用于开发、验证和评估研究人员的临床模型或系统。然而，私有数据集只能用于开发，验证和评估临床AI模型或类似系统 数据岛临床设置;即，数据集存储在数据所有者的私人服务器上，无法下载。Y. Huang，X.苗河，巴西-地Zhang等人BenchCouncil交易基准，标准和评估2（2022）1000379表1阿尔茨海默病患者的特征科目54608. 结论在封闭的临床和数据孤岛环境下，许多临床人工智能算法已经被提出并在临床领域取得了优异的性能相比之下，很少有临床AI算法应用于年龄708090未知2真实世界的临床环境。Clinical AIBench作为一个基准套件或第三方工具，为评估临床AI算法提供了开放和公平的临床设置。此外，Clinical AIBench还提供了一个教育女1130男性9974八111417用于开发临床AI算法的可配置临床环境Clinical AIBench是一个开放且不断发展的基准套件。临床AIBench将增加ICU和精神疾病数据库很快竞合利益西班牙人/拉丁裔73种族类别非西班牙裔/拉丁裔2042未知12亚洲区40黑色88夏威夷/其他PI 2作者声明，他们没有已知的竞争性财务利益或个人关系，可能会影响本文报告的工作致谢种族类别婚姻类别表2超过25个白色1964美洲印第安人/阿拉斯加人4未知4已婚1618从未结婚73寡妇238离婚191未知7公元740年CN 589MCI 1082SMC 280本 工 作 得 到 了 广 西 科 学 技 术 发 展 计 划 项 目（ No.GuiKeAD20297004 to Y.H. ） 的 资 助 ， 国 家 自 然 科 学 基 金（No.61967002授予S.T.）。引用[1] J.邓，W.东河，巴西-地索赫尔湖，美-地J. Li，K.利湖，加-地Fei-Fei，Imagenet：A large-scalehierarchical image database，in：2009 IEEEConference on Computer Vision andPattern Recognition， Istanbul， 2009，pp.248-255[2]Y.莱昆湖，澳-地博图湾，巴西-地Bengio，P. Haffner，基于一致性的学习应用于文档识别，Proc. IEEE 86（11）（1998）2278[3]S.G. Mueller，M.W.Weiner，L.J. Thal，R.C.彼得森，C.R.杰克，W。贾格斯特J.Q. Trojanowski，A.W.托加湖贝克特，早期诊断的方法COVID-19受试者总结。科目18三、会议议程. 31阿尔茨海默氏病神经影像学倡议（adni），阿尔茨海默氏症。1（1）（2005）55-66。[4]K. Tomczak，P. Wiznerowicz，癌症基因组图谱（tcga）：一个不可估量的知识来源，Contemp。 Oncol. 19（1A） （2015年） A68年龄性偏移类别表3第51第71未知356女169男281未知292021第四章. 41<0 10A/61未知403没有发现132肺炎1332019冠状病毒病380未知97[5] S. Benjamens，P. Dhunnoo，B.基于人工智能的FDA批准的医疗设备和算法的状态：在线数据库，NPJ Digit。3（1）（2020）1-8。[6]P. Brocklehurst，D.Field，K.Greene，E.尤什恰克河Keith，S.凯尼恩湖林塞尔，C. Mabey，M.纽伯恩河Plachcinski等人， 分娩期间胎心率的计算机化解释（婴儿）：一项随机对照试验，Lancet 389（10080）（2017）1719-1729。[7]Y. Liang，Y. Guo，Y.贡角，澳-地Luo，J. Zhan，Y. Huang，Flbench：联邦学习的基准套件，在：BenchCouncilInternationalFederatedIntelligentComputing and Block Chain Conferences ， Springer ， 2020 ， pp.166比176[8] W. Gao，F.唐 娟Zh a n ，X. 温湖，澳-地Wang，Z.曹氏C.兰角，澳-地Luo，X.刘先生，Z. Jiang ， Aibench scenario ： Scenario-distilling ai benchmarking ， in ： 202130thInternationalConferenceonParallelArchitecturesandCompilationTechniques（PACT），IEEE，2021. 142-158[9] 詹杰，呼吁建立科学与工程的基准，BenchCouncilTrans.BenchmarksStand.Eval。1（1）100012.[10] F. Zhang C.，中国古猿科罗角，澳-地Lan，J. Zhan，大规模医疗事件数据上不同预测模型的基准特征选择方法，BenchCouncilTrans. Benchmarks Stand. Eval. 1（1）（2021）100004.[11] C. 他，S.Li，J. 所 以 ，M。Zhang，H.Wang，X.Wang，P. Vepakomma，A.辛格，牙科学科的特点。科目女242H. 丘湖，加-地Shen，P.Zhao，Y.康，Y。柳河，巴西-地Raskar，Q.杨，M.安娜瓦兰，S. Avestimehr，Fedml：联邦机器学习的研究库和基准，arXiv预印本arXiv：2007.13518。性年龄男205021性别Y. Huang，X.苗河，巴西-地Zhang等人BenchCouncil交易基准，标准和评估2（2022）1000371041第61[12] M. Yurochkin，M. Agarwal，S.戈什K. Greenewald，N.黄湾，澳-地Khazaeni，神经网络的贝叶斯非参数联邦学习，在：国际机器学习会议，PMLR，2019年，pp。7252-7261。[13] C. Xie，K.黄，P. - Y.陈湾，澳-地Li，Dba：分布式后门攻击联邦学习，在：国际学习表示会议，2019年。二、国际合作. 81-90 2[14] S. Warnat-Herresthal，H. Schultze，K.L. Shastry，S. Manamohan，S.慕克吉 加 格 河 萨 尔 韦 斯 瓦 拉 湾 Händler ， P. Pickkers ， N.A. Aziz 等 人 ，Swarmlearningfor decentralized and confidential clinical machine learning，Nature 594（7862）（2021）265-270.Y. Huang，X.苗河，巴西-地Zhang等人BenchCouncil交易基准，标准和评估2（2022）10003711[15] Y. Huang，N.Wang，S.唐湖，澳-地妈，T.郝，Z.Jiang，F.
我的内容管理
展开
