互联网干预：儿童数字痛苦筛选器的动画测评

互联网干预24（2021）100381动画测评项目内容一个儿童报告的数字痛苦筛选器KirstyZieschank a，*，Jamin Day b，Michael J. 爱尔兰a，索尼娅·马奇aa心理学和咨询学院及健康研究中心，南昆士兰大学，斯普林菲尔德校区，邮政信箱4196，斯普林菲尔德中心，昆士兰州4300，澳大利亚b澳大利亚新南威尔士州卡拉汉大学路纽卡斯尔大学家庭行动中心A R T I C L EI N FO保留字：孩子 codesign数字筛选器迭代开发动画A B S T R A C T目的：互动式儿童痛苦筛查（ICDS）是一种新型的数字筛查工具，目前正在开发中，旨在广泛评估5至10岁儿童自我报告的情绪和行为痛苦。11年本研究实施了一个生成的参与式协同设计和迭代优化过程，以定性验证的内容，30动画评估项目开发的ICDS从儿童的角度来评估其可接受性和准确性方法：参与者（N=62）为5至11岁的儿童。进行了个别访谈，每个孩子来确定动画项目的可接受性和有效性，并促进动画评估项目的协同设计细化过程。结果：30个条目中有22个条目（73%）在原始条目中达到了≥80%的满意度和准确性共识在格式方面，有60个项目（20%）需要一轮改进才能达成共识，有两个项目（7%）需要两轮改进。动画项目的综合可接受性很高，在所有项目中从4.1到5分不等。结论：参与者能够准确地识别和理解社会情感和行为结构时，描绘为动画项目。可接受性很高，即使在第一次迭代中，当理解的准确性需要改进时。这项研究强调了迭代参与式设计方法的重要性和好处，以确保为儿童开发的评估项目被理解，接受，并可能有效地获得准确的自我报告。1. 介绍1.1. 背景根据国家心理健康调查（Lawrence等人， 2016; Sawyer等人，2001年），情绪和行为障碍仍然是12岁以下儿童中最常见的诊断，包括注意力缺陷/多动障碍（ADHD，7.4%）、焦虑症（6.9%）、重度抑郁症（MDD，2.8%）和行为障碍（2.1%）。共病障碍是常见的，其中三分之一被诊断患有ADHD或行为障碍的儿童还患有焦虑和/或抑郁症（Achenbach和Rescorla，2003; Johnson 等人， 2016;Wood和McDaniel，2020）。儿童时期未被发现和治疗的精神疾病会造成痛苦，阻碍健康发展，对教育进步和机会，并且还增加了成年期持久的心理社会障碍的可能性（Caspi等人， 1995; Moreira等人，澳大利亚和新西兰皇家精神病学院，2010年）。早期发现痛苦症状是关键，因为如果及早发现并在严重程度发展之前，许多情绪和行为困难可以得到有效治疗（Jacka和Reavley，2014）。长期以来，政府和专业精神健康机构一直建议将普遍和有针对性的精神健康筛查作为儿童早期干预的第一步，但在实践中，未广泛实施（昆士兰儿童澳大利亚和新西兰精神病学家学院（RANZCP），2017）。预防性筛查提供了识别出现早期症状的儿童的手段：最初是为了转诊进行全面的筛查， 评估 这 促进 早期 干预和* 通讯作者。电子邮件地址：kirsty. usq.edu.au（K.Zieschank）。https://doi.org/10.1016/j.invent.2021.100381接收日期：2020年6月19日;接收日期：2021年2月12日;接受日期：2021年2月22日2021年3月4日网上发售2214-7829/©2021的自行发表通过ElsevierB.V.这是一个开放接入文章下的CCby-NC-ND 许 可 证（http://creativecommons.org/licenses/by-nc-nd/4.0/）中找到。可在ScienceDirect上获得目录列表互联网干预期刊主页：www.elsevier.com/locate/inventK. Zieschank等人互联网干预24（2021）1003812最终在他们开始之前减少大量的心理健康和财务费用负担。然而，这方面存在着明显的挑战。为了充分发挥影响，心理健康筛查必须公平地获得，并收集包括儿童在内的多方响应者的观点研究儿童经历的传统方法观察他们并作出主观判断或主要依赖于代理人，如父母、临床医生或教师代表他们作出反应（Darbyshire等人，2005年）。 尽管有文献建立儿童自我认知能力的信度和效度报告，特别是与他们更容易隐藏的内部主观经验有关（Cree等人，2002;Hudziak等人，2007; Kirk，2007; Riley，2004）。父母的报告可能会受到他们主要关注的问题，他们参与小学教育的程度，以及他们自己的心理健康和福祉的影响，而临床医生和教师的观点仅限于他们看到孩子的环境（Eiser和Morse，2001）。为了确保获得全面的情况，重要的是要有筛查工具，为儿童提供自我报告的选择。然而，有足够证据支持广泛使用的筛查是昂贵的，并且/或者需要专业的管理人员。这限制了他们的可及性，或者只为青少年提供自我报告的选择，忽视了年幼儿童例如，优势和困难问卷（SDQ; Goodman，1997）和简短问题解决者-青年表格（BPM-Y; Achenbach等人， 2011）是两种经过充分验证的筛选工具，仅限于临床设置，没有11岁儿童的自我报告选项。此外，越来越多的证据表明，在多项措施中，特别是在情感和心理社会领域，亲子协议评级之间存在差异（Jardine等人，2014年）的报告。Riley（2004）报告了一项对119项研究的荟萃分析，发现家长和教师报告与家长和儿童报告（当选项可用时）之间的平均相关性分别为0.28和0.22。一项系统性综述，检查自我和近距离报告的生活质量之间的一致性（例如， 焦虑，疼痛，抑郁应对）发现，儿童负方向（Jardine等人，2014年）的报告。这种差异可能与交付方式或为儿童制定措施的方式有关。为了应对这些挑战，需要开发和提供儿童筛查工具的新方法，以增加可及性并补充近距离报告，全面了解孩子一贯获得。1.2. 儿童乐器开发尽管评估是临床心理学实践的一个组成部分，但没有用于开发儿童测量仪器的“金标准”方法（Bergeron等人，2013年）。为情绪和行为评估开发的筛选工具通常是改性成年人，纸笔，基于文本措施和包含对于年幼儿童理解可能有问题的单词（例如，抑郁、自卑、自我意识、固执）。此外，他们经常使用带有三个或更多响应选项的Likert风格的响应格式。Mellor和Moore（2014）发现，格式比李克特量表更可靠行为状态。了解儿童如何内化和理解评估项目的内容，并制定反应是为儿童设计声音乐器的必要的第一步，有两个关键原因。首先，这最大限度地提高了项目响应的准确性;其次，它增加了测试结果的临床可解释性，并告知如何使用这些结果来提出临床建议。因此，儿童自我报告措施必须纳入新的方法，强调青年人的积极参与（即，协同设计（3）准确把握孩子1.3. 通过参与性方法获得儿童将儿童纳入以儿童为重点的研究的实际方法理由是，他们最了解自 己 的 生 活 ， 因 此 是 最 好 的 信 息 来 源 （ Soffer 和 Ben-Arieh ，2014）。生成性、参与性研究设计意味着儿童参与所有创造性发展活动，促进他们作为研究伙伴的贡献，而不仅仅是作为观察对象或最终产品的测试者（Stålberg等人，2016; Vandekerckhove等人，2020年）。 在涉及数码科技的研究方面，站在儿童的 角 度 ， 受 益 于 以 迭 代 阶 段 为 特 征 的 参 与 式 共 同 设 计方法 （Mum m a h 等人 ，2016; Stålberg等人，2016; Stoyanov等人，2016年）。一个真正的迭代过程需要周期性的调查，评估、修订和改进是每次迭代的结果，直到得出结论。达到（Cockburn，2008; Farcic，2014; Patrick等人，2016年）。在涉及儿童的迭代方法中，儿童的观点在整个开发过程中都很重要，因为他们的投入在每个改进阶段都是必不可少的，并最终增加了他们参与最终产品的可能性（Edwards等人， 2016年; Stålberg例如，2016年）。虽然这种方法在儿童心理健康评估工具的开发方面仍然是非常独特的，但在积极心理学研究中对儿童和在编写问卷时对青少年使用了参与性 和 迭 代 开 发 技 术 （ Ten Brummelaar 等 人 ， 2014 年 ; Yarosh 和Schueller，2017年）。在开发数字化工具的情况下，这种类型的方法涉及利用一系列访谈技术，包括促进自发叙述，征求对场景和小插曲的反应，使 用视觉和听 觉刺激，并获 得咨询反馈 （Greene 和Hogan，2005）。1.4. 数字机遇在过去十年中，低成本互联网使得通过网站和当代移动应用软件进行的数字健康和心理治疗干预越来越容易获得（Cugelman，2013;Marsac等人，2015; Newton等人，2016年）。因此，数字技术也将增加心理健康筛查的机会，并克服对年轻人口进行广泛筛查的许多固有挑战。先前已经尝试通过在书面问题旁边添加数字图像来改进针对儿童的传统纸笔评估。例如，多米尼克互动（DI）、优势和困难问卷（SDQ）以及通过动画角色进行的情绪评估（MAAC）的基于台式计算机的版本都 在2010 年 之 前 的 十 年 中 进行 了 试 验 ， 以 增 加 用 户 参 与 和 理 解（Mandarin等人，2009; Truman等人，2003; Valla等人，2000年）。关于制定这些措施的心理测量数据和信息有限，而且目前似乎没有使用。最初的研究报告了不同的高用户满意度和一些临床实用性（即，计算机化的SDQ），中等收敛效度（即，DI），以及焦虑和非焦虑儿童之间的区别（即，MAAC）。值得注意的是，与标准的纸和纸版本相比，所有人 都 表 现 出 更 好 的 参 与 度 ， 这 表 明 儿 童 更 喜 欢 视 觉 、 数 字 格 式（Bergeron等人，二〇一三年;LinaresScott等人， 2006; Mandarin等人， 2013; Truman等人， 2003年）。当前一代的儿童从很小的时候就接触到数字技术，并学会通过简单地用手指在触摸屏设备上点击和滑动来独立访问和操作网站和程序（Wrobel，2019）。因此，我们建议由儿童友好的评估项目和儿童已经习惯的响应模式组成的数字工具将获得可靠的临床信息，并提供可访问和快速筛查的手段。现代动画技术提供了一种新颖的K. Zieschank等人互联网干预24（2021）1003813和有前途的方法，以改善静态图像中使用的努力。视听评估项目可能更有助于准确的儿童报告，特别是在标准书面问答评估不适用或12岁以下儿童目前不存在自我报告选项的情况下。为了确保动画项目内容对儿童有意义，并从儿童的角度准确地展示社会情感和行为概念，我们进一步建议儿童必须使用生成参与式研究方法参与项目开发。1.5. 交互式儿童遇险筛查（ICDS）ICDS将通过用户友好的网络应用程序提供，并用作广泛的筛查工具，旨在检测5至11岁儿童自我报告的情绪和行为困难。包括三对原始动画片评估项目的原型版本已经过儿童测试，结果突出了动画格式的可接受性和可行性（March等人，2018年）。最终，ICDS将使用多达15对对比数字动画作为评估项目：每一个代表不同的社会情绪或行为情况。在最初的试点研究中，由专家小组选择了广泛的社会情感和行为领域以及15个相关的结构（March等人， 2018年）。对20名儿童进行了后续定性焦点小组研究，以探索他们如何理解，可视化和表达拟议的ICDS将测量的15种情绪和行为结构中的每一种（Zieschank等人，2020年）。实施了启发式方法，让儿童参与角色扮演和讨论，以提供每个结构的视觉，语言和物理解释#21453;，抓住孩子的视角。从这些数据中创建了每种情绪和行为的综合类型学，以指导将儿童的集体观点转化为15对动画原型筛选项目。本研究的结果也证明了视听描写比简单词汇描写的重要性标签和缺乏明显的发展差异的情绪理解和表达之间的年轻和老年参与者（Zieschank等人， 2020年）。1.6. 旨在本文描述了生成参与式方法和迭代过程，实现了开发30个原型卡通动画（即，15对对比）作为评估项目，儿童发展综合服务工具。本研究的主要目的是透过质性访谈，与5-11岁的儿童共同设计和改进动画项目。具体目标是：1）通过满意度评分确定原型动画对儿童的可接受性2）通过评估儿童对目标的理解和识别的准确性以及对比社会，情感和行为结构，对动画内容进行定性验证采用了渐进和迭代方法进行评估，每个项目。表1列出了构成每个评估项目的对比动画对。目标动画描绘经历困难的情绪或行为体验的儿童（例如，悲伤）而对比项描绘每个目标结构的相反（例如，幸福）。2.1.2. 采访稿访谈脚本是专门为这项研究而开发的，包括一系列问题，以定性地检查动画项目的可接受性和内容准确性，并邀请改进建议。2.1.2.1. 动画可接受性问题。参与者对于每一个动画，参与者要求他们评价他们喜欢的程度：1）在每个动画中听到的声音（音频吸引力），2）动画角色（角色应用），3）实际动画场景（动画动作和上下文），以及4)动画整体（观看吸引力）。使用5点视觉Likert量表（使用星号而不是数字和标签）得出反应。更多的星代表更高的满意度，一颗星表示最低的满意度（得分为1分），五星表示最高的满意度（得分为5分）。每个动画的分数在四个类别中取平均值，以提供五个总的可接受性评级。分数越高，满意度越高，因此参与者对动画的可接受性也越高。计算每个可接受性问题的平均满意度评分（满分为5分）。2.1.2.2. 动画精度问题。在每个动画中传达的预期情感或行为不会透露给参与者，直到他们回答了前两个准确性问题。准确性问题的目的是确定参与者从四个方面正确理解动画中描绘的预期结构。为了确定每个参与者是否能够：1）准确地理解动画的意图，2）通过口头标记来准确地识别动画中描绘的构造，3）判断他们是否相信动画内容准确地表示了预期的构造，以及4）判断音频音轨是否准确地增强了动画内容。根据汇总的参与者反馈，动画内容在每一轮都得到了改进表1创建了15个动画评估项目对的目标和对比结构。项目动画目标构造动画对比构造11a悲伤22a担心自信33a睡得不好3b睡得好44a生气4 b不生气研究直到动画项目55a不服从（在5b服从（在学校）内容已达成。这项研究得到了大学66a学校）害羞6 b不害羞的 南部 昆士兰 人类 研究 伦理 委员会（参考：7不具争议性H16REA003）。88a多动行为8b冷静2. 材料和方法99a孤独选择1010a被欺负2.1. 材料1111 a害怕1212a不服从（在12b服从（在家里）2.1.1. 30个原型数字动画（儿童发展综合服务项目）一组30个以MPEG-4 AVC视频格式显示的视听动画13 13 a家）分心13 b专注注意力不集中文件格式（Mp4）是使用基于2D矢量的动画技术创建的，1414 a身体攻击性14 b善良尼克。以前的儿童焦点小组的调查结果（Zie-1515 a身体症状Schank等人， 2020年）用于通知原始场景内容，感觉不适症状K. Zieschank等人互联网干预24（2021）1003814=-2.1.2.2.1. 问题1.认识为了确定孩子们对每个动画内容的理解有多准确，他们被要求回忆一个相当于动画内容的个人账户，问题“告诉我一个故事，关于你或你认识的人有一次和这幅漫画中的孩子一样的感觉？"。为了被评定为正确，研究人员考虑参与者的叙述性例子是否与动画中描绘的情感或行为相当。为例如，一个关于心爱的宠物死亡和父母住院的故事被认为是会引起悲伤和担忧的场景。这些叙事例子被认为是可比的，内化的理解动画1a（悲伤-抑郁）和2a（担心-焦虑），并得分为正确的。所有回答均逐字记录在回答表上，并编码为正确（1）或不正确（0）。正确的回答表明儿童理解动画的内容，动画的描述是准确的，而不正确的回答意味着他们误解了动画的意图，这可能需要改进。 两名独立审查参与者的叙述，以评估儿童的内部表现是否（理解）准确对齐与预期构建体讨论任何差异，直至达成共识。2.1.2.2.2. 问题2.识别. 为了确定孩子们对每个动画中描绘的结构的识别准确度，要求口头标记的情绪或行为的问题“你能告诉我孩子是如何感觉或行为在这幅漫画？"。如果准确，则口头确认参与者的标记能力，如果他们的解释不准确，则进行纠正。例如，“悲伤”、“沮丧”或“不快乐”等回答被评分为准确识别项目1a（悲伤-抑郁）。回答被逐字记录并编码为cor-rect（1）或不正确（0）。两名评估员独立地审查了所有参与者的反应，以评估儿童的词汇描述符是否准确地识别了每个动画的意图。评估者之间讨论研究者评级之间的任何不一致，直至达成共识。2.1.2.2.3. 问题3.表示. 为了确定参与者是否相信所讨论的动画是对当他们被问到“这个动画在显示某人的感觉方面是好还是坏（例如，悲伤）？"。为了回答这个问题，参与者被提供了一张纸，上面显示了一个大的红色十字符号和一个大的绿色刻度符号。孩子们的反应是指着他们选择的符号，或者说是，不是，打勾，或交叉。这个问题是在孩子被告知这个结构之后问的，动画是用来描绘的如果参与者的回答是肯定的，并认为动画是“好”的，它被编码（1）作为一个准确的表示。如果他们认为动画是'坏'和消极的反应，动画被认为是不准确的代表预期结构，编码为（0）。2.1.2.2.4. 问题4.原声带。为了确定音频音轨是否准确地增强了他们对每个动画中描绘的情感，行为或场景的理解，参与者被问：“这些声音是否帮助你理解孩子的感受以及卡通中发生的事情？”（1）对于帮助理解动画的有帮助的声音，并且2.1.2.3. 项目细化问题。为了帮助细化项目，参与者被要求首先通过回答问题“我们可以在这个卡通中做些什么，以便它确实显示' x '感觉或行为？"，为他们认为不准确地表示构造的任何动画提供”更好的想法“或”不同的故事“。参与者被要求提供关于场景的定性反馈，并讨论如何来改变动画以增加内容的准确性。他们被问及添加，删除，增强或改变故事，动作，背景场景或声音。逐字记录答复并根据参与者的“添加”，“删除”或“更改”建议分配任何被确定为需要改进的项目都是根据这一反馈重新开发的，与动画师讨论。2.2. 样品数据收集自62名儿童（50%男性，M年龄8.10岁，SD2.00）居住在澳大利亚昆士兰州东南部的社区样本。参与者通过他们的父母通过研究团队媒体入选标准是儿童年龄在5到11岁之间，会说英语，并且能够参加面对面的采访。未纳入或评估有关种族、心理健康困难或情绪或行为症状的入选或排除标准。如表2所示，各年龄段的性别比例大致相当。所有孩子都出生在澳大利亚。2.3. 程序那些对广告反应积极的家长们收到了电子邮件描述研究目的的综合信息表、其子女随时拒绝或撤回参与同意的权利以及其子女答复的保密性。在父母的书面同意下，第一提交人单独会见了每一个孩子，验证了信息表的内容，并获得了他们参与的书面同意。结构化的个人访谈在南昆士兰大学或在孩子自己的家里，在参与者的父母的偏好。访谈采用半结构化脚本进行。参与者被要求观看一个动画，然后按顺序回答面试问题。重复这一过程，直到参与者观看并检查了每个动画，并记录了反应。逐字询问可接受性和准确性问题，以确保参与者访谈的标准化，而动画优化讨论的结构较少。参与者可以休息，可以多次观看任何动画，因此参与者之间的访谈时间长短各不相同。在每次访谈结束时，所有儿童都获得了一张价值20澳元的商店礼品卡，以感谢他们的时间。孩子们事先不知道会有奖励。为了确保年轻的参与者不会因过长的访谈而负担过重，每个参与者检查的动画最多为8对（16个离散动画）。这是通过在每一轮面试中将参与者分成小组来实现的。已尽一切努力确保每一批参与者的年龄和性别比例相似。然而，鉴于这是一个方便的样本，这取决于进行访谈时是否有参与者。图1描述了每个面试池的组特征以及他们参与的迭代开发阶段。访谈进行了六个月的时间框架，以允许动画制作者在访谈轮之间改进动画。动画的所有改进都是由一位数字动画艺术家根据更新的故事板及其准确动画的能力完成的。改进是基于汇总的参与者反馈建议。至少80%的参与者认为评估的动画在其原始版本表2受试者总人数（作为年龄和性别的函数）（N= 62）。儿童年龄（岁）5 6 7 8 9 10 11共计（n）性别男性435433331女性544649531K. Zieschank等人互联网干预24（2021）1003815=≥=-≥图1.一、 每个访谈池和迭代轮的参与者的年龄和性别特征（N = 62）。原型格式，因此后续迭代所需的参与者较少。2.4. 分析法为了确定动画是否需要细化，对每个参与者池的可接受性评级、准确性一致性评级和参与者细化建议进行了检查。满意度评分和访谈回答（编码为正确或不正确）进行分析后，每轮访谈以确定哪些动画被准确地解释并且被所有年龄（5-11岁）和年龄组水平内的参与者接受（即，第一级=5-6年，第二级= 7-9年，第三级10-11年）。应用了一致性方法（先验确定），以便保留动画，它需要a）平均获得至少四颗星（满分五颗）满意度分数被认为是可接受的，以及b）在整个样本（5-11岁）中，在“理解”、“识别”、“表征”和“音频”准确性评估响应类别内实现至少80%的评级共识任何未能达到的动画在任何响应类别中的整个样本的一致性被识别，以在随后的迭代中进行细化和进一步检查。在整个样本中达成共识，但在一个或多个类别的年龄组水平内失败的动画被认为是根据个人的反应和参与者的细化建议进行细化。此外，如果尽管满意度和准确性评分很高，但参与者对动画的改进提出了大量建议，则同样考虑对动画进行改进以提高可接受性。然后，在随后的面试中，将精炼的动画呈现给新的参与者池进行重新评估。细化的动画总是与其配对的对比动画一起呈现（即使该动画尚未细化），以确保保留上下文，并使所有参与者在参与者池中一致地观看动画。3. 结果结果是报道依次通过采访迭代和参与者池。报告正在检查的特定原型动画项目，然后是可接受性评级结果，准确性共识评级和改进建议。结果总结详细说明了哪些动画项目被保留，哪些被标记为在下一轮面试中进行细化和检查3.1. 第一次迭代结果在第一轮的访谈中，这15对原创动画被分成两组.第一组参与者（n=21，52.4%女性，M年龄=8.14岁，SD=1.96）检查了14个单独的动画（即，项目对1至7）和池2参与者（n=20，50%女性，M年龄8.10岁，SD2.10）检查了16个动画（i.例如，项目对8至15）。3.1.1. 动画可接受性所有动画的可接受性都很高，100%评级为4.0星。表3报告了每个项目的平均满意度评分（满分为5星）。在第一组参与者中，所有动画中每个响应类别的平均星级为音频应用4.1，角色吸引力4.3，动画动作和上下文4.2，4.4为了吸引观众所有动画的综合评分均较高，平均总满意度评分为4.3，代表积极的可接受性。从参与者池二，平均星级在所有动画的每个类别是3.7音频上诉，4.3字符上诉，4.2动画动作和上下文，4.5观看上诉。由于一名参与者始终将大多数项目的音频吸引力评为一星，因此该池中所有动画的音频吸引力平均评分较低尽管如此，所有动画的综合满意度都很高，平均总满意度为满意度评分≥4.1。3.1.2. 动画精确度五个项目未能达成共识（即，80%的准确度），因此可立即识别以进行细化。这些是项目5b、6a、7a、7b和8a。表现最差的项目是7b（非争论性），43%的参与者误解了预期的行为，K. Zieschank等人互联网干预24（2021）1003816≥=≥表3迭代一：每个项目的平均满意度评分（满分5分）上下文66%的人错误地识别了这个项目，大多数人将这个场景标记为虽然所有其他项目在每个响应类别中的整个样本中达到了80%的准确性共识，但年龄组水平之间存在差异。项目4b、6b、8b、10a、11b、12a和13a未通过在“理解”响应类别中达成共识或更多年龄组水平（即，第4 b项，年龄组别第一及第二;第6 b项，年龄组别第三;第8b及13 a项，年龄组别第一;及第10a、11b及12 a项，年龄组别第二）。对个体参与者对这些动画的反应进行的更仔细的检查表明，差异主要是由于儿童无法想到一个等效的个人例子，回答诸如 他们的肩膀， 而不是错误的回答。在这些动画的所有其他响应类别中达成了共识 与 百分之九十六点五的 参与者 提供 准确 标签（即，‘identification 没有提出改进建议;因此，是为了保留这七部动画的原始形式。项目2b（不担心项目5a（在学校不听话）在“音频”类别中达到100%的共识但在“代表因此，项目2b和5a也有针对性的细化。表4确定了整个样本（5-理解、识别、表示和音频准确性）。表5规定了准确度等级变化-年龄组之间的水平（水平1=53.1.3. 针对已识别动画的大多数改进项目的建议是夸大当前动画的组件或添加创意细节。如果一项建议不能得到有效的推动，就不会被采纳。由于动画的简洁性以及我们之前承诺开发不依赖于语言（书面或口头）的测量项目，因此任何增加角色之间大量对话的建议都被忽略了。虽然第3a项（睡眠不好）达到了在收到的每个准确性响应类别中，重要的创造性改进建议。为第7对提出了另一个故事情节（即，（1）不争论，以增进理解。对于这些动画，参与者建议将场景从一个母亲与她的孩子争论离开操场改为两个孩子角色争论玩具。很明显，母亲形象的出现给人的印象是，这个场景是关于而 所有细化建议表6列出了参与者在第1轮访谈中报告的情况。3.1.4. 第一次迭代结果总结基于综合的可接受性和准确性评级以及改进建议，在第一轮访谈后，保留了22个原始项目（73%），8个需要改进。从池一保留七个单独的动画（即，项目1a和b、2a、3b、4a和b以及6b）和7项需要进一步完善。需要改进的是项目2b（不担心），3a（睡眠不好），5a（在学校不听话），5b（在学校听话），6a（害羞），7a（好争论）和7b（不好争论）。从两个参与者的响应池中，保留了15个单独的动画（即，项目8b、9a和b、10a和b、11a和b、12a和b、13a和b、14a和b以及15a和b），以及一个项目（8a，过度活跃）需要改进。3.2. 第二次迭代结果第二轮访谈是与第三和第四批参与者进行的。三组参与者（n=14，50%女性，M年龄 8岁）检查了五对动画。在他们审查的十个单独的动画中，有七个已经被改进（即，项目2b、3a、5a、5b、6a、7a和7b）。动画8a（即， 多动）需要多个技术上的改进，由于动画的一些行动的困难之前，它是可以接受的，并没有及时完成的审查，由第三组的参与者。因此，该动画的改进版本及其对（即，第四组参与者（n=7，42.9%女性，M年龄= 10岁，8.00年，SD=2.20）。3.2.1. 动画可接受性接受性 动画的比例再次很高， 100%评级4.0星表7报告了每个动画的平均满意度评级（五星）。在第三组参与者中，所有动画的平均星级为音频吸引力4.5，角色吸引力4.6，动画动作和背景4.6，观看吸引力4.8。这些都增加了在第一轮面试中给出的评级。所有动画的综合满意度评分都很高，平均总满意度评分为4.6分。第四组参与者观看的这两个项目的平均星级为音频吸引力4.4，角色吸引力5.0，动画动作和背景4.9，观看吸引力5.0。综合满意度评分很高，平均总满意度评分为4.9。根据这些满意度评级，无需进行任何改进。动画音频角色项目上诉上诉动画动作查看上诉总平均满意度样本池1（N= 21）1a 4.0 4.34.04.44.21b 3.9 4.04.44.54.22a4.24.24.22b4.14.44.13a4.44.64.43b 4.2 4.44.14.44.34a4.44.44.44b 4.0 4.14.14.14.15a4.34.64.45b4.24.44.36a 4.0 4.24.44.44.36b 4.0 4.74.24.64.47a 4.24.24.74.37b4.14.54.2样本池2（N= 20）8a 3.64.14.44.08b4.14.44.09a4.14.44.19b 3.6 4.24.14.44.110a 3.5 4.24.04.44.010b 3.5 4.14.04.44.011a 3.5 4.24.14.44.011b 3.5 4.24.14.44.012 a 3.6 4.34.24.64.212 b 3.7 4.34.24.54.213a 3.8 4.34.24.64.213b 3.8 4.44.34.54.214 a4.34.64.314 b4.24.54.315 a4.24.54.215 b4.34.64.3K. Zieschank等人互联网干预24（2021）1003817表4迭代一：评估原始项目准确性的正确回答的数量和比例动画项正确理解正确识别正确表示正确音频总正确N（%）N（%）N（%）N（%）N（%）受试者样本池1（N= 21）1a悲伤20（95.3）二十一（一百）二十一（一百）83（98.8）1b快乐21（100）20（95.3）二十一（一百）20（95.3）82（97.6）2a忧虑20（95.3）二十一（一百）20（95.3）81（96.4）2b不担心18（85.7）18（85.7）20（95.3）75（89.4）3a睡眠不佳19（90.5）19（90.5）二十一（一百）二十一（一百）80（95.2）3b睡眠良好19（90.5）20（95.3）二十一（一百）二十一（一百）81（96.4）4a愤怒20（95.3）19（90.5）二十一（一百）二十一（一百）81（96.4）4 b不生气二十一（一百）二十一（一百）二十一（一百）80（95.2）5a不服从（学校）18（85.7）18（85.7）17（80.9）二十一（一百）74（88.1）5b服从（学校）6（28.6）10（47.6）16（76.2）20（95.3）52（61.9）害羞17（80.9）16（76.2）19（90.5）20（95.3）72（85.7）6 b不害羞19（90.5）二十一（一百）二十一（一百）七十九（九十四）第14条（66.7）14（66.7）18（85.7）二十一（一百）67（79.8）不具争议性12（57）七（三十三）18（85.7）二十一（一百）58（69）受试者样本池2（N= 20）8a多动行为12（60）十一（五十五）十二（六十）二十（一百）55（68.8）8b冷静十九（九十五）十九（九十五）二十（一百）75（93.8）9a孤独十九（九十五）十九（九十五）二十（一百）77（96.3）9 b社交十九（九十五）二十（一百）二十（一百）78（97.5）10a欺负二十（一百）二十（一百）二十（一百）78（97.5）10 b未被欺负二十（一百）二十（一百）二十（一百）八十（一百）11 a恐惧二十（一百）二十（一百）二十（一百）79（98.8）11b不害怕二十（一百）二十（一百）二十（一百）78（97.5）12a不听话（家）16（80）二十（一百）二十（一百）二十（一百）76（95）12b服从（家庭）20（100）二十（一百）二十（一百）二十（一百）八十（一百）13 a分心十八（90）二十（一百）十九（九十五）75（93.8）13 b专注十九（九十五）十九（九十五）二十（一百）77（96.3）14a身体攻击性18（90）十九（九十五）十九（九十五）二十（一百）76（95）14 b善良二十（一百）二十（一百）二十（一百）78（97.5）15 a身体症状二十（一百）二十（一百）二十（一百）八十（一百）15 b没有身体症状二十（一百）二十（一百）二十（一百）78（97.5）注：粗体表示精确度达到80%共识的项目。表5迭代一：项目的准确率变化80%，作为年龄组水平的函数<项目正确理解n（%）正确识别n（%）正确表示n（%）5受试者样本池1（N=21）n=5 n=8 n=8 n=5 n=8 n=8 n=5 n=8 n=82b不担心-自信5（100）6（75）8（100）5（100）7（87.5）6（75）5（100）6（75）7（87.5）4 b不生气-冷漠3（60）6（75）8（100）5（100）8（100）8（100）5（100）8（100）8（100）5a不服从（学校）4（80）7（87.5）7（87.5）4（80）7（87.5）7（87.5）5（100）8（100）4（50）5b服从者（学校）5（100）1（12.5）0（0%）4（80）3（37.5）3（37.5） 5（100）5（62.5）6（75）6a害羞5（100）7（87.5）5（62.5）4（80）6（75）6（75）5（100）7（87.5）7（87.5）6 b不害羞外向5（100）7（87.5）6（75） 5（100）7（87.5）7（87.5）5（100）8（100）8（100）3（60） 7（87.5）4（50）4（80）5（62.5）5（62.4） 5（100）6（75）7（87.5）7b非争论性2（40）6（75）4（50）3（60）1（12.5）3（37.5）5（100）7（87.5）6（75）受试者样本池2（N=20）n=5 n=9 n=6 n=5 n=9 n=6 n=5 n=9 n=68a多动症2（40）5（55.6）5（83.3）1（20）6（66.7）4（66.7）1（20） 8（88.9）3（50）8b冷静理智2（40）9（100）6（100）4（80）9（100）6（100）4（80）9（100）6（100）10a受欺负排除5（100）7（77.8）6（100）5（100）9（100）6（100）5（100）9（100）6（100）K. Zieschank等人互联网干预24（2021）100381811b不害怕勇敢5（100）7（77.8）6（100）5（100）9（100）6（100）9（100）6（100）12a不服从（家庭）4（80）7（77.8）5（83.3）5（100）9（100）6（100）5（100）9（100）6（100）13a注意力不集中3（60）9（100）6（100）4（80）8（88.9）6（100）5（100）8（88.9）6（100）注：粗体表示具有80%准确度共识的项目。3.2.2. 动画精确度在整个参与者库和每个响应类别的年龄组水平内再次检查准确性。在整个样本中，第三组参与者审查的所有项目都达到了至少92.9%的准确率 共识 评级 在 每个 响应 类别 (i.e.、“站立”、“识别”、“代表”和“音频”），每个类别中60%的项目达到100%的准确率。但有一级年龄组的参与者在项目5a和5b（不服从和服从：学校环境）以及7a和7b（争论和不争论）的准确性方面仍然存在差异。项目5a和5b未能达到80%的共识，在在审查个人答复时，注意到这是由于一名参与者（25%）年龄五年，因为他还没有上学，所以不能就第5a和5b项提供相应的个人例子。项目5a和5b在所有其他响应类别的所有年龄组水平（包括1级）中达到100%共识，因此保留了这些动画。项目7a（有争议）和7b（无争议）再次未能通过。5-6岁年龄组在“理解”和“认同”两个类别中达到80%的共识 这些年轻人K. Zieschank等人互联网干预24（2021）1003819==-表6迭代一：参与者添加、删除或更改动画动作、声音、场景、由第四组参与者审查的动画8a（多动）的第二次迭代在整个样本和年龄组水平内均达到100%的准确率（对于所有响应类别）。表8确定了整个样本（5-2b不担心自信3a睡眠不好5a不服从（学校）让“叮”的声音更响亮 *;让她说“啊耶”。增加一个拳头泵*;增加一个竖起大拇指 *;把她的手放在她的臀部，使她眨眼更大 *。从思想泡泡中删除#1符号添加呻吟 *，添加一个大大的叹息 *;使哈欠更响亮;添加脚步声，把一个愤怒的脸的时钟;把眼睛的爪子，使怪物更大 * 可怕 *。把怪物变成粗鲁/卑鄙的人让男孩伸出舌头 *老师需要说些什么;大声说对于检查的所有项目的每个动画准确度响应类别在迭代二中。3.2.3. 针