众包系统Scriptoria：解决古典音乐转录的在线群体驱动工具

256Scriptoria：一个群体驱动的音乐转录系统约安尼斯·佩特罗斯·萨米奥蒂斯代尔夫特理工大学代尔夫特，荷兰i.p.samiotis@tudelft.nl克里斯托夫·洛菲代尔夫特理工大学Delft，Netherlandsc. tudelft.nl沙德·阿拉卡代尔夫特理工大学荷兰代尔夫特s. student.tudelft.nl摘要辛西娅·CS. Liem代尔夫特理工大学Delft，Netherlandsc.c.s. tudelft.nl亚历山德罗·博宗代尔夫特理工大学荷兰代尔夫特a.bozzon@tudelft.nl为保护这类珍贵的在这个演示中，我们提出了Scriptoria，一个在线众包系统，以解决古典管弦乐乐谱的复杂转录过程。该系统该架构使用可扩展的微任务设计实现了端到端的转录过程（从PDF到MEI）。可靠性，稳定性，任务和UI设计也通过焦点小组讨论进行了评估和改进最后，我们收集了关于转录过程本身的宝贵意见，以及未来可能大大增强其领域当前实践的补充。CCS概念• 信息系统→众包;数字图书馆和档案馆;·应用计算→声音和音乐计算;·以人为中心的计算→可用性测试。关键词众包、音乐转录、焦点小组讨论、迭代设计、数字档案ACM参考格式：放大图片作者：Joan ，Cheryl，Shaad Alaka ，Cynthia C.S. Liem 和Alessandro Bozzon。2022年Scriptoria：一个以人群为动力的音乐传输系统。在网络会议2022（WWW '22同伴）的同伴程序，2022年4月25日至29日，虚拟活动，里昂，法国。 ACM， 美 国 纽 约 州 纽 约 市 ， 4 页 。https://doi.org/10.1145/3487553.35242521引言音乐转录是计算机视觉中一个具有挑战性的课题尽管光学音乐识别（OMR）的最新改进，但由于其长度和复杂性（例如，具有不同符号的多个平行乐器、源材料的质量差、手写注释等），专业管弦乐队仍然严重依赖于管弦乐乐谱的手动转录。改进古典乐谱的抄写过程将是一个重要的本作品采用知识共享署名国际协议（Creative Commons AttributionInternational）授权4.0许可证。WWW©2022版权归所有者/作者所有。ACM ISBN978-1-4503-9130-6/22/04。https://doi.org/10.1145/3487553.3524252文化传承受微任务众包[1，8]和利基资源[6]的最新作品的启发，我们与专家进行了需求分析，并设计了Scriptoria，一个众包驱动的音乐转录系统。 该系统由多个模块组成，这些模块处理扫描分数的PDF文件，处理它们并将它们分割成更小的部分。然后，通过增量转录的众包管道对每个片段进行注释然后将结果汇总并公布在一个在线储存库中。我们评估了我们的系统与焦点小组讨论与荷兰青年乐团的成员在两个迭代。在这些迭代之间，我们根据收到的反馈对系统进行了改进。 在本文中，我们最后提出了一些最有价值的见解，通过我们与与会者的讨论收集。我们的工作与[2]，Allegro系统和[3]等研究相似，这些研究专注于用户输入和任务设计。然而，这两项研究都专注于单用户转录，而我们的工作流程允许许多贡献者参与可扩展性[7]。2要求和设计我们将Scriptoria分为两个部分：（a）转录管道和处理模块的后端架构;以及（b）用户交互的任务接口。在分区域资源中心合作社的支持下，这一众包系统的后端和前端都设在荷兰国家电子基础设施上。源代码发布在GitHub 1，2上。2.1系统架构我们的后端容纳了一个群众辅助OMR管道。它处理PDF输入数据（图像处理和分割），为非自动化部分生成众包任务，最后汇总结果以构建原始管弦乐乐谱的MEI版本（见图1）。我们的原型的核心系统要求是：（1）以模块化和分布式方式设计系统，以及（b）在系统中存储音乐转录管道每个步骤中的过程产生的所有数据，以便系统的所有模块都可以轻松访问它们。我们设置了第一个需求，以实现可伸缩性并支持更容易的可维护性。每个1 https://github.com/cakefm/crowd_task_manager2https://github.com/cakefm/scriptoria257WWW个任务的展示界面PDF版分数测量检测器分数分段器众包任务分数接收器主逻辑众包任务分发器Score AssemblerMEI评分人群判决聚合器乐谱出版商图1：群组任务管理器模块的架构原型中的模块代表转录管道上的一个步骤，并提供特定的功能。这有助于轻松地用更复杂的管道替换管道的部分，而不会破坏系统的整体可操作性。我们实现了一个中央模块，它包含转录管道的逻辑步骤，该逻辑步骤发送指示哪些模块应该被激活以及何时被激活的消息。管道中的每个模块都从本地数据库导入数据，并将数据存储到本地数据库中，以便其他模块可以使用这些数据。当PDF分数被发送到后端时，首先进行光栅化，然后进行一些标准的图像预处理。首先，页面的对比度被最大化，之后页面被二值化。在此之后，由于扫描原始分数而可能发生的页面中的任何旋转都会被纠正。在这些步骤之后，在分析页面结构时遵循自上而下的方法。首先，系统将被分离，随后被分成垂直块，然后再分成措施。 每个段都存储在MongoDB数据库中，与它们的标识符一起，它们通过API可供前端使用。我们咨询了阿姆斯特丹皇家音乐厅管弦乐团3（RCO）的专家，确定了管弦乐乐谱中最重要的元素，以及最终转录乐谱的最低可行产品要求 我们在转录管道中关注的音乐符号包括：（a）谱号，（b）时间签名，（c）键签名，（d）音符的节奏信息，（e）音符的音高信息。然后，我们将转录管道分解为可以以微任务众包方式传达的连续任务，专注于这些单独的重要音乐元素。我们设计的任务是：谱号识别：指出在一个音段中是否有一个或多个谱号，如果有，是哪些;时间签名识别：指示时间签名指示在段中是否可见，以及如果可见，是哪个;密钥识别：指示密钥签名指示在段中是否可见，以及如果可见，是哪个;节奏转录：将音乐内容的节奏转录在一个片段中;音高转录：转录片段中音乐内容的音高。3https://www.concertgebouworkest.nl/en每个任务都有特定的输入（给定乐谱的片段）和输出（乐谱），旨在让用户轻松有效当贡献者在任务上工作时，在后端，以开放的音乐编码倡议（MEI）格式建立分数，并且每个贡献都存储为GitHub上的提交。为了允许连贯完成，我们实现了一个调度算法，它遵循MEI元素的重要性层次结构。对于每个片段，谱号、调和拍号都是必不可少的，因为它们可以改变所有后续的音乐元素（音符/休止符），而这些元素都依赖于它们。 这些众包任务与自动化方法共存，如测量检测，图像分割和XML树聚合，创建一个混合系统，人机协作实现从PDF输入生成MEI管弦乐作品的共同目标。2.2任务设计和接口开发了一个专用的前端服务器，允许动态渲染UI元素和动态路由匹配不同类型的任务。 这是基于一个NodeJS服务器，它托管所有必要的组件，如界面，UI元素和专用任务类型组件，同时通过Axios处理与后端的通信。前端可以通过后端的API访问每个分数段，并在浏览器上动态渲染它们的用户输入被转换为MEI头，并传送回后端。我们的目标贡献者是半专家（古典管弦乐队的青年/学生演奏者），因此我们在任务设计过程中考虑了他们的专业知识。如2.1节所述，我们为五种乐谱中的每一种都设计了单独的任务类型 谱号、拍号和键号的检测任务向用户呈现乐谱的原始片段（给定小节的图像），并且他们必须指示给定乐谱的存在，同时识别其特征（例如，如果谱号存在，请选择其类型）。 对于节奏和音高检测任务，向用户呈现左侧原始片段的图像，因此他们可以立即比较右侧呈现的MEI片段上的选择（参见图2）。由于我们的贡献者的专业知识，预计会 他们的专业知识，结合多数表决聚集和树对齐算法，将确保高质量的输出，因此，使可能的验证任务不重要。3焦点小组和迭代设计我们与多个经典青年的半专家和年轻专业人士成员进行了焦点小组讨论，以评估我们的工作流程和任务设计。 在讨论过程中，我们调查了他们目前用于转录管弦乐乐谱的方法，但也鼓励他们探索未来功能更丰富版本的要求和工作流程。与专家的访谈对我们的转录系统的设计起了至关重要的作用。我们原型的最初设计是基于RCO的专业专家和Krashna Musika4青年乐团的反馈和要求。在焦点小组讨论中，我们接触了几位年轻人，4https://www.krashna.nl/en/·····258Scriptoria：A Crowd-powered Music Transcription System WWW荷兰的交响乐团，他们热情地参与其中。在迭代设计方法之后，我们将参与者分为两组;从第一组收到的反馈用于更新我们转录系统中的设计，第二组提供最终版本。3.1招聘由于COVID-19危机，所有研究均通过在线视频会议进行。对于两轮研究，遵循相似的方案。第一项研究分5个阶段进行，共有30名参与者。第二项研究在4个月后进行，分4个阶段进行，共有33名参与者两项研究的参与者都是荷兰青年管弦乐队的成员，即：音乐 学 院 5 ， Quadrivium 6 ， NJO 7 ， Sweelinck 8 ， Ni-jmeegsStudentenorkest CMC 9，阿姆斯特丹Studenten Orkest 10，S. M. G. 《永远的渐强》11和《阿尔米尔青年交响曲》12。3.2焦点小组结构首先，询问参与者的知情同意，并进行基于Goldsmiths音乐复杂度指数（Gold-MSI）的音乐背景调查。 在一轮介绍之后，研究人员与参与者讨论了当前的抄写实践和拟议工作流程背后的动机。随后，与会者应邀与抄写系统进行了一个小时的互动。在这一个小时的时间里，他们会逐步完成不同的任务，经历不同的任务阶段。参与者被要求单独工作，只有在他们真的遇到技术问题时才要求帮助/澄清;研究人员仍然在回答这些问题。最后，参与者被邀请填写一份研究后系统可用性问卷（PSSUQ）[4]调查，研究人员主持了一个逐任务的讨论，鼓励参与者分享他们的经验和意见的定性反馈可能的改进。所有的学习课程都考虑路德维希·范·贝托文的《降E大调六重奏》的第一页。71，其中对于扫描的分数，我们使用来自IMSLP13的PDF。根据每次会议的与会者人数调整了誊写工作量4评价和改进4.1首次研究正如预期的那样，音乐背景调查表明，许多球员有广泛的乐器训练，代表了相当多的乐器经验。虽然这可以指示关于特定音乐记谱（诸如谱号的类型）的不同专业知识，但是，这些音乐记谱的UI和转录任务可以是不同的。5https://www.collegiummusicum.nl/en/6https://www.esmgquadrivium.nl7 https://www.njo.nl/english/orchestra/orchestra8https://www.sweelinckorkest.nl9https://www.nijmeegsstudentenorkest.nl10 http://www.amsterdamsstudentenorkest.nl/en/11https://www.smgsemprecrescendo.nl12 https://www.stichtingajso.nl/english/ajso/13https：//imslp.org/wiki/Sextet_in_E-flat_major%2C_Op.71_（Beethoven%2C_Ludwig_van）符号被设计成主要基于类似人工制品的视觉识别。在所有会议上，与会者设法完全完成所有任务。我们发现，节奏和音高转录任务比谱号，调号和拍号任务更耗时。参与者的定性反馈表明，这些任务的UI设计仍有待进一步改进。对于时间标记检测任务，参与者建议包括用于常见时间标记的按钮，以进一步减少对文本输入的需求 他们还指出，由于注释的高度复杂性（关键签名可能出现在多个地方，甚至在一小段中），关键签名检测任务对某些人来说是令人困惑的。对于节奏转录，发现UI繁琐，建议扩展到具有常见预设选项的更多按钮。此外，抄写时没有音符光束，使得参考和输入的输入之间的视觉比较更加困难。关于音高转录，参与者表示，该任务涉及精心设计的用户输入，并且包括常见动作和输入拖动的快捷方式将是有用然而，在这些研究的时刻，在先前任务期间记录节奏音符的默认音高的方式被认为不足以清楚地可视化该任务中的音符。执行时间根据Git仓库的提交日志估计。通过用户评估，我们发现这种方法存在两个主要原因：由于我们的系统处理的输入量，后续提交之间可能存在时间延迟;结果不会改变MEI片段，而不是提交（例如，指示在给定段中没有谱号最后，一般的反馈集中在“提交”按钮的外观和感觉在不同任务之间的不一致性。此外，任务说明被发现要么不清楚，要么太“罗嗦”。这些可用性问题在PSSUQ调查结果中也很明显4.2已实施的改进如前一节所述，初始GUI设计存在一些影响用户效率和整体用户体验的问题为了纠正这一点，我们进行了多次更改。对于时间检测，我们添加了带有频繁出现的时间签名的预设按钮。对于密钥签名检测，贡献者可以选择密钥签名的类型，然后单击按钮以增加计数，这将显示密钥签名的预览。 对于节律转录，对GUI进行了全面重新设计，用扩展的预设按钮替换滑块（见图2）。此外，注释导航/删除已被单个撤消按钮取代。最后，增加了梁支撑对于音高转录，增加了八度音阶调整按钮，音符在五线谱中间初始化，这取决于前面的谱号。此外，对于笔记导航，键盘现在已实施捷径。在总体改进方面，“提交”按钮在外观、感觉和跨任务的 此外，帮助文本被一个帮助按钮取代，259WWW浮动窗口，它显示了如何执行任务的动画，以及描述。最后，对于不使用任何MEI预览的任务，不再加载Verovio，即使用的乐谱在线编辑器，这改善了时间，键签名和节奏转录任务的加载时间在任何接口加载期间，还包括加载进度指示器在后端，我们还改进了系统日志记录，因此可以在我们的分析中包含更多精细的时间信息（例如，注册没有更改的MEI片段提交在古典音乐或半音阶音乐中专业人员使用的转写方法我们亲眼目睹了挑战，例如：混乱的手写注释模糊了印刷的乐谱，不完美的扫描页面和损坏的乐谱。尽管所有类型的印刷乐谱都存在这样的挑战，但管弦乐作品的长度和复杂性放大了这些挑战，导致自动转录方法经常失败。专业人士和业余爱好者一样，仍然依赖于手动转录分数从地上爬起来，使用专用软件，在线解决方案，甚至在案件，笔和纸。焦点小组的参与者广泛讨论了他们的转录习惯。大多数青年管弦乐队都依靠一两个人来为其他人抄写乐谱。我们的微任务方法受到了热烈欢迎，参与者认为，基于任务的协作工作流可能会提高工作效率和团队的社会联系我们与与会者的讨论带来了另一个宝贵的(a)谱号转录(c)密钥签名转录(b) 时间签名记录(d) 节奏转录对交响乐团的注释需求的洞察：与会者几乎一致指出，应在交响乐团之间共享演奏注释。在演奏音乐作品时，每个管弦乐队都会添加自己的解释，这些解释通常是非常独特的，与其他乐队不同。在其他音乐符号之上数字化和共享这些表演注释并在转录平台的用户之间共享它们的潜力被认为是其成功的关键未来。致谢这项工作是在分区域资源中心合作社的支助下在荷兰国家电子基础设施上进行的。 我们感谢Marcel van Tilburg在管弦乐乐谱方面的见解，以及Carlo van der Valk在工程方面的贡献。引用[1] Alessandro Bozzon ， Marco Brambilla ， Stefano Ceri ， and AndreaMauri.2013年。重新活跃的众包。 在第22届万维网国际会议上。153-164。[2] 曼纽尔·伯格哈特和塞巴斯蒂安·斯潘纳2017年。Allegro：以用户为中心的设计(e) 音高转录图2：改进了转录任务的设计4.3二项研究根据第一项研究的结果，参与者的音乐专业知识在选择乐器方面同样高且多样化在我们根据收集的反馈进行改进之后，第二项研究的所有会议的参与者都对我们的系统非常热情。我们确定了每个任务所花费的时间的主要改进，同时讨论和PSSUQ问题的反馈也是积极的。我们在节奏转录和音高转录任务的UI方面的改进似乎也有助于更好地帮助用户成功完成任务。5未来版本的说明从我们与RCO专家和青年乐团成员的讨论中，我们获得了关于传统音乐的宝贵见解。of a Tool工具for the Crowdsourced众包Transcription转录of Handwritten手写Music音乐Scores分数. 第二届文本文化遗产数字化访问国际会议（德国哥廷根）（ DATECH2017 ） 。 ACM ， 纽 约 ， 纽 约 ， 美 国 ， 15-20 。https://doi.org/10.1145/3078081.3078101[3] 梁晨和克里斯托弗·拉斐尔。2017.人类指导的光学音乐识别。电子成像2016，17（2017年2月），1https://doi.org/10.2352/issn.2470-1173.2016.17.drr-053[4] 詹姆斯·刘易斯一九九二年研究后系统可用性问卷的心理测量评估：PSSUQ。在人类因素学会年会上，卷。三十六。Sage Publications Sage CA：LosAngeles，CA，1259[5] DanielMüllensiefen ， BrunoGingras ， JasonMusil ， andLaurenStewart.2014年。非音乐家的音乐性：评估一般人群音乐成熟度的指数。PloSone（2014）.[6] Jasper Oosterman ， Alessandro Bozzon ， Geert-Jan Houben ， ArchanaPiramkan-dath，Chris Dijkshoorn，Lora Aroyo，Mieke HR Leyssen，andMyriam C Traub.2014. 人群与专家：为文化遗产方面的知识密集型任务寻找合适的资源。在第23届万维网国际会议上。567-568.[7] Ioannis Petros Samiotis Christoph Lofi和Alessandro Bozzon。2021年音 乐 转录的混合注释系统。第三届国际音乐阅读系统研讨会。[8] 扬尼斯·佩特罗斯放大图片作者：Samiotis，Sihang Qiu，Andrea Mauri，CynthiaC.S. 作者声明：by ChristophLofi. 2020.音乐乐谱Transit的微任务众包：错误检测实验。第21届国际音乐信息检索会议论文集。