Musicaiz：Python库用于符号音乐生成、分析和可视化的原始软件出版物2023.

软件X 22（2023）101365原始软件出版物Musicaiz：用于符号音乐生成、分析和可视化的Python库作者：Carlos Hernani-Olivan，Jose R.贝尔特兰萨拉戈萨大学电子工程与通信系，50018萨拉戈萨，西班牙ar t i cl e i nf o文章历史记录：2022年7月21日收到收到修订版，2023年1月14日接受，2023年保留字：音乐信息检索音乐生成机器学习深度学习a b st ra ct在这篇文章中，我们提出了musicaiz，一个面向对象的图书馆分析，生成和评估符号音乐。该软件包的子模块允许用户从头开始创建符号音乐数据，构建分析符号音乐的算法，将符号数据编码为令牌以训练深度学习序列模型，修改现有音乐数据并评估音乐生成系统。评估子模块建立在以前的工作，客观地衡量音乐生成系统，并能够重现音乐生成模型的结果。图书馆在网上公开。我们鼓励社区作出贡献并提供反馈。版权所有2023作者。由爱思唯尔公司出版这是CC BY-NC-ND下的开放获取文章许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。代码元数据当前代码版本0.1.2用于此代码版本的代码/存储库的永久链接https://github.com/ElsevierSoftwareX/SOFTX-D-22-00206Reproducible Capsule的永久链接https://codeocean.com/capsule/4380585/treeGNU Affero通用公共许可证使用git的代码版本控制系统使用Python的软件代码语言、工具和服务编译要求、操作环境依赖性https://github.com/carlosholivan/musicaiz/blob/master/requirements.txt如果有开发人员文档/手册http://carlosholivan.github.io/musicaiz问题支持电子邮件carloshero@unizar.es1. 动机和意义音乐信息检索（MIR）的研究领域在过去的几十年里有了显着的增长。近年来，随着人工智能的发展，在MIR的子领域中已经提出了几个模型，这些模型正在成为现实世界的应用，例如用于音频效果建模的音乐制作[1]。新的深度学习（DL）模型在创建管道以服务和测试此类模型时的自动化和可扩展性已成为索尼，Spotify，AppleMusic，Pandora或Dolby等音乐公司的必需品。使用AI的几个项目*通讯作者。电子邮件地址：carloshero@unizar.es（Carlos Hernanove-Olivan），jrbelbla@unizar.es（Jose R.Beltran）。网址：https://carlosholivan.github.io/（Carlos Hernanove-Olivan）.在音乐应用程序已经出现，包括谷歌2近年来MIR发展最快的子领域之一是音乐的一代。这种日益增长的兴趣的原因是新的深度学习模型的出现，使研究人员能够建立比以前基于规则的方法更好的性能模型[2，3]。这增加了人们对构建开源工具和软件的兴趣，以帮助研究人员在 处 理 符 号 音 乐 数 据 （ 如 jSymbolic[4] 、 music21[5] 、Hundrum[6]、mido或pretty_midi）时进行预处理阶段。[7]另一方面，与音频样本，如li-brosa[8]。其他图书馆也被提议处理1 https://magenta.tensorflow.org/，2023年1月访问。2 https://www.microsoft.com/en-us/research/project/ai-music/，2023年1月至2024年1月访问。https://doi.org/10.1016/j.softx.2023.1013652352-7110/©2023作者。由爱思唯尔公司出版。这是一篇开放获取的文章，使用CC BY-NC-ND许可证（http://creativecommons.org/licenses/by-nc-nd/4.0/）。可在ScienceDirect上获得目录列表SoftwareX期刊主页：www.elsevier.com/locate/softxCarlos Hernanove-Olivan和Jose R. 贝尔特兰软件X 22（2023）1013652Fig. 1. Musicaiz实用程序和子模块。用于音乐生成目的的符号音乐数据[9]或帮助构建用于训练序列模型（如miditok）的编码库[10]。这些软件中的每一个都在音乐生成或分析流程的特定步骤上工作。musicaiz的目标是汇集音乐理论、音乐处理、音乐生成模型和评估技术，这是建立一个可复制和可扩展的音乐生成系统所必需的。图书馆是公开的。3我们还提供了文档和示例。4软件测试使用pytest 5，覆盖率达到80%。该包的每个子模块的方法已经过不同用例的测试。在表1中，我们将这些包提供的特性与musicaiz库进行了比较。Musicaiz库（图1）建立在pretty_midi[7]的基础上，其设计原则与西方音调音乐理论原则保持一致2. 软件描述2.1. 软件构架Musicaiz是用Python 3编写的。该软件分为几个子模块，以满足用户的需求。有子模块，允许代表符号格式在一个面向对象的方法，通过以下音乐理论原则，如节奏，和声和结构。从这些子模块中，我们构建了一个fea- tures子模块，允许从原始符号音乐数据中提取信息。这些功能构成了eval子模块的基础，该模块允许我们评估音乐生成系统，以帮助使其可再现，这是音乐生成子领域的当前需求[2]。由于深度学习模型通常需要重要的预处理步骤，因为它需要识别与模型的期望结果的目标一致的表示3 https://github.com/carlosholivan/musicaiz4 https://carlosholivan.github.io/musicaiz/index.html5 https://github.com/pytest-dev/pytest表1音乐和象征性音乐生成、分析和表现的框架。包浪音乐理论分词器模型Eval.jSymbolicJava✓✗✗✓音乐21Python✓✗✗✗米多Python✗✗✗✗美丽的midiPython✗✗✗✗单调awk✓✗✗✓米迪托克Python✗✓✗✗马斯皮Python✗✗✗✓音乐家Python✓✓✓✓Transformer [11]，我们还提供了一个标记器模块，它允许以类似MIDI的表示形式标记符号音乐数据：多轨道音乐机器编码[12]，以及类似乐谱的表示形式：REMI [13]。这个子模块可以很容易地扩展到不同的编码，由于其面向对象的设计。在datasets子模块中，我们提供了允许处理音乐生成领域中使用的符号音乐数据集此外，符号音乐可以表示为pianoroll，并且只有少数软件（如Pypianoroll [14]）可以像数字音频工作站（Daws）那样使用细分网格绘制这些表示。 我们提供了一个绘图子模块，帮助绘制符号音乐钢琴，并将其保存为HTML文件与plotly。这不仅可以帮助可视化的符号音乐数据，但也可以作为一个调试工具。最后，exports子模块将musicaiz对象（如音符或小节）转换为JSON格式，以便可以通过REST API发送音乐信息这允许在后端使用musicaiz2.2. 软件功能musicaiz的目标是为研究人员、从业者和用户提供一个音乐生成的框架。我们可以将软件的子模块分组为满足软件功能的高级抽象（见图1）。①的人。这些群体是：西方调性音乐理论、加工、生成，Carlos Hernanove-Olivan和Jose R. 贝尔特兰软件X 22（2023）1013653评估、可视化和导出。虽然该软件旨在作为一个音乐生成框架，但它可以通过当前子模块的配置实现更多目的2.2.1. 装载机模 块 加 载 器 包 含 库 的 主 类 Musa 。 它 允 许 导 入 一 个JavaScript文件并初始化其所有相应的属性。与pretty_midi提供的初始化类似，如果未找到MIDI文件的速度消息，如果没有提供文件。分辨率或每季度音符的刻度数（TPQN）设置为96。为了将音符分组为小节、节拍和子节拍，我们考虑速度和拍号的变化。Bar、Beat和Subbeat对象存储诸如拍号和速度之类的属性，以处理文件中各自的这个初始化允许我们为其他模块准备数据，比如tokenizer。重要的是要强调这样一个事实，即对于表现性的演奏文件，由于难以用类似乐谱的表示来表示表现性的演奏，所以在小节或节拍中分组的音符可能无法很好地2.2.2. 西方调性音乐理论允许计算和处理符号信息的主要子模块遵循音乐理论的原则是：节奏，结构和和声。我们将这些子模块设计为面向对象的，也就是说，定义具有属性的类例如，大三和弦是枚举中的一个值，它包含大和弦质量、音程列表（第三大和弦和第五完成和弦）和和弦类型三和弦。所有这些表示和弦的值也是对象。这使我们能够从音程中构建和弦，从度和和弦中构建音阶。节奏 在此模块中，用户可以使用不同的时间签名进行操作，并对从同步文件导入的数据应用不同的量化。mu-sicaiz.rhythm模块中包含的类和方法允许我们将音符分组为小节，计算音符的持续时间等。结构结构是逻辑的另一个基本子模块。它包含的元素是指音乐形式或结构，如作品，乐器或音符。该模块的主要元素包括：仪器、条形图和注释：structure.notes包含基于Pearce和Wiggins工作的类[ 15 ]。它允许构造音符对象以进行分析或生成符号音乐。音符可以包含音高、时间和性能属性。bars有一个Bar类，它帮助定义度量。这个子模块的目的是使用这个类来构建音乐处理器，并提供更多的方法来组织与乐谱表示对齐的符号音乐数据。structure.instruments有助于在相应的工具中定义和分组注释和度量。和谐 我们已经在音乐的时间轴上建立了主要的结构块，但音乐也可以在垂直或音高轴上工作。我们包括一个谐波子模块，以便能够分析或生成谐波数据。这个子模块的主要元素是：音程，和弦，调性和音阶：音程包含音乐理论[ 16 ]中定义的公共音程的定义。harmony.chords包含和弦定义。和弦由根音、其性质、其类型或复杂性（三和弦或七和弦）以及包含和弦的根音的音程列表来定义。和谐。钥匙。我们定义了从零到第七变音、升半音和降半音的调。每个调性和调式（大调和小调）在大调、小调和希腊调式中都有相应的音阶2.2.3. 处理令牌表示允许训练深度学习序列模型。 近年来，一些作品包括令牌表示来训练这样的模型在音乐生成任务。我们提供子模块tokenizer和数据集来构建令牌表示和处理常用的开源音乐生成数据集。代币化器。在musicaiz中，我们实现了多轨音乐机器模型（MMM）[12]中定义的标记化，该模型使用GPT-2模型[17]来生成多轨音乐。我们可以导出.txt格式的令牌，以便能够与其他软件一起使用令牌。我们还提供了get_vocabulary方法来将给定标记化的词汇表也保存为.txt文件。数据集。 为了简化常见数据集的处理，我们包含了这个子模块，它使用tokenizers子模块来处理以下数据集：MAESTRO[18] ， Lakh Chorales Dataset [19] 和 JSB Chorales [20] 。MusicGeneration Dataset元类有一个_prepare_tokenize函数，该函数在用于生成符号音乐的数据集中继承。每个数据集的特定方法是：get_metadata方法，因为每个数据集都以不同的方式组织或标记数据，以及tokenize方法，该方法使用get_metadata（如果适用），然后将解析后的元数据传递给_prepare_tokenize方法以标记文件。2.2.4. 一代对于符号音乐生成的特定任务，musicaiz包含两个子模块：算法和模型。算法。该子模块包含谐波换位算法的实现。给定每个小节的度数这可以作为训练大型深度学习模型的数据增强技术。它还模 型 这 个 子 模 块 包 含 另 一 个 子 模 块 trans-former_composers，它包含基于GPT的模型的实现，以及Pytorch中相应的训练和数据加载器模块[21]。该模型可以被训练来生成象征性的音乐。通过上面提到的子模块，我们可以轻松地评估结果并计算模型所需的预处理子模块模型可以扩展为 音 乐 生 成 提 供 更 多 最 先 进 的 模 型 实 现 ， 例 如 MusicTransformer [22]或Pop Music Transformer [13]，因为它包含定义每个Transformer层的基类。2.2.5. 评价从音乐理论类和函数中，我们构建了一个子模块特征，用于从我们在子模块eval中使用的符号音乐数据中提取特征。······Carlos Hernanove-Olivan和Jose R. 贝尔特兰软件X 22（2023）1013654图二. JSB Fakes和JSB Chorales数据集的集合内PDF的客观评估示例。从左到右：a）音调计数（PC）b）音调类直方图（PCH）PDF。功能. 子模块功能包含一些音高，节奏和和声功能的实现。该模块的目标是从符号音乐数据中提取特征，这些特征可用于分析、测量或构建编码以适应深度学习序列模型。这个模块的主要元素是：节奏，和谐，音高，自相似性和图形：特色。节奏。我们实现了Roig等人[23]的部分工作，以提供时间签名分子估计。特点。和谐。包含与和谐相关的方法。特点。音高。它包含基本的音高特征，随后构建子模块eval，允许评估音乐生成模型。self_similarity.自相似性允许到构建符号域中的自相似矩阵[24]。这些可视化可以用于在IOI、音符计数等特征图中可视化模型的性能。我们实施了类似的代表-Jeong等人[25]引入了符号音乐到图形的概念。我们使用NetwokX包6来实现这个目的。Eval. 我们可以从主观的角度[26]或客观的方法来评估音乐的生成。该子模块对应于Yang和Lerch的评价方法[ 27 ]的实现，有了它，我们可以交叉验证2个或更多的数据集（训练和生成）。为了实现这一点，我们首先计算每个数据集（inter-set）内样本之间的欧几里得距离，然后通过比较不同数据集（intra-set）的样本来重复该过程，并构建计算距离的直方图。我们从直方图中提取概率密度函数（PDF），以便我们可以计算过-lap area（OA）和Kullback Leibler divergence（KLD）。我们可以用特征子模块计算的每个特征来做到这一点，这些特征是：音高计数（PC）、音高类直方图（PCH）、音高类转换矩阵（PCTM）、音高范围（PR）和平均音高间隔（PI）。实现的基于节奏的特征是：音符计数（NC）或音符密度，平均起始间隔（IOI），音符长度直方图（NLH），音符长度转换矩阵（NLTM）。从2个不同的数据集和特征中提取的PDF的示例如图所示。 二、除了在当前版本的软件中实现的评估方法之外，还有更多的评估指标，例如在其他软件（如muspy）中实现的凹槽一致性，并且可以添加到musicaiz的未来版本中。2.2.6. 可视化我们还可以使用musaiz库将符号音乐数据绘制为钢琴曲。我 们 提 供 了 两 个 类 ， 允 许 我 们 生 成 并 保 存 .png （ 使 用matplotlib）和.html（使用plotly）格式的图。我们用用户可以设置的条和细分来设置x轴（或时间轴）。这对于数据可视化非常有用，因为它是在DW中完成 我们展示了一个例子，一个平面滚球与网格的细分在x轴上的图。3.第三章。2.2.7. 出口musicaiz软件的最后一个功能是导出功能。该软件为musicaiz提供了一个协议缓冲区和musicaiz到协议缓冲区的转换器，该转换器使用protobuf包7构建，还提供了musicaiz到JSON的表示。这允许通过REST API发送音乐信息，这使得该软件对工业应用也很有用。3. 说明性实例，1我的朋友们。loadersimportMusa2我的朋友们。Plotersimp ortPianoroll3frommusicaizimporteval45#-6#ReadMIDI文件7文件e= “我的天啊。mid“8midi=Musa（file，quantize=False ）910#-Evaluation--11#Extractfeat res fresfres frmMIDis数据集和crosss-val idate e12midis_path_1= “midis_path_1/“13midis_path_1= “midis_path_2/“14measures_1=eval. get_all_dataset_mesures （midis_path_1）15measures_2=eval. get_all_dataset_meaures （midis_path_2）16#Gettheintra-setdistanceofdataset117intra_set_dists_1=eval. euclidean_distance （measures_1）18#Gettheintra-settdistances19inter_set_dists=eval. euclidean_distance（measures_1，measures_2）2021#-22#PLOTHEPIANROLOFHE1STISTRUMENT23plot=Pianorol ll（midi）24plot。plot_instruments（25program=0，26bar_start=0，27bar_end=4，28print_measure_data=True，29showw_bar_labels=False ，30showw_grid=False ，31showw=False ，第三十二章）zR上市 1：Musicaiz加载、评估和可视化示例6 https://github.com/networkx/，2023年1月7https://github.com/protocolbuffers/protobuf，2023年1月访问。·····Carlos Hernanove-Olivan和Jose R. 贝尔特兰软件X 22（2023）10136554. 影响图三. 带细分网格的钢琴滚球。由萨拉戈萨大学提供。卡洛斯·埃尔南德斯·奥利万报告了与萨拉戈萨大学的关系，其中包括：就业。软件是人工智能研究的基础之一，对科学过程至关重要。在MIR中，研究人员和工程师花费大量时间构建他们在工作中使用的处理或评估工具，有时这些工具通常不会发布。通过提供一个通用框架，不仅遵循科学计算的最佳实践，而且还遵循西方音调音乐理论原则，更容易构建新模型并重现结果，提高科学研究的质量根据所采用的软件最佳实践，musicaiz使用黑色包进行格式化，8使用pytest（测试模块）进行测试，其中存在算法的几个用例，以增加测试模块的可靠性。我们提供了一个预提交文件来遵循这些实践。 代码是模块化的，以避免在模块内重复代码。扩展可以通过使用当前的元类和方法来完成（例如，在tokenizer中继承的编码抽象类，并允许不重新定义tokenizer的公共方法因此，musicaiz是建立在诸如prettymidi和mido等成熟的高质量软件包之上的，用于处理符号音乐信息。MusicAIz是用pytest测试的，它是AIBeatz5. 结论我们为符号音乐数据提供了一个新的开源面向对象的库，它提供了使用AI生成和评估音乐的关键组件我们希望这个库将成为社区的有用工具，并将有助于构建具有（或不具有）AI方法的音乐生成系统。由于musicaiz是作为免费开源软件发布的，因此可以更新musicaiz以添加其他符号音乐格式（如MusicXML）或添加更多用于评估音乐生成的功能，如使用自相似矩阵进行结构模式检测[24，28]。除此之外，还可以通过添加未来深度学习模型可能需要的新令牌表示或实现新的或其他算法来进行进一步扩展，无论是由我们作为原始作者还是由任何其他对此感兴趣的研究人员或开发人员进行。竞合利益提交人声明，以下经济利益/个人关系可能被视为潜在的竞争利益：Carlos Hernandez Olivan报告说，8 https://github.com/psf/black，2023年1月访问。9 https://aibeatz.com/，最后访问日期为2022年7月。数据可用性文章中描述的研究未使用任何数据致谢我们感谢Zay在实现量化算法方面提供的帮助。这项研究得到了西班牙科学、创新和大学部RTI 2018 -096986-B-C31合同和西班牙阿拉贡政府AffectiveLab-T60- 20 R项目的部分支持引用[1]Martínez Ramírez MA.音频效果建模的深度学习（Ph.D. 论文），伦 敦 玛 丽女王大学; 2020年。[2]Hernana-Olivan C，Beltrán JR.音乐作曲与深度学习：一个评论。In：BiswasA，Wennekes E，Wieczorkowska A，Laskar RH，editors. 语音和音乐技术的进展：计算方面和应用。Cham：Springer International Publishing; 2023，p. 25-50[3]Briot J-P ， Hadjeres G ， Pachet F-D.音 乐 生 成 的 深 度 学 习 技 术 。 Vol. 1 ，Springer;2020.[4]作者：McKay C，Cumming J，Fujinaga I. JSYMBOLIC 2.2：从符号音乐中提取特征，用于音乐学和MIR研究。 In：Proceedingsof the 19th InternationalSociety for Music Information RetrievalConference ， ISMIR 2018 ， Paris ，France，September 23-27，2018. 2018年，第348比54[5]Cuthbert MS，Ariza C. Music21：计算机辅助音乐学和符号音乐数据的工具包。在：第11届国际音乐信息检索会议，ISMIR 2010年，乌得勒支，荷兰，2010年8月9日至13日。International Society for Music InformationRetrieval;2010，p. 637-42[6]休伦湾使用单调工具包的音乐信息处理：概念，例子和教训。计算机音乐杂志2002;26（2）：11-26.[7]Raffel C，Ellis DP.使用pretty_midi直观地分析、创建和操作数据库数据。收录于：第15届国际音乐信息检索学会会议，ISMIR最新突破和演示论文。2014年，第84比93[8]McFee B，Raffel C，Liang D，Ellis DP，McVicar M，Battenberg E，et al.Librosa：Audio and music signal analysis in python.第14届Pythonin Science会议论文集。卷2015年8月，p.18比25[9][10]张文辉，张文辉，张文辉. Muspy：一个符号音乐生成工具包。在：第21届国际音乐信息检索学会会议论文集，ISMIR 2020，加拿大蒙特利尔，2020年10月11日至16日。2020年，p.101-8[10]张文辉，张文辉. MidiTok：一个python软件包，用于文件标记化。第22届国际音乐信息检索会议ISMIR后期突破和演示论文。2021年[11]Vaswani A，Shazeer N，Parmar N，Uszkoreit J，Jones L，Gomez AN，etal. Attention is all you need. In：Guyon I，von Luxburg U，Bengio S，Wallach HM，Fergus R，Vishwanathan SVN，Garnett R，editors.进展inneuralinformationprocessingsystems30 ： annualconferenceonneuralinformation processing systems 2017 ， December 4-9 ， 2017 ， LongBeach，CA，USA. 2017年，p. 5998-6008Carlos Hernanove-Olivan和Jose R. 贝尔特兰软件X 22（2023）1013656[12] Ens J，Pasquier P. MMM：使用Transformer探索条件多轨音乐生成。2020，CoRRarXiv：2008.06048。[13]黄毅，杨毅.流行音乐Transformer：基于节拍的建模和表现力的流行钢琴作品的生成。In：Chen CW，Cucchiara R，Hua X，Qi G，Ricci E，Zhang Z，Zimmermann R，editors. MM' 2 0 ： 第 2 8 届 A C M 多 媒 体 国 际 会 议 ， 虚拟 活 动 / 美 国 华 盛 顿 州 西 雅 图 ， 2 0 2 0 年 1 0 月 1 2 日 至 1 6 日 。ACM;2020，p.1180-8[14]董宏文，萧伟英，杨耀华。Pypianoroll：用于处理多轨钢琴的开源python包。收录于：第19届国际音乐信息检索学会会议ISMIR后期突破和演示论文。2018年[15]Pearce MT，Wiggins GA.旋律中 的期望：语 境和学习的 影响。音 乐感知2006;23（5）：377-405。[16]活塞W.和谐WW Norton y Company，Inc; 1941年。[17]张文，李文.语言模型是无监督的多任务学习者。2019年。[18]Hawthorne C，Stasyuk A，Roberts A，Simon I，Huang C-ZA，DielemanS等人，使用MAESTRO数据集实现因子化钢琴音乐建模和生成。上一篇：学习表征国际会议2019年。[19]拉菲尔角用于比较序列的基于学习的方法，应用于音频到MIDI对齐和匹配（Ph.D.论文），哥伦比亚大学;2016。[20]Boulanger-Lewandowski N，Bengio Y，Vincent P.在高维序列中建模时间依赖性：应用于复调音乐生成和转录。第29届国际机器学习会议论文集，ICML2012 ， 爱 丁 堡 ， 苏 格 兰 ， 英 国 ， 2012 年 6 月 26 日 至 7 月 1 日 。 icml.ccwww.example.com/Omni Press; 2012年。[21]Paszke A ， Gross S ， Massa F ， Lerer A ， Bradbury J ， Chanan G ， et al.Pytorch：An imperative style，high-performance deep learning library.在：神经信息处理系统的进展32.柯兰联营公司; 2019年，第8024-35[22]Huang CA， Vaswani A，Uszkoreit J， Simon I， Hawthorne C，ShazeerN， et al. Music Transformer：Generating music with long-term structure.在：第七届国际会议上学习表示，ICLR 2019，新奥尔良，美国，2 0 1 9 年 5月6日至9日。2019年。[23]Roig C，Tardón LJ，Barbancho I，Barbancho AM.基于音乐风格和和声规则概率模型的自动旋律合成。基于知识的系统2014;71：419-34。[24]Foote J.使用自相似性可视化音乐和音频。 In：Buford JF，Stevens SM ，Bulterman DCA，Jeffay K，Zhang H，editors. 1999年10月30日至11月5日在美国佛罗里达州奥兰多举行的第7届ACM多媒体国际会议论 文 集 ， 第 1 部分 。ACM; 1999，p.77比80[25]Jeong D，Kwon T，Kim Y，Nam J.用于乐谱数据和表达性钢琴演奏建模的图形神经网络。上一篇：机器学习国际会议PMLR; 2019，p.3060-70[26]Hernana-Olivan C，Puyuelo JA，Beltran JR. 符号音乐创作深度学习模型的主观评价。在：关于生成AI和CHI的研讨会。2022年，arXiv：2203.14641。[27]作者：Yang L-C，Lerch A.论音乐生成模式的评价。神经计算应用2020;32（9）：4773-84.[28]放大图片作者：J.使用卷积神经网络的音乐边界检测：对组合输入特征的比较分析。Int J Interact Multimedia Artif Intell2021;7（2）：78-88.