平安首创AVM自动变奏模型,探秘全球首部AI交响变奏曲背后硬核技术( 二 )

声声闻来皆辛苦,AI 谱曲不寻常

能够谱写出波澜壮阔的交响变奏曲,需要的不仅仅是模型与数据的交汇。在 AI 生成《我和我的祖国》交响变奏曲的过程,团队遇到了很多不同的挑战,随之而来的则是诸多技术领域的创新和突破。据悉,这是全球领域首次尝试借助 AI 谱写交响变奏曲。尽管在这一阶段,很多问题都需要用专家规则判断和约束,但通过 AI 与专家知识的结合,使得「AI+音乐」能在教育、配乐等更广泛的实现不同形式的探索和尝试。

两个世界第一

利用 AVM 架构模型生成的 AI 交响曲,实现了两个世界第一:全世界第一个能够进行多旋律交响曲谱曲的 AI 以及全世界第一个可变谱曲风格的 AI。尽管过去很多研究都进行了 AI 谱曲的工作,但生成的乐曲都是单旋律的,其中没有和声、对位,也没有区分声道等音乐中的必备要素。这样的生成结果仅仅只是音符的组合,和实际生活中我们听到的真实歌曲还差了很远。

背后原因在于,目前大部分算法模型并没有完整地输入乐曲的全部信息,而仅仅只是单个音符的序列。研究院在生成乐曲的过程中,采用了多种类别标签的音乐数据,使 AI 同时学习到了曲子的节奏、和声、对位、调式等八种类别的音乐信息,并根据这些信息进行谱曲工作。

推荐阅读