平安首创AVM自动变奏模型，探秘全球首部AI交响变奏曲背后硬核技术( 七 )_机器之心原创作者：思、一鸣在新中国成

在模型的学习过程中，模型会对音乐作品进行多维度的特征学习，它会融合不同的音乐元素，从而衍生出各段落的音乐主题与对位形式，这就是一种自动变奏技术。评价模型其实后面还会对生成的变奏曲进行评估，从而选择最佳的音乐片段。

自动变奏模型

平安 AI 团队表示，他们对变奏的不同需求使用了不同模型。首先，平安 AI 团队基于 Transformer 架构构建了一种基本变奏模型，然后基于 VAE 架构开发出风格迁移模型，这其中还包括对位算法及节奏量化算法等等。

如下图所示，团队会在生成变奏曲之前预训练 Transformer 编解码器，将长序列音乐主题进行降维表征，让他学会主题的音乐特征。如果将预训练 Transformer 的编码器与解码器分离来看，编码器能将输入信息编码为一个隐向量。这一隐向量包含了音乐主题的特征信息；而解码器则能将隐向量解码为不同的变奏曲。

训练过程中，Transformer 编码器构建的隐向量会被强化学习的 Agent 作为状态表征，用于表示不同的音乐风格与主题特性。Agent 利用 DQN 构建 Q 值函数，用于生成主题低维表征作为 action，这些低维表征之后可以通过 Transformer 解码器生成完整的变奏曲。当前阶段，模型需要通过专家变奏规则库与奖励函数来评价生成变奏曲的好坏，并将好坏程度转换为对模型的奖励反馈给 Agent。Agent 会在奖励的驱使下生成符合预期的变奏曲。