平安首创AVM自动变奏模型，探秘全球首部AI交响变奏曲背后硬核技术( 九 )_机器之心原创作者：思、一鸣在新中国成

如果能够利用好两个模型的优势，在预训练过程中让它们学会各自的本领，那么模型在谱曲的过程中就能把需要表达的音乐元素融合在一起。

如下所示，左右两图分别为使用 Transformer 和 VAE 构建的自动变奏模型。其中，Transformer 可以很好地编码乐谱这种序列数据，如果我们将基本段落作为源序列，再将标注的变奏段落作为目标序列，那么模型就会自动学会怎样将基本段落变换为变奏段落。

图4/4

那么，这两个模型该如何合作才能构建更合理的变奏段落呢？平安 AI 团队表示，Transformer 是一种基本变奏模型，它学习到的是基本段落与变奏段落之间的差别，但是，无法按照使用者的需求，将变奏曲中需要表达的各种特性手动地加进去。例如我们希望变奏曲变得更「欢快」一些，同时又带有一些「民族风」特色。

但是 VAE 则正好能学习到这些特征。通过调整 VAE 的隐向量，我们可以为变奏段落赋予同的风格。平安 AI 团队表示，因为整个交响曲反映了从鸦片战争到现在中华民族复兴的奋斗主题，因此不同的音乐元素还需要融合，它们需要通过 VAE 加到标准变奏曲中。