平安首创AVM自动变奏模型，探秘全球首部AI交响变奏曲背后硬核技术( 八 )_机器之心原创作者：思、一鸣在新中国成

图3/4

在生成阶段，Transformer 解码器生成的变奏曲会直接经过配器和后期处理，从而创造出真实环境下交响乐的音响效果，这个时候专家就可以对生成的乐曲进行判断，如果达到要求就可以直接输出曲谱。

上面只是简要的整体流程，其中 Transformer、DQN、专家变奏规则库等模块都起到了非常重要的作用。但是对于生成特定风格的变奏段落，预训练的 Transformer 和能加入风格特征的 VAE（变分自编码器）显得非常重要。

Transformer+VAE：AVM 的两大模块

Transformer 在 NLP 中是非常优秀的生成模型，不论是机器翻译还是知识问答，它能够利用自注意力机制都能很好地完成这些任务。而变分自编码器（VAE）在图像生成领域也大展身手，它最优秀的特点是能学习到数据中某些隐藏的特性。比如说，VAE 学习到的隐向量中，某个元素能够表达数据「欢快」的程度，而另一个元素则能够表达「民族风」的倾向程度。