谷歌AI模型ML-Jam激发音乐家创作,人机合作或成未来大势!

谷歌AI研究人员兼钢琴演奏者PabloCastro正在开发一款可深度生成AI模型，让音乐家与之合作即兴创作音乐，以发掘人类即兴音乐的特点，进而打破人类创造性的界限。

Castro在一支爵士乐队PSCTrio中演奏钢琴，他们在渥太华、蒙特利尔以及加拿大其他地区演出。他表示，“我们已经接受了很长时间的训练，所以可以使用音乐训练来创造性地发现更多的未知区域，这很可能会带来新的音乐表现形式。

经典的音乐是音乐家主要的收入来源，但是长此以往音乐可能会变得无聊并且一尘不变。为了突破音乐创造的界限，Castro决心开发一款可深度生成AI模型，鼓励音乐家通过即兴创作来挖掘更加独特的音乐。

GoogleBrain的Magenta项目中ML-Jam通过机器学习操纵音乐，意图展现音乐即兴创作的人格特征。ML-Jam利用了Magenta的DrumsRNN和MelodyRNN，有意将自己限制在预制模型中。

2016年6月，Google Brain就发布Magenta项目，该项目旨在让电脑合成具有冲击力、艺术性、并且充满惊喜的音乐，但到目前为止，投入产出比并不理想。2016年9月，谷歌旗下的英国人工智能公司DeepMind发布了一项实验的最终结果，该公司最初进行这项实验完全是出于兴趣。

DeepMind将钢琴曲样本放入WaveNet系统中以生成诸如演讲类的音频，虽然DeepMind并未披露该系统是如何运作合成音乐的，但该系统利用初始音频所合成的一段10秒钟的爵士乐颇为前卫。IBM也成立了一个名为“WatsonBeat”的研究项目，音乐家可以通过它来改变自己的曲风，使歌曲听起来具有中东风格或者“幽灵风”。

Castro表示：“实质上，我想要做的是保持我的旋律，因为这反映了我演奏的方式，但要用模型制作的音符取代我本身的音符，达成所谓的混合即兴创作。在自己的经历中，这通常不是我自己能想到的节奏，因为这不是一种有机地适合我的节奏。但它通常会成为我感兴趣的东西。

最近，Castro在北卡罗来纳州夏洛特举行的国际计算创新大会（ICCC）上发布了ML-Jam及其开源Python代码。

据他所作的介绍，ML-Jam 的运作从一种确定性鼓槽开始。有人演奏低音提琴，并添加其他乐器，然后将凹槽发送到 DrumsRNN，以生成一个独特的模型。然后，一个控制节奏模型的音乐家用 MelodyRNN 创作的旋律即兴创作一个音乐短语。

研究人员使用 Python 的多线程使 ML-Jam 的推理在一个单独的线程中运行，允许生成模型，然后在演出期间实时播放。由于生成一个模型可能会带来不可预测的时间，所以音乐家必须在舞台上使用他们未现场听到的声音。

Castro尝试让ML-Jam和他的爵士乐三人组一起演奏，但他们之间缺乏“化学反应”。所以，他计划将AI融入他自己的音乐中。他的下一步计划是使用ML-Jam或衍生系统为现场表演提供独特内容。

他开始研究的这件事本质上就是个人秀，只有他和......即兴创作围绕的这项技术。过程中，ML-Jam 变得更加有机，让他很感兴趣的是，它迫使他以一种非常不同于平常的方式来处理作曲。

“我必须考虑它是否适用于我所使用的系统类型。它像鼓一样使用一个循环，所以我必须有一些适合循环的东西，不会太重复，也不会很无聊，但仍然很适合这个想法……,所以每当我完成它的时候，无论从中得到什么，如果我没有对我自己施加这些限制，那么 100％与我想出的任何东西都会非常不同。”

最近，音乐制作也涌现出了其他杰出AI模型包括Magenta的钢琴精灵。上个月Flaming Lips在I / O表演舞台上使用了一个名为Fruit Genie的钢琴精灵版本。

Castro与AI的合作演奏可能会融入其他新颖的音乐模型，例如，Magenta音乐变换器可以制作钢琴旋律以及OpenAI的MuseNet，都可以激发更多即兴创作。 3月份，Google创建了一个以音乐转换器驱动的工具，它可以从一个人选择的键开始，然后生成听起来巴赫风格的音乐。

Castro表示，音乐生成模型的全部意义在于探索人机合作的空间，因此这些合成音乐体现的是合作，而不是试图采用外部构建的系统并将其放入人类创作的歌曲中。

“每首歌都探索一种不同类型的机器学习模型，它们不一定都是产生音乐的模型。我们的想法是看看如何将不同的机器学习技术整合到作曲或即兴创作中，以一种产生音乐的方式，如果你没有尝试将这些机器学习技术整合进来，就不会产生这样的音乐。”他说。

Castro将他的模型与其他模型区分开来，因为这款模型必须接受人工输入才能操作。对于Castro来说，人的目的—由人的历史和人性塑造—构成艺术的定义。

“对我来说，问题是’艺术与否？’真的归结为’目的从何而来？’”他说。“我认为目前还没有任何模式有任何目的。这是我把人放进去的原因。”

事实上，很多音乐家并不排斥AI的介入，反而把它们作为新的灵感。法国摇滚音乐家Mathieu Peudupi（常称作Lescop）说：“如果没用人工智能，我永远无法创作这些歌曲，它带领我进入了一个全新的境遇，这就像和乐队成员一起创作一样，虽然我会忽略乐队成员大部分的建议，但在这个世界上哪有听同伴建议的歌手？