0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

台湾“中央研究院”开发出一款新型生成对抗网络

DPVg_AI_era 来源:未知 作者:李倩 2018-10-29 09:36 次阅读

***“中央研究院”IT创新研究中心的研究人员开发出一款新型生成对抗网络,其在生成器的输出层设计了二元神经元,研究人员希望将此用于AI作曲。

中国***的研究人员最近开发了一种新型生成对抗网络(GAN),在其生成器的输出层设计了二元神经元。该模型已经预先在arXiv上发表的论文中提出,可以直接在测试时生成二进制值预测。

目前为止,GAN在连续分布建模方面取得了显着成果。不过,要将GAN应用于离散型数据还存在很大挑战,尤其是在高维离散空间中,主要是因为由模型分布向目标数据分布的优化上存在困难。

进行这项研究的研究人员之一Hao-Wen Dong透露,“我目前正着手进行音乐生成。我认为,作曲可以被解读为一系列的决断,例如,关于乐器的选择、和弦的方法、甚至是使用的确切音符。为了实现AI作曲家的宏伟愿景,我特别感兴趣的是GAN等深层生成模型是否能够做出决定。因此,这项工作考察了我们是否可以训练设计了二元神经元的GAN,并利用标准训练算法与反向传播去做出二元决策。”

Hao-Wen Dong和他的顾问Yi-Hsuan Yang共同开发一个模型,可以在测试时直接生成二进制值预测。然后,他们使用它来生成二进制化的MNIST数字,同时比较不同类型的二元神经元、GAN目标以及网络架构的性能。

样本生成数字和预激活输出,用于由MLP实施并使用WGAN-GP目标进行训练的建议模型。来源:Dong and Yang

“简而言之,这种新型GAN(BinaryGAN)是一种采用二元神经元的GAN,在其生成器的输出层输出一个或零的神经元,”Dong说,“GAN有两个主要组成部分:生成器和判别器。生成器的目的是生成假数据样本,这些样本能够欺骗判别器将生成的样本归类为真样本。另一方面,判别器的目标是区分假样本,然后利用其提供的反馈来改进生成器。而训练之后,生成器可以用来生成新的数据样本。”

研究人员能够有效地训练BinaryGAN,以及它们的生成模型与二元神经元。他们的研究结果还表明,使用梯度估计器可能是有前景的用GAN模拟离散分布的方法。

建议模型的预激活输出的直方图以及实值模型的概率预测。这两个模型均由MLP实施,并通过WGAN-GP目标进行培训。

“通过使用梯度估计器,我们能够使用反向传播算法训练BinaryGAN,”Dong说,“此外,模型中采用的二值化导致了深度神经网络学习的中间表征存在着多种不同的特征。这也强调了在训练中包含二值化操作的重要性,因此这些二值化操作也能进行优化。”

Dong和Yang现在正寻求将采用二元神经元的GAN应用于条件计算图的实现。在这种情况下,根据网络中的二元神经元所做的决定,某些部分将被激活或失效。

MLP实施的建议模型系统图;请注意,二元神经元仅用于生成器的输出层

这很重要,因为它可以让我们建立一个更复杂的、依赖于早期网络层面决定的模型,”Dong说,“例如,我们可以建立一个AI作曲家,首先决定学习乐器和和弦,然后再相应地学习作曲。”

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • GaN
    GaN
    +关注

    关注

    19

    文章

    1744

    浏览量

    67186
  • 生成器
    +关注

    关注

    7

    文章

    300

    浏览量

    20112
  • 神经元
    +关注

    关注

    1

    文章

    283

    浏览量

    18304

原文标题:台湾学者研发新型二元神经元GAN!有望用于AI作曲

文章出处:【微信号:AI_era,微信公众号:新智元】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    中马研究院正式挂牌成立

    `  12月30日下午,中马研究院于园区正式挂牌成立,园区管委会副主任杨健豪、主任助理曹全来出席并为研究院揭牌,园区管委会经济发展局全体成员见证揭牌。  中马研究院旨在打造“立足中马、面向东盟的
    发表于 01-07 16:02

    图像生成对抗生成网络gan_GAN生成汽车图像 精选资料推荐

    图像生成对抗生成网络ganHello there! This is my story of making a GAN that would generate images of cars
    发表于 08-31 06:48

    图像生成对抗生成网络

    图像生成对抗生成网络ganby Thalles Silva 由Thalles Silva暖身 (Warm up)Let’s say there’s a very cool party going
    发表于 09-15 09:29

    谷歌开发一个轻量级的库——TFGAN 它可以让生成对抗网络更易于实验

    为了让生成对抗网络更易于实验,谷歌开发者开源了一个轻量级的库——TFGAN,它可以让GAN的训练和评估过程更容易。
    的头像 发表于 12-22 14:49 5216次阅读

    生成对抗网络模型综述

    ,开创性地提出了生成对抗网络( GAN)。生成对抗网络包含一个生成模型和一个判别模型。其中,生成
    发表于 04-03 10:48 1次下载
    <b class='flag-5'>生成对抗</b><b class='flag-5'>网络</b>模型综述

    生成对抗网络在计算机视觉领域有什么应用

    生成对抗网络(GAN, Generative Adversarial Networks)的出现是计算机视觉领域又一里程碑式的发展,它为解决各种图像预测问题提供了新型工具。以此为目的,本文通过相关文献
    发表于 12-06 15:29 22次下载
    <b class='flag-5'>生成对抗</b><b class='flag-5'>网络</b>在计算机视觉领域有什么应用

    如何使用生成对抗网络进行信息隐藏方案资料说明

    针对信息隐藏中含密栽体会留有修改痕迹,从根本上难以抵抗基于统计的隐写分析算法检测的问题,提出一种基于生成对抗网络( GAN)的信息隐藏方案。该方案首先利用生成对抗网络中的
    发表于 12-12 16:57 6次下载
    如何使用<b class='flag-5'>生成对抗</b><b class='flag-5'>网络</b>进行信息隐藏方案资料说明

    生成对抗网络之父伊恩·古德费洛正式宣布加盟苹果

    生成对抗网络之父、前谷歌大脑著名科学家 Ian Goodfellow 正式宣布加盟苹果,他将在苹果公司领导一个「机器学习特殊项目组」。
    的头像 发表于 04-08 11:10 4376次阅读

    生成对抗网络与其他生成模型之间的权衡取舍是什么?

    根据一些指标显示,关于生成对抗网络(GAN)的研究在过去两年间取得了本质的进步。
    的头像 发表于 04-29 11:01 3548次阅读

    国家电投储能技术研究中心揭牌仪式以在中央研究院举行

    2019年7月16日国家电投储能技术研究中心揭牌仪式暨分中心授牌仪式在中央研究院举行。
    的头像 发表于 07-18 17:23 5351次阅读

    新型生成对抗式分层网络表示学习算法

      针对当前链路预测算法无法有效保留网络图髙阶结构特征的问题,提岀一种生成对抗式分层网络表示学习算法。根据网络图的一阶邻近性和二阶邻近性,递归地对
    发表于 03-11 10:53 16次下载
    <b class='flag-5'>新型</b><b class='flag-5'>生成对抗</b>式分层<b class='flag-5'>网络</b>表示学习算法

    基于结构保持生成对抗网络的图像去噪

    为了去除频域光学相干断层扫描(SD-o℃T)中的散斑噪声,提出了一种结构保持生成对抗网络模型,可以无监督地从SD-o℃τ图像合成高质量的增强深部成像光学相千断层扫描(EυI-oCT图像。该模型
    发表于 06-07 14:21 3次下载

    基于像素级生成对抗网络的图像彩色化模型

    基于像素级生成对抗网络的图像彩色化模型
    发表于 06-27 11:02 4次下载

    PyTorch教程20.2之深度卷积生成对抗网络

    电子发烧友网站提供《PyTorch教程20.2之深度卷积生成对抗网络.pdf》资料免费下载
    发表于 06-05 10:21 2次下载
    PyTorch教程20.2之深度卷积<b class='flag-5'>生成对抗</b><b class='flag-5'>网络</b>

    扬州市科技局局长王友芳一行莅临扬杰中央研究院调研指导!

    12月20日上午,扬州市科技局局长王友芳、副局长卞加林、办公室主任张志军一行莅临扬杰中央研究院, 就企业申报、研发投入等工作进行专题调研。 扬杰科技董事长梁勤、研发中心总监周理明等热情接待
    的头像 发表于 12-20 20:55 1404次阅读
    扬州市科技局局长王友芳一行莅临扬杰<b class='flag-5'>中央研究院</b>调研指导!