0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

Stability AI开源图像生成模型Stable Diffusion

倩倩 来源:AI前线 作者:Anthony Alford 2022-09-21 15:37 次阅读

Stability AI 对外发布了 Stable Diffusion 的预训练模型权重,这是一个文本至图像的 AI 模型。根据文本提示,Stable Diffusion 能够生成逼真的 512x512 像素的图像以描述提示中的场景。

在模型权重公开发布之前,它的代码已经发布,模型权重也有限发布给了研究社区。在最新的版本中,任何用户都可以在消费者级别的硬件下载并运行 Stable Diffusion。除了文本至图像的生成,该模型还支持图像至图像的风格转换以及图像质量提升。在发布该版本的同时,Stable AI 还发布了 beta 版本的 API 以及模型的 Web UI,名为 DreamStudio。Stable AI 这样说到:

Stable Diffusion 是一个文本至图像的模型,它能让数十亿人在几秒钟内创建出令人赞叹的艺术品。在速度和质量方面,它都有所突破,这意味着它能在消费者级别的 GPU 上运行……这能够让研究人员和……公众在各种条件下运行,使图像生成技术走向大众。我们期待围绕该模型和其他模型出现一个开放的生态系统,以探索潜在空间的边界。

Stable Diffusion 基于名为潜在扩散模型(latent diffusion models,LDMs)的图像生成技术。与其他的流行的图像合成方法不同,如生成对抗网络(generative adversarial networks,GANs)和 DALL-E 使用的自动回归技术,LDMs 通过在一个潜在表示空间中迭代“去噪”数据来生成图像,然后将表示结果解码为完整的图像。LDM 是由 Ludwig Maximilian University of Munich 的机器视觉与学习(Machine Vision and Learning)研究组开发的,并在最近的 IEEE / CVF 计算机视觉和模式识别会议(Computer Vision and Pattern Recognition Conference)上发表的一篇论文中进行了阐述。在今年早些时候,InfoQ 曾经报道过谷歌的 Imagen 模型,它是另一个基于扩散的图像生成 AI。

Stable Diffusion 模型支持多种操作。与 DALL-E 类似,它能够根据所需图像的文本描述,生成符合匹配该描述的高质量图像。它还可以根据一个简单的草图再加上所需图像的文本描述,生成一个看起来更逼真的图像。Meta AI 最近发布了名为 Make-A-Scene 的模型,具有类似的图像至图像的功能。

Stable Diffusion 的很多用户已经公开发布了生成图像的样例,Stability AI 的首席开发者 Katherine Crowson 在推特上分享了许多图像。基于 AI 的图像合成可能会对艺术家和艺术领域带来一定的影响,有些评论者对此感到不安。就在 Stable Diffusion 发布的同一周,一幅由 AI 生成的艺术品在科罗拉多州博览会的艺术比赛中获得了一等奖。Django 框架的共同创建者 Simon Williamson 认为:

我见过一种说法,认为 AI 艺术没有资格获得版权保护,因为“它必须归功于全人类”——如果基于文本生成的设计尚不足以说服公众的话,那 [图像至图像] 技术可能会打破这种平衡。

Stable AI 的创始人 Emad Mostaque 在推特上回答了一些关于该模型的问题。在回答一位试图估算训练模型所需的计算资源和成本的用户时,Mostaque 说到:

实际上,我们为这个模型使用了 256 个 A100 显卡,总共 15 万小时,所以按市场价格计算为 60 万美元。

Mostaque 给出了 Reddit 上一篇文章的链接,其中给出了如何最好地使用该模型来生成图像的技巧。

Stable Diffusion 的代码可以在 GitHub 上找到。模型的权重以及 Colab notebook 和示例 Web UI 都可以在 HuggingFace 上找到。

审核编辑 :李倩

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • AI
    AI
    +关注

    关注

    87

    文章

    26122

    浏览量

    263701
  • 模型
    +关注

    关注

    1

    文章

    2671

    浏览量

    47571
  • 图像生成
    +关注

    关注

    0

    文章

    21

    浏览量

    6864

原文标题:Stability AI 开源图像生成模型 Stable Diffusion

文章出处:【微信号:AI前线,微信公众号:AI前线】欢迎添加关注!文章转载请注明出处。

收藏 人收藏

    评论

    相关推荐

    Stability AI发布Stable Code Instruct 3B大语言模型,可编译多种编程语言

    据报道,Stability AI公司近期推出了适配程序员使用的Stable Code Instruct 3B大语言模型,此款模型的显著特点是
    的头像 发表于 03-27 10:04 39次阅读

    Stability AI推出全新Stable Video 3D模型

    近日,Stability AI 推出了全新的 Stable Video 3D 模型,该模型以其独特的功能吸引了众多关注。此
    的头像 发表于 03-22 10:30 159次阅读

    韩国科研团队发布新型AI图像生成模型KOALA,大幅优化硬件需求

    由此模型的核心在于其运用了“知识蒸馏”(knowledge distillation)技术,这使得开源图像生成工具Stable
    的头像 发表于 03-01 14:10 162次阅读

    Stability AI试图通过新的图像生成人工智能模型保持领先地位

    Stability AI的最新图像生成模型Stable Cascade承诺比其业界领先的前身
    的头像 发表于 02-19 16:03 382次阅读
    <b class='flag-5'>Stability</b> <b class='flag-5'>AI</b>试图通过新的<b class='flag-5'>图像</b><b class='flag-5'>生成</b>人工智能<b class='flag-5'>模型</b>保持领先地位

    Stability AI推出Stable audio的文本到音频生成人工智能平台

    图像平台Stable diffusionAI模型相同,但使用音频而非图像进行训练。用户可以使
    的头像 发表于 09-20 10:20 897次阅读

    Stable Diffusion的完整指南:核心基础知识、制作AI数字人视频和本地部署要求

    13400;i3 12100;i7 12700 ;i9 12900  在当今的数字时代,人工智能正在逐步改变人们的生活和工作方式。其中,Stable Diffusion作为一种深度学习技术,受到广泛关注。它能够通过对图像或视频
    的头像 发表于 09-07 14:12 1230次阅读
    <b class='flag-5'>Stable</b> <b class='flag-5'>Diffusion</b>的完整指南:核心基础知识、制作<b class='flag-5'>AI</b>数字人视频和本地部署要求

    伯克利AI实验室开源图像编辑模型InstructPix2Pix,简化生成图像编辑并提供一致结果

    之前的 AI 图像编辑能力通常是进行风格转换,流行的文本到图像生成模型(如 DALL-E 和 Stabl
    的头像 发表于 08-28 15:45 428次阅读
    伯克利<b class='flag-5'>AI</b>实验室<b class='flag-5'>开源</b><b class='flag-5'>图像</b>编辑<b class='flag-5'>模型</b>InstructPix2Pix,简化<b class='flag-5'>生成</b><b class='flag-5'>图像</b>编辑并提供一致结果

    树莓派能跑Stable Diffusion了?

    Stable Diffusion是一种文本到图像生成的大型深度学习模型,它可以根据文本的描述生成
    的头像 发表于 07-26 11:46 1062次阅读

    AI+机器人”或中道崩阻?估值百亿的独角兽被爆丑闻!

    据知情人士透露,Stable Diffusion的前身是一群德国学者创建的一个名为Latent Diffusion开源图像
    的头像 发表于 06-14 16:13 659次阅读

    iPhone两秒出图,目前已知的最快移动端Stable Diffusion模型来了

    近日,Snap 研究院推出最新高性能 Stable Diffusion 模型,通过对网络结构、训练流程、损失函数全方位进行优化,在 iPhone 14 Pro 上实现 2 秒出图(512x512
    的头像 发表于 06-12 15:25 510次阅读
    iPhone两秒出图,目前已知的最快移动端<b class='flag-5'>Stable</b> <b class='flag-5'>Diffusion</b><b class='flag-5'>模型</b>来了

    基于一种移动端高性能 Stable Diffusion 模型

      Stable Diffusion (SD)是当前最热门的文本到图像(text to image)生成扩散模型。尽管其强大的
    的头像 发表于 06-12 10:14 376次阅读
    基于一种移动端高性能 <b class='flag-5'>Stable</b> <b class='flag-5'>Diffusion</b> <b class='flag-5'>模型</b>

    优化 Stable Diffusion 在 GKE 上的启动体验

    Diffusion 等应运而生。Stable Diffusion 是一个文字生成图像Diffusi
    的头像 发表于 06-03 08:35 539次阅读

    3 个令人惊艳的ChatGPT项目,开源了!

    此外,Stable Diffusion 母公司 Stability AI 也在 GitHub 开源了一款
    的头像 发表于 05-24 16:16 1420次阅读
    3 个令人惊艳的ChatGPT项目,<b class='flag-5'>开源</b>了!

    使用OpenVINO™在算力魔方上加速stable diffusion模型

    Stable Diffusionstability.ai 开源AI 图像
    的头像 发表于 05-12 09:10 862次阅读
    使用OpenVINO™在算力魔方上加速<b class='flag-5'>stable</b> <b class='flag-5'>diffusion</b><b class='flag-5'>模型</b>

    一文读懂Stable Diffusion教程,搭载高性能PC集群,实现生成AI应用

    PC Farm、生成AIStable Diffusion模型都是非常有用的工具和技术,可以帮助用户快速构建和管理计算机集群,
    的头像 发表于 05-01 07:47 1855次阅读
    一文读懂<b class='flag-5'>Stable</b> <b class='flag-5'>Diffusion</b>教程,搭载高性能PC集群,实现<b class='flag-5'>生成</b>式<b class='flag-5'>AI</b>应用