0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

使用时空蓝色噪声纹理实时渲染一

星星科技指导员 来源:NVIDIA 作者:NVIDIA 2022-04-14 09:34 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

蓝色噪波纹理可用于提供每像素随机值以在渲染中生成噪波图案。蓝色噪声纹理比随机数生成器或散列(两者都是白噪声)产生的噪声更难看到,也更容易去除。要使用蓝色噪波纹理,请在屏幕上平铺它,使用最近邻点采样读取纹理,并将其用作随机值。

在本文中,我们将时间轴添加到蓝色噪波纹理中,为每个帧提供高质量的空间蓝色噪波,并使每个像素随时间变为蓝色。与其他蓝色噪声动画方法相比,这提供了更好的收敛性和时间稳定性。我们还将向您展示如何制作非均匀的蓝色噪波纹理,以便进行重要采样。我们将在后续文章 使用时空蓝色噪声纹理实时渲染,第 2 部分 中进行更深入的技术探讨。

虽然 other methods 结合了蓝色噪声和更好的收敛性,但它们首先关注收敛性,其次关注蓝色噪声。我们的工作首先关注蓝色噪声,其次关注收敛,这有助于在采样数最低的情况下获得更好的渲染效果,而蓝色噪声的好处最大。

蓝色噪声纹理的一个显著限制是,它们在低采样数、低维算法中效果最好。对于高采样数或路径跟踪等算法中的高维,您可能希望切换到低差异序列以消除错误,而不是试图用蓝色噪声隐藏错误。

同样值得一提的是,在 TAA 下运动的像素失去了时间上的好处,我们的噪声就如同纯粹的空间蓝色噪声。然而,在一瞬间仍然是偶数的像素获得了时间稳定性和较低的误差,当它们再次运动时,这将由 TAA 携带。在这些情况下,我们的噪声并不比空间蓝色噪声差,因此应始终使用它,以在可用的情况下获得好处,否则不会更糟。

使用随机单次散射,其中自由飞行距离随时间使用一系列蓝色噪声遮罩进行采样。传统的 2D 蓝色噪声遮罩(最左侧)很容易在空间上进行过滤,但随着时间的推移,会显示出白噪声信号,使得基础信号难以在时间上进行过滤。

我们的时空蓝色噪声( STBN )遮罩(大图像右侧)在时间维度上还表现出蓝色噪声,导致信号更容易随时间过滤。在最右边,我们展示了主图像的两种裁剪,以及它们在空间( DFT ( XY ))和时间( DFT ( ZY ))上的相应离散傅里叶变换。 Z 轴是时间。大图像中的插图(右上角和右下角)显示了地面真相。

标量

标量时空蓝色噪波纹理存储每个像素的标量值,对于需要每个像素的随机标量值的渲染算法非常有用,例如随机透明度。通过 在 3D 中运行 void 和 cluster 算法 生成这些纹理,但修改能量函数。

计算两个像素之间的能量时,仅当两个像素来自同一纹理切片(具有相同的 z 值)或在不同时间点是相同的像素(具有相同的 xy 值)时,才返回能量值;否则,它返回零。结果是 N 纹理,在空间上是完全蓝色的,但每个像素在 z 轴(时间)上也是蓝色的。在这些纹理中,( x 、 y )平面是与屏幕像素相对应的空间维度, z 轴是时间维度。在每帧 z 尺寸上前进一步。

图 2 显示了时空蓝色噪波、一组独立的 2D 蓝色噪波纹理和 3D 蓝色噪波的示例纹理以及 XY 和 XZ DFT 。只有我们的噪声在空间( XY )上是蓝色的,在时间( Z )上是蓝色的,正如你可以从中心的变暗中看到的,在那里低频会衰减。

在图 2 中, 3D 蓝色噪声的各个片段在空间和时间上都不好。只有我们的时空蓝色噪声在空间和时间上都是蓝色的。有关为什么 3D 蓝色噪波对设置蓝色噪波动画不有用的更多信息,请参见 3D 蓝色噪音问题 中 Christoph Peters 的精彩解释。

图 2 。二维蓝色噪波在空间上是蓝色的,但在时间上不是很好的采样

图 3 显示了在黑色背景上 50% 透明的纹理,使用噪波进行二元 alpha 测试(随机透明度),并使用 temporal anti-aliasing ( TAA )进行过滤。

独立的蓝色噪波纹理是对白色噪波的显著改进,它在每一帧中都有一组均匀分布的幸存像素。与白噪声相比,这种方法对于邻域采样抑制效果更好,白噪声具有残存像素的团块和空洞。时空蓝色噪波通过使每个像素在时间上均匀分布的帧上存活下来而表现得更好,从而获得更收敛、更稳定的结果。

图 3 。在 TAA 下,使用各种类型的噪声进行 50% 透明度的随机透明度测试

在图 3 中,白噪波(左)非常嘈杂,因为蓝噪波(中)中不存在团块和空洞。我们的时空蓝色噪声通过使像素不仅在空间上而且在时间上均匀地存活而做得更好。

载体

矢量时空蓝色噪波纹理存储每个像素的矢量值,对于需要每个像素的随机矢量的渲染算法非常有用,例如光线跟踪环境光遮挡。您可以通过在 3D 中从 蓝色噪声抖动采样 ( BNDS )运行算法来生成这些纹理。你在那篇论文中对能量函数做了同样的修改,就像你在 void 和 cluster 中对标量做的一样。如果它们来自同一纹理切片,或者它们在不同时间点是同一像素,则仅返回非零能量。

结果还是 N 纹理,在空间上是完全蓝色的,但每个像素在 z 轴上也是蓝色的。可以使用单位向量,这在需要方向向量的情况下很有用,也可以使用非单位向量,这在只需要 N 维随机数(如空间中的点)时很有用。

图 4 显示了向量值时空蓝色噪声的切片,以及它们在空间和时间轴上的频率分量。这表明它们在空间上是蓝色的,在时间上是蓝色的。

图 4 。 128x128x64 时空蓝色噪声纹理及其频率显示为维度 1 、 2 和 3 的单位向量和非单位向量。

图 5 显示了使用各种类型的单位 vec3 噪声的 4 个逐像素光线跟踪环境遮挡( AO )样本。如果向量朝向法线,则该向量为负值。白噪声、独立的蓝色噪声纹理和时空蓝色噪声之间的质量差异非常明显。

图 5 。使用均匀分布的光线对每像素 AO 进行四次采样。蓝色噪声比白色噪声好得多,而时空蓝色噪声比蓝色噪声好得多,因为随着时间的推移采样效果更好。

重要性抽样

BNDS 算法从一组白噪声纹理开始,并重复随机交换像素(如果交换改善了能量函数)。但是,没有理由必须将这些纹理初始化为均匀的白噪声向量。

当将它们初始化为非均匀分布时,该算法仍然可以创建蓝色噪波纹理。结果是时空蓝色噪声纹理,它也恰好有一个非均匀直方图,允许进行重要采样。由于需要每个像素的 PDF 进行重要性采样,您可以将 PDF ( x )存储在 alpha 通道中,也可以根据纹理中的值计算 PDF ,例如,如果它是余弦半球加权的,则进行点积,或者除以作为着色器常量传入的规格化值。

图 6 显示了重要性采样、向量值、时空蓝色噪声纹理。

图 6 。重要采样的时空蓝色噪声切片,其 DFT ,以及它们是重要采样的源图像。纹理的 alpha 通道将 PDF 存储为最小和最大 PDF 之间的百分比。

图 7 显示了再次跟踪 AO 的四个每像素采样光线,但使用了余弦加权半球,重要性采样单位向量。白噪波生成一个单位 vec3 ,将其添加到法线,然后进行规格化。 Blue noise 和 STBN 的纹理中存储了余弦加权半球向量,这些向量使用 TBN 基矩阵转换为切线空间。

查看旋转木马顶部的椭圆显示蓝色噪波比白色噪波效果更好。

查看右上角的窗口帧,您可以看到 STBN 在阴影中的噪波如何比独立的蓝色噪波纹理少。

图 7 。余弦加权半球形(重要性采样)每像素四个采样环境遮挡。

在图 7 中,噪声之间的差异不如均匀采样时明显,但仍然存在。蓝色噪声中的噪声比白色噪声更难看到,也更容易过滤。 STBN 中的噪声与之相同,但幅度也较低。

结论

蓝色噪波是一种在低采样数下获得外观更好的图像的好方法,就像在实时渲染中发现的那样。蓝色噪波在几乎任何每像素需要一个或多个随机值的情况下都很有用。

关于作者

Alan Wolfe 最初是一名自学成才的游戏编程爱好者,拥有超过 20 年的游戏开发经验,拥有包括《星际争霸 2 》、《风暴英雄》、《高谭市冒名顶替者》、《线骑士》和《疯狂扭曲的阴影星球》在内的多部游戏。 Alan 对蓝色噪音和其他随机渲染方法有着不健康的迷恋。

Nathan Morrical 是博士。犹他大学的学生,来自NVIDIA OpTix 团队的实习生和皮克斯的 RenderMan 集团,以及科学计算和成像研究所( SCI )的现任成员。他的研究兴趣包括高性能光线跟踪框架和计算、科学数据可视化、计算几何和实时光线跟踪。在加入 SCI 之前, Nate 在爱达荷州立大学获得了计算机科学学士学位,在那里他研究了交互式计算机图形学和计算几何。

Tomas Akenine-Moller 是NVIDIA 杰出的研究科学家,目前正在休假,他是隆德大学计算机图形学教授。托马斯与人合著 Real-Time Rendering 、 浸入线性代数 并共同编辑 射线追踪宝石 I 。

Ravi Ramamoorthi 是 Nvidia 的一名研究顾问,他是圣地亚哥加利福尼亚大学的教授,他担任 Ronald L.Graham 计算机科学系的主席,也是 UCSD 视觉计算中心的创始主任。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 噪声
    +关注

    关注

    13

    文章

    1154

    浏览量

    48899
  • NVIDIA
    +关注

    关注

    14

    文章

    5496

    浏览量

    109091
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    配电房自适应滤波声纹传感器:智能监测的新维度

    文章由山东华科信息技术有限公司提供在配电房的日常运维中,设备运行声音的细微变化往往蕴含着潜在故障的早期信号。自适应滤波声纹传感器作为新代智能监测设备,通过动态捕捉与分析设备声纹特征,为电力系统
    的头像 发表于 11-18 09:17 155次阅读
    配电房自适应滤波<b class='flag-5'>声纹</b>传感器:智能监测的新维度

    油浸变压器声纹传感器:以声纹特征识别为核心的智能监测方案

    文章由山东华科信息技术有限公司提供在电力设备状态监测领域,油浸变压器作为电网核心设备,其运行安全直接影响电力系统稳定性。声纹传感器通过捕捉设备运行时的声纹特征,实现对变压器内部异常状态的精准识别
    的头像 发表于 11-04 09:25 187次阅读
    油浸变压器<b class='flag-5'>声纹</b>传感器:以<b class='flag-5'>声纹</b>特征识别为核心的智能监测方案

    工业配电房滤波声纹传感器的技术解析与运维价值

    文章由山东华科信息技术有限公司提供在工业配电房设备状态监测领域,滤波声纹传感器作为新兴的声学感知技术,正逐步成为设备运维的关键工具。该技术通过捕捉设备运行中的声纹特征,结合信号滤波与模式识别算法
    的头像 发表于 10-17 09:12 185次阅读
    工业配电房滤波<b class='flag-5'>声纹</b>传感器的技术解析与运维价值

    时空壶新品W4 AI同传耳机发布,“骨声纹”技术有何神奇魔力?

    出海愈盛,跨语言沟通的需求也愈发迫切,相关技术与产品也在不断迭代升级。近日,深圳时空壶技术有限公司在德国柏林国际电子消费品展览会(IFA)上推出的W4AI同传耳机,凭借创新的“骨声纹”拾音技术,吸引
    的头像 发表于 09-12 11:02 705次阅读
    <b class='flag-5'>时空</b>壶新品W4 AI同传耳机发布,“骨<b class='flag-5'>声纹</b>”技术有何神奇魔力?

    配电房自适应滤波声纹传感器

    了"智能耳朵",实现了从被动响应到主动预防的运维模式革新。该技术的核心在于自适应滤波与声纹识别的深度结合。传感器内置的数字信号处理器可实时分析环境噪声特征,通过LMS算法动
    的头像 发表于 08-08 09:36 694次阅读
    配电房自适应滤波<b class='flag-5'>声纹</b>传感器

    通道渲染:释放渲染的全部潜能!通道渲染的作用、类型、技巧

    在3D图形创作中,渲染通道(RenderPasses)是项至关重要的技术,它通过将复杂的渲染图像拆分为多个图层,如阴影、光照、法线等,使艺术家能够在后期制作中更精准地控制和调整画面。我们常常惊叹于
    的头像 发表于 07-15 14:22 445次阅读
    通道<b class='flag-5'>渲染</b>:释放<b class='flag-5'>渲染</b>的全部潜能!通道<b class='flag-5'>渲染</b>的作用、类型、技巧

    开关柜体动态声纹特征分析系统:电力设备状态感知的“听觉维度”

    维人员提供了种非接触式、实时性的状态感知手段,为电力设备智能化运维开辟了新的技术路径。技术本质:解码设备运行的"声音密码"电力设备在正常运行时会产生特定的声纹特征,而异常状态(如机
    的头像 发表于 07-10 10:54 456次阅读
    开关柜体动态<b class='flag-5'>声纹</b>特征分析系统:电力设备状态感知的“听觉维度”

    HarmonyOS优化应用预置图片资源加载耗时问题性能优化

    、概述 在开发应用时,当开发者预置图片资源超过定数量或者大小,由于图片资源的格式需要通过CPU解压缩为纹理格式才能直接被GPU读取,这就增加了CPU的处理时间,可能会引起图片完成时
    发表于 05-29 16:11

    电网运维动态声纹特征分析系统:聆听设备“心跳”的智能守护者

    文章由山东华科信息技术有限公司提供在电网智能化转型的浪潮中,设备运维模式正经历深刻变革。传统人工巡检依赖经验判断,难以捕捉设备早期隐性故障。动态声纹特征分析系统通过解析设备运行声纹,为电网运维装上
    的头像 发表于 05-13 09:44 581次阅读
    电网运维动态<b class='flag-5'>声纹</b>特征分析系统:聆听设备“心跳”的智能守护者

    智能电力声纹监测系统:守护电网安全的“声纹卫士”

    文章由山东华科信息技术有限公司提供在科技日新月异的今天,电力系统的智能化转型已成为行业发展的必然趋势。其中,智能电力声纹监测系统作为种创新的监测技术,正逐步成为守护电网安全的重要工具。2025年
    的头像 发表于 04-23 09:32 970次阅读
    智能电力<b class='flag-5'>声纹</b>监测系统:守护电网安全的“<b class='flag-5'>声纹</b>卫士”

    CPU渲染、GPU渲染、XPU渲染详细对比:哪个渲染最快,哪个效果最好?

    动画渲染动画3D渲染技术需要应对复杂的计算任务和精细的图像处理,作为渲染技术人员,选择合适的渲染模式,会直接影响制作效率和成品质量。在主流的渲染
    的头像 发表于 04-15 09:28 1204次阅读
    CPU<b class='flag-5'>渲染</b>、GPU<b class='flag-5'>渲染</b>、XPU<b class='flag-5'>渲染</b>详细对比:哪个<b class='flag-5'>渲染</b>最快,哪个效果最好?

    2D图形渲染缓慢怎么加快?

    我有个图形应用程序,它似乎渲染屏幕的速度很慢。按下屏幕后,通常需要相当长的时间来更新,大约 50 或 100 毫秒。 在应用程序启动时,我看到条错误消息“GDK 无法创建 GL 上下文,回退
    发表于 04-02 06:46

    京朗仕特工业声纹检测设备支持定向拾音

    我们人可以通过六感感知周围环境变化,用来判断当前的情况是不是有危险因素的存在,但有些声音是用人耳无法直接听到的,如工业上的声纹,涉及到高频声音等需要借助仪器,京朗仕特工业声纹检测
    的头像 发表于 03-05 14:43 667次阅读
    京朗仕特工业<b class='flag-5'>声纹</b>检测设备支持定向拾音

    GPU渲染才是大势所趋?CPU渲染与GPU渲染的现状与未来

    在3D建模和渲染领域,随着技术的发展,CPU渲染和GPU渲染这两种方法逐渐呈现出各自独特的优势,并且在不同的应用场景中各有侧重。尽管当前我们处在个CPU
    的头像 发表于 02-06 11:04 1234次阅读
    GPU<b class='flag-5'>渲染</b>才是大势所趋?CPU<b class='flag-5'>渲染</b>与GPU<b class='flag-5'>渲染</b>的现状与未来

    维智科技提供时空数据治理服务

    城市作为个最具价值的超大综合体,在推进全域数字化转型的过程中,会产生大量的时空数据。
    的头像 发表于 01-14 09:25 614次阅读