0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

使用时空蓝色噪声纹理实时渲染一

星星科技指导员 来源:NVIDIA 作者:NVIDIA 2022-04-14 09:34 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

蓝色噪波纹理可用于提供每像素随机值以在渲染中生成噪波图案。蓝色噪声纹理比随机数生成器或散列(两者都是白噪声)产生的噪声更难看到,也更容易去除。要使用蓝色噪波纹理,请在屏幕上平铺它,使用最近邻点采样读取纹理,并将其用作随机值。

在本文中,我们将时间轴添加到蓝色噪波纹理中,为每个帧提供高质量的空间蓝色噪波,并使每个像素随时间变为蓝色。与其他蓝色噪声动画方法相比,这提供了更好的收敛性和时间稳定性。我们还将向您展示如何制作非均匀的蓝色噪波纹理,以便进行重要采样。我们将在后续文章 使用时空蓝色噪声纹理实时渲染,第 2 部分 中进行更深入的技术探讨。

虽然 other methods 结合了蓝色噪声和更好的收敛性,但它们首先关注收敛性,其次关注蓝色噪声。我们的工作首先关注蓝色噪声,其次关注收敛,这有助于在采样数最低的情况下获得更好的渲染效果,而蓝色噪声的好处最大。

蓝色噪声纹理的一个显著限制是,它们在低采样数、低维算法中效果最好。对于高采样数或路径跟踪等算法中的高维,您可能希望切换到低差异序列以消除错误,而不是试图用蓝色噪声隐藏错误。

同样值得一提的是,在 TAA 下运动的像素失去了时间上的好处,我们的噪声就如同纯粹的空间蓝色噪声。然而,在一瞬间仍然是偶数的像素获得了时间稳定性和较低的误差,当它们再次运动时,这将由 TAA 携带。在这些情况下,我们的噪声并不比空间蓝色噪声差,因此应始终使用它,以在可用的情况下获得好处,否则不会更糟。

使用随机单次散射,其中自由飞行距离随时间使用一系列蓝色噪声遮罩进行采样。传统的 2D 蓝色噪声遮罩(最左侧)很容易在空间上进行过滤,但随着时间的推移,会显示出白噪声信号,使得基础信号难以在时间上进行过滤。

我们的时空蓝色噪声( STBN )遮罩(大图像右侧)在时间维度上还表现出蓝色噪声,导致信号更容易随时间过滤。在最右边,我们展示了主图像的两种裁剪,以及它们在空间( DFT ( XY ))和时间( DFT ( ZY ))上的相应离散傅里叶变换。 Z 轴是时间。大图像中的插图(右上角和右下角)显示了地面真相。

标量

标量时空蓝色噪波纹理存储每个像素的标量值,对于需要每个像素的随机标量值的渲染算法非常有用,例如随机透明度。通过 在 3D 中运行 void 和 cluster 算法 生成这些纹理,但修改能量函数。

计算两个像素之间的能量时,仅当两个像素来自同一纹理切片(具有相同的 z 值)或在不同时间点是相同的像素(具有相同的 xy 值)时,才返回能量值;否则,它返回零。结果是 N 纹理,在空间上是完全蓝色的,但每个像素在 z 轴(时间)上也是蓝色的。在这些纹理中,( x 、 y )平面是与屏幕像素相对应的空间维度, z 轴是时间维度。在每帧 z 尺寸上前进一步。

图 2 显示了时空蓝色噪波、一组独立的 2D 蓝色噪波纹理和 3D 蓝色噪波的示例纹理以及 XY 和 XZ DFT 。只有我们的噪声在空间( XY )上是蓝色的,在时间( Z )上是蓝色的,正如你可以从中心的变暗中看到的,在那里低频会衰减。

在图 2 中, 3D 蓝色噪声的各个片段在空间和时间上都不好。只有我们的时空蓝色噪声在空间和时间上都是蓝色的。有关为什么 3D 蓝色噪波对设置蓝色噪波动画不有用的更多信息,请参见 3D 蓝色噪音问题 中 Christoph Peters 的精彩解释。

图 2 。二维蓝色噪波在空间上是蓝色的,但在时间上不是很好的采样

图 3 显示了在黑色背景上 50% 透明的纹理,使用噪波进行二元 alpha 测试(随机透明度),并使用 temporal anti-aliasing ( TAA )进行过滤。

独立的蓝色噪波纹理是对白色噪波的显著改进,它在每一帧中都有一组均匀分布的幸存像素。与白噪声相比,这种方法对于邻域采样抑制效果更好,白噪声具有残存像素的团块和空洞。时空蓝色噪波通过使每个像素在时间上均匀分布的帧上存活下来而表现得更好,从而获得更收敛、更稳定的结果。

图 3 。在 TAA 下,使用各种类型的噪声进行 50% 透明度的随机透明度测试

在图 3 中,白噪波(左)非常嘈杂,因为蓝噪波(中)中不存在团块和空洞。我们的时空蓝色噪声通过使像素不仅在空间上而且在时间上均匀地存活而做得更好。

载体

矢量时空蓝色噪波纹理存储每个像素的矢量值,对于需要每个像素的随机矢量的渲染算法非常有用,例如光线跟踪环境光遮挡。您可以通过在 3D 中从 蓝色噪声抖动采样 ( BNDS )运行算法来生成这些纹理。你在那篇论文中对能量函数做了同样的修改,就像你在 void 和 cluster 中对标量做的一样。如果它们来自同一纹理切片,或者它们在不同时间点是同一像素,则仅返回非零能量。

结果还是 N 纹理,在空间上是完全蓝色的,但每个像素在 z 轴上也是蓝色的。可以使用单位向量,这在需要方向向量的情况下很有用,也可以使用非单位向量,这在只需要 N 维随机数(如空间中的点)时很有用。

图 4 显示了向量值时空蓝色噪声的切片,以及它们在空间和时间轴上的频率分量。这表明它们在空间上是蓝色的,在时间上是蓝色的。

图 4 。 128x128x64 时空蓝色噪声纹理及其频率显示为维度 1 、 2 和 3 的单位向量和非单位向量。

图 5 显示了使用各种类型的单位 vec3 噪声的 4 个逐像素光线跟踪环境遮挡( AO )样本。如果向量朝向法线,则该向量为负值。白噪声、独立的蓝色噪声纹理和时空蓝色噪声之间的质量差异非常明显。

图 5 。使用均匀分布的光线对每像素 AO 进行四次采样。蓝色噪声比白色噪声好得多,而时空蓝色噪声比蓝色噪声好得多,因为随着时间的推移采样效果更好。

重要性抽样

BNDS 算法从一组白噪声纹理开始,并重复随机交换像素(如果交换改善了能量函数)。但是,没有理由必须将这些纹理初始化为均匀的白噪声向量。

当将它们初始化为非均匀分布时,该算法仍然可以创建蓝色噪波纹理。结果是时空蓝色噪声纹理,它也恰好有一个非均匀直方图,允许进行重要采样。由于需要每个像素的 PDF 进行重要性采样,您可以将 PDF ( x )存储在 alpha 通道中,也可以根据纹理中的值计算 PDF ,例如,如果它是余弦半球加权的,则进行点积,或者除以作为着色器常量传入的规格化值。

图 6 显示了重要性采样、向量值、时空蓝色噪声纹理。

图 6 。重要采样的时空蓝色噪声切片,其 DFT ,以及它们是重要采样的源图像。纹理的 alpha 通道将 PDF 存储为最小和最大 PDF 之间的百分比。

图 7 显示了再次跟踪 AO 的四个每像素采样光线,但使用了余弦加权半球,重要性采样单位向量。白噪波生成一个单位 vec3 ,将其添加到法线,然后进行规格化。 Blue noise 和 STBN 的纹理中存储了余弦加权半球向量,这些向量使用 TBN 基矩阵转换为切线空间。

查看旋转木马顶部的椭圆显示蓝色噪波比白色噪波效果更好。

查看右上角的窗口帧,您可以看到 STBN 在阴影中的噪波如何比独立的蓝色噪波纹理少。

图 7 。余弦加权半球形(重要性采样)每像素四个采样环境遮挡。

在图 7 中,噪声之间的差异不如均匀采样时明显,但仍然存在。蓝色噪声中的噪声比白色噪声更难看到,也更容易过滤。 STBN 中的噪声与之相同,但幅度也较低。

结论

蓝色噪波是一种在低采样数下获得外观更好的图像的好方法,就像在实时渲染中发现的那样。蓝色噪波在几乎任何每像素需要一个或多个随机值的情况下都很有用。

关于作者

Alan Wolfe 最初是一名自学成才的游戏编程爱好者,拥有超过 20 年的游戏开发经验,拥有包括《星际争霸 2 》、《风暴英雄》、《高谭市冒名顶替者》、《线骑士》和《疯狂扭曲的阴影星球》在内的多部游戏。 Alan 对蓝色噪音和其他随机渲染方法有着不健康的迷恋。

Nathan Morrical 是博士。犹他大学的学生,来自NVIDIA OpTix 团队的实习生和皮克斯的 RenderMan 集团,以及科学计算和成像研究所( SCI )的现任成员。他的研究兴趣包括高性能光线跟踪框架和计算、科学数据可视化、计算几何和实时光线跟踪。在加入 SCI 之前, Nate 在爱达荷州立大学获得了计算机科学学士学位,在那里他研究了交互式计算机图形学和计算几何。

Tomas Akenine-Moller 是NVIDIA 杰出的研究科学家,目前正在休假,他是隆德大学计算机图形学教授。托马斯与人合著 Real-Time Rendering 、 浸入线性代数 并共同编辑 射线追踪宝石 I 。

Ravi Ramamoorthi 是 Nvidia 的一名研究顾问,他是圣地亚哥加利福尼亚大学的教授,他担任 Ronald L.Graham 计算机科学系的主席,也是 UCSD 视觉计算中心的创始主任。

审核编辑:郭婷

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • 噪声
    +关注

    关注

    13

    文章

    1164

    浏览量

    49527
  • NVIDIA
    +关注

    关注

    14

    文章

    5731

    浏览量

    110323
收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    渲染与流渲染的融合之道:数字孪生应用开发工具的演进逻辑

    意识到,单纯依赖某条路线,都会在跨终端适配和实时数据融合上撞南墙。想象下:个城市的应急管理系统,领导在指挥中心大屏上需要看全局态势,流渲染
    发表于 05-28 16:12

    渲染与流渲染的融合之道:数字孪生应用开发套件的工程选型思路

    超大城市级地理信息底图的全景漫游,以及园区内几百个智能路灯的实时控制操作界面。坦白讲,当时我们尝试了两种方案:用纯Web端渲染,结果城市场景加载到半,浏览器直接崩溃;切换到服务端流渲染
    发表于 05-28 16:09

    场景适配论__数字孪生IOC与开发套件的协同:端渲染与流渲染的融合路径

    稍微大点,比如要同时展示全市的公共交通运力分布,帧率就会开始抖动,更别提还要叠加实时数据图层了。而流渲染渲染压力全部放到服务器端,客户端只接收视频流,理论上可以承载无限复杂的场景,
    发表于 05-28 15:39

    行业洞察篇__财务数字孪生的渲染选择:端渲染与流渲染的协同演进逻辑

    从来不是让领导看个炫酷的3D动画,而是支持实时的“如果……会怎样”推演。比如修改个子公司的预算,立刻看到对集团现金流的影响。这种场景下,渲染模式的选型直接决定了系统能否真正被用起来。那个项目最终不得不
    发表于 05-22 11:02

    渲染与流渲染的分化与融合:数字孪生开发套件的工程选型逻辑

    套基于端渲染的超大屏数字孪生系统,画面确实精致,管网纹理清晰到能看清阀门的螺丝。但当我们试图让值班人员在平板电脑上远程查看泵站实时水位时,整个场景卡得像幻灯片的慢动作重播。坦白讲,
    发表于 05-22 10:39

    技术选型之道|端渲染与流渲染融合:数字孪生应用落地的理性路径

    个尴尬的现实:单渲染路线就像只有把锤子,看什么都像钉子。 我曾经观摩过个项目招标,某方案声称用纯端
    发表于 05-22 10:23

    技术选型__数字孪生项目交付中端渲染与流渲染的协同策略

    架构的极限,正在被需求撕开 行业普遍共识是,随着实时数据接入、多端协同、私有化部署这些需求成为数字孪生项目的硬性门槛,单渲染技术路线的局限性已经越来越明显。我自己的体会是,端渲染在处
    发表于 05-22 10:20

    场景适配论__数字孪生IOC建设中渲染技术与智能体能力的协同逻辑

    落差”——渲染性能与业务数据融合的匹配度始终差口气。很多方案把大屏做得像电影级特效,可当用户把视线从炫酷的3D地图转向具体的能耗数据面板时,却发现图表更新滞后,甚至需要手动刷新才能看到几分钟前的实时
    发表于 05-22 10:09

    行业洞察篇__数字孪生IOC的“双引擎”时代:当端渲染遇见流渲染

    能够根据当前任务的类型、终端设备的硬件性能、甚至实时的网络条件,动态地选择最合适的渲染方式。你可以想象这样个场景:个安保人员在园区巡逻时,他手里的平板主要依靠端
    发表于 05-14 09:50

    技术选型篇__数字孪生应用开发:端渲染与流渲染融合的工程适配与演进

    那个泵站的三维模型,查看实时的振动数据和阀门状态,这时候如果还要从云端拉流,网络稍有波动仪表盘就转圈圈,体验会变得非常糟糕。所以你会发现,同个项目的不同使用场景,对渲染模式的诉求是完全矛盾的。 过去
    发表于 05-13 13:56

    配电房自适应滤波声纹传感器:智能监测的新维度

    文章由山东华科信息技术有限公司提供在配电房的日常运维中,设备运行声音的细微变化往往蕴含着潜在故障的早期信号。自适应滤波声纹传感器作为新代智能监测设备,通过动态捕捉与分析设备声纹特征,为电力系统
    的头像 发表于 11-18 09:17 617次阅读
    配电房自适应滤波<b class='flag-5'>声纹</b>传感器:智能监测的新维度

    油浸变压器声纹传感器:以声纹特征识别为核心的智能监测方案

    文章由山东华科信息技术有限公司提供在电力设备状态监测领域,油浸变压器作为电网核心设备,其运行安全直接影响电力系统稳定性。声纹传感器通过捕捉设备运行时的声纹特征,实现对变压器内部异常状态的精准识别
    的头像 发表于 11-04 09:25 865次阅读
    油浸变压器<b class='flag-5'>声纹</b>传感器:以<b class='flag-5'>声纹</b>特征识别为核心的智能监测方案

    时空壶新品W4 AI同传耳机发布,“骨声纹”技术有何神奇魔力?

    出海愈盛,跨语言沟通的需求也愈发迫切,相关技术与产品也在不断迭代升级。近日,深圳时空壶技术有限公司在德国柏林国际电子消费品展览会(IFA)上推出的W4AI同传耳机,凭借创新的“骨声纹”拾音技术,吸引
    的头像 发表于 09-12 11:02 1323次阅读
    <b class='flag-5'>时空</b>壶新品W4 AI同传耳机发布,“骨<b class='flag-5'>声纹</b>”技术有何神奇魔力?

    配电房自适应滤波声纹传感器

    了"智能耳朵",实现了从被动响应到主动预防的运维模式革新。该技术的核心在于自适应滤波与声纹识别的深度结合。传感器内置的数字信号处理器可实时分析环境噪声特征,通过LMS算法动
    的头像 发表于 08-08 09:36 1242次阅读
    配电房自适应滤波<b class='flag-5'>声纹</b>传感器

    HarmonyOS优化应用预置图片资源加载耗时问题性能优化

    、概述 在开发应用时,当开发者预置图片资源超过定数量或者大小,由于图片资源的格式需要通过CPU解压缩为纹理格式才能直接被GPU读取,这就增加了CPU的处理时间,可能会引起图片完成时
    发表于 05-29 16:11