0
  • 聊天消息
  • 系统消息
  • 评论与回复
登录后你可以
  • 下载海量资料
  • 学习在线课程
  • 观看技术视频
  • 写文章/发帖/加入社区
会员中心
创作中心

完善资料让更多小伙伴认识你,还能领取20积分哦,立即完善>

3天内不再提示

AMD开源Brotli-G压缩格式,可使用GPU加速Brotli压缩

OSC开源社区 来源:OSC开源社区 作者:OSC开源社区 2022-11-24 11:50 次阅读
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

AMDGPUOpen 团队公布了一个新的开源项目:Brotli-G,Brotli-G 基于 IETF 维护的完善的 Brotli 无损压缩算法标准( RFC7932),但可以使用 GPU 进一步增强 Brotli 压缩算法的性能和压缩比。

Brotli 压缩算法由 Google Research 开发,于 2013 年首次发布,开源规范于 2013 年至 2016 年间开发和推广。

Brotli 是 LZ77 压缩算法和霍夫曼编码(类似于 GZIP 和 Deflate)的组合,作为 GZIP 和 Deflate 算法的开源继承者,Brotli 具有相似的性能,但压缩比更好。

18208f78-6b2e-11ed-8abf-dac502259ad0.jpg

目前 Brotli 在 Web 应用程序和内容中被广泛采用,用于压缩 Web 应用程序资产,例如字体、javascript、图像等。

● 如今超过 95% 的网络浏览器都支持 Brotli 解压。

● 许多 Web 应用程序框架都支持 Brotli 编码(例如 NGINX 和 ASP.NET)。

● 一些 CDN 使用 Brotli 编码(例如 Azure 和 ImageKit)

Brotli-G 性能优化

Brotli-G对标准 Brotli 比特流格式的修改主要集中在:允许在 GPU 和多线程 CPU 上进行高效的数据并行解压缩,同时仍保持相对较高压缩率。主要的变化可概括为:

限制要压缩的块(页面)的大小,提供在 GPU 上使用多个计算单元 (CU) 的能力。

实施并行霍夫曼子流,提供使用 SIMD 处理的能力。

简化了比特流格式,最大限度地提高 GPU 性能。

目前 Brotli-G 解压缩算法已作为 “着色器 -shader” 程序(用微软的 HLSL高阶着色器语言编写)实现,可以在任何兼容 DirectX 的显卡上运行(但似乎不支持AMD 的 Radeon 显卡...)。在着色器中实现解压缩,可充分利用 GPU 硬件的巨大并行处理能力,以实现快速解压缩效果。

AMD 开源的是一个 Brotli-G SDK,包含用于 CPU 和 GPU 上的 CPU 压缩和解压缩的源代码。该 SDK 还包含 CLI 应用程序的源码,可用于测量 Brotli-G 编解码器的性能。

需要注意的一件事是,已经使用 Brotli 压缩的内容,无法使用 Brotli-G 解压缩器进行解压。如果要利用 Brotli-G,必须使用兼容 Brotli-G 的压缩器(也在 SDK 中提供)重新压缩该内容。

目前该 SDK 以基于 MIT 的 BCP 78 许可证(这是标准 Brotli 压缩算法的许可证)开源,可以在其 GitHub 存储库中找到:https://github.com/GPUOpen-LibrariesAndSDKs/brotli_g_sdk

审核编辑:汤梓红

声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。 举报投诉
  • amd
    amd
    +关注

    关注

    25

    文章

    5647

    浏览量

    139024
  • gpu
    gpu
    +关注

    关注

    28

    文章

    5099

    浏览量

    134461
  • 开源
    +关注

    关注

    3

    文章

    4031

    浏览量

    45568
  • 压缩算法
    +关注

    关注

    1

    文章

    22

    浏览量

    10686

原文标题:AMD开源Brotli-G压缩格式,可使用GPU加速Brotli压缩

文章出处:【微信号:OSC开源社区,微信公众号:OSC开源社区】欢迎添加关注!文章转载请注明出处。

收藏 人收藏
加入交流群
微信小助手二维码

扫码添加小助手

加入工程师交流群

    评论

    相关推荐
    热点推荐

    氢气压缩机PLC数据采集系统解决方案

    在某大型化工企业的氢气生产与压缩车间,氢气压缩机作为核心设备,承担着将低压氢气压缩至高压状态以满足后续工艺需求的关键任务。该车间配备了多台不同型号的氢气压缩机,这些
    的头像 发表于 08-15 17:15 604次阅读
    氢气<b class='flag-5'>压缩</b>机PLC数据采集系统解决方案

    上传压缩包的时候总是显示上传失败,为什么?

    上传压缩包的时候总是显示上传失败是说明原因
    发表于 07-23 08:17

    低内存场景下的高效压缩利器:FastLZ压缩库应用实践指南

    联网设备等场景的严苛需求。 FastLZ ——是一款高效且小巧的开源压缩库,主要用于实现基于LZ77算法的字节对齐数据压缩。LZ77(Lempel-Ziv 1977)是数据压缩领域的一
    的头像 发表于 07-22 15:13 209次阅读
    低内存场景下的高效<b class='flag-5'>压缩</b>利器:FastLZ<b class='flag-5'>压缩</b>库应用实践指南

    压缩机式冷水机:技术原理、应用场景与行业创新

    在半导体制造、工业温控及加工领域,压缩机式冷水机凭借其稳定的制冷性能,成为保障工艺精度与设备可靠性的核心装备。本文将从技术原理、系统构成、应用场景及行业创新趋势四方面,系统解析压缩机式冷水机的技术
    的头像 发表于 07-11 15:52 581次阅读
    <b class='flag-5'>压缩</b>机式冷水机:技术原理、应用场景与行业创新

    基于FPGA的压缩算法加速实现

    本设计中,计划实现对文件的压缩及解压,同时优化压缩中所涉及的信号处理和计算密集型功能,实现对其的加速处理。本设计的最终目标是证明在充分并行化的硬件体系结构 FPGA 上实现该算法时,可以大大提高该算
    的头像 发表于 07-10 11:09 2085次阅读
    基于FPGA的<b class='flag-5'>压缩</b>算法<b class='flag-5'>加速</b>实现

    华为联合业界伙伴主导的SRv6压缩标准RFC 9800正式发布

    部署加速阶段。 RFC9800是SRv6核心系列标准里面定义SRv6压缩方法的关键标准,该标准定义了REPLACE(即华为主导联合业界伙伴原创提出的G-SRv6技术)和NEXT两种SRv6 SID
    的头像 发表于 07-04 20:37 1088次阅读

    HarmonyOS优化应用预置图片资源加载耗时问题性能优化

    一、概述 在开发应用时,当开发者预置图片资源超过一定数量或者大小,由于图片资源的格式需要通过CPU解压缩为纹理格式才能直接被GPU读取,这就增加了CPU的处理时间,可能会引起图片完成时
    发表于 05-29 16:11

    嵌入式系统中的代码优化与压缩技术

    在当今数字化时代,嵌入式系统广泛应用于各个领域,从智能家居设备到工业控制系统,从汽车电子到可穿戴设备,它们无处不在。而在嵌入式系统开发中,代码优化与压缩技术至关重要,直接影响着系统的性能、成本
    发表于 02-26 15:00

    LZO Data Compression,高性能LZO无损数据压缩加速器介绍,FPGA&amp;ASIC

    ,URAM]5.LZO编码格式压缩率和吞吐率可调整6.压缩率和软件应用相当7.无需处理器,脱机、独立运行8.通过完全验证(Canterbury Corpus)的LZO IP 对外接口:1.标准
    发表于 01-24 23:53

    毫米波设计白皮书系列 | 优化射频压缩安装连接器的性能 中篇

    摘要/前言 接上文 毫米波设计白皮书系列 | 优化射频压缩安装连接器的性能 上篇 基于建模和测量数据,本白皮书调查了错位和针脚压缩如何影响实际设计。它还解释了如何检测和避免问题,以优化性能并完成成功
    发表于 01-22 13:54 469次阅读
    毫米波设计白皮书系列 | 优化射频<b class='flag-5'>压缩</b>安装连接器的性能 中篇

    LZO Data Compression,高性能LZO无损数据压缩加速器介绍,FPGA&amp;ASIC

    LZOAccel-C是一个无损数据压缩引擎的FPGA硬件实现,兼容LZO 2.10标准。Core接收未压缩的输入数据块,产生压缩后的数据块。输入的数据块可以被分段,并且不同数据块的分段可以交织输入
    的头像 发表于 01-13 12:41 1023次阅读
    LZO Data Compression,高性能LZO无损数据<b class='flag-5'>压缩</b><b class='flag-5'>加速</b>器介绍,FPGA&amp;ASIC

    EE-257:面向Blackfin处理器的引导压缩/解压缩算法

    电子发烧友网站提供《EE-257:面向Blackfin处理器的引导压缩/解压缩算法.pdf》资料免费下载
    发表于 01-07 13:56 0次下载
    EE-257:面向Blackfin处理器的引导<b class='flag-5'>压缩</b>/解<b class='flag-5'>压缩</b>算法

    ADS1298R将每一信号都以12位的位压缩格式进行存储并传输,会不会对ADS1298采集的数据造成大的影响?

    ADS1298R采集的数据是24位的,我现在需要按照MIT-BIH 的数据格式:将每一信号都是以12位的位压缩格式(即“212”格式)进行存储并传输的。我想问一下TI这样做会不会对A
    发表于 01-02 06:16

    《CST Studio Suite 2024 GPU加速计算指南》

    的各个方面,包括硬件支持、操作系统支持、许可证、GPU计算的启用、NVIDIA和AMD GPU的详细信息以及相关的使用指南和故障排除等内容。 1. 硬件支持 - NVIDIA GPU
    发表于 12-16 14:25

    小身材,大能量!精密空调涡旋式压缩机大显身手

    机房精密空调专用涡旋式压缩机采用先进的涡旋技术,使得气体在压缩过程中几乎无泄漏,提高了压缩效率。与传统的精密空调压缩机相比,涡旋式压缩机具有
    的头像 发表于 12-14 09:44 971次阅读
    小身材,大能量!精密空调涡旋式<b class='flag-5'>压缩</b>机大显身手