大语言模型无损压缩方面超越PNG和FLAC
Google DeepMind 和 Meta 的研究人员发表论文《Language Modeling Is Compression》，他们发现 DeepMind 的大语言模型 Chinchilla 70B 在图像和音频的无损压缩上超过了 PNG 和 FLAC。
论文提到，Chinchilla 70B 能将 ImageNet 图像数据库中的图像无损压缩到原始大小 43.4%，超过了 PNG 算法的 58.5%。
Chinchilla 能将 LibriSpeech 音频数据集中的样本无损压缩到原始大小 16.4%，超过 FLAC 算法的 30.3%。
据介绍，Chinchilla 70B 主要是训练用于处理文本，但它在压缩其它类型的数据集上的效果也表现优异，甚至优于专门的算法。
下面的例子比较了 gzip 和 Chinchilla 在示例文本上的压缩效果。可以看到，gzip 的输出没有可读性。
编辑：黄飞
声明：本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人，不代表电子发烧友网立场。文章及其配图仅供工程师学习之用，如有内容侵权或者其他违规问题，请联系本站处理。
举报投诉
-
无损压缩
+关注
关注
0文章
12浏览量
8403 -
FLAC
+关注
关注
0文章
4浏览量
8450 -
png
+关注
关注
0文章
14浏览量
4286 -
大模型
+关注
关注
2文章
1540浏览量
1135
原文标题：大模型在无损压缩方面超越PNG和FLAC
文章出处：【微信号：OSC开源社区，微信公众号：OSC开源社区】欢迎添加关注！文章转载请注明出处。
发布评论请先 登录
相关推荐
【RTC程序设计：实时音视频权威指南】音视频的编解码压缩技术
音视频所载有的信息在通过传输的时候就需要压缩编码。
其中，文本压缩是指通过使用各种算法和技术，将文本数据表示为更紧凑的形式，以减少存储空间。
霍夫曼编码是一种无损压缩算法，它可以根据字符出现
发表于 04-28 21:04
基于门控线性网络（GLN）的高压缩比无损医学图像压缩算法
实现基于门控线性网络（GLN）的高压缩比无损医学图像压缩算法，以提高医学图像存储和分发系统的效率。与“传统”的基于上下文的数据压缩算法相比，基于GLN的系统使用一组不同的上下文
全球最强大模型易主，GPT-4被超越
近日，AI领域的领军企业Anthropic宣布推出全新的Claude 3系列模型，其中包括最强版Claude 3 Opus。据该公司称，Claude 3系列在推理、数学、编码、多语言理解和视觉方面全面
OpenAI视频模型Sora的架构及应用场景
LDM 就是 Stable Diffusion 使用的模型架构。扩散模型的一大问题是计算需求大，难以拟合高分辨率图像。为了解决这一问题，实现 LDM时，会先训练一个几乎能无损压缩图像的自编码器，能把 512x512 的真实图像
发表于 02-20 15:13
•352次阅读
高性能无损数据压缩FPGA IP，LZO无损数据压缩IP
LZOAccel-C是一个无损数据压缩引擎的FPGA硬件实现，兼容LZO 2.10标准。
Core接收未压缩的输入数据块，产生压缩后的数据块。Core使用合适的头和尾封装了
大语言模型简介：基于大语言模型模型全家桶Amazon Bedrock
本文基于亚马逊云科技推出的大语言模型与生成式AI的全家桶：Bedrock对大语言模型进行介绍。大语言模型
大模型压缩首篇综述来啦
模型压缩涉及将大型资源密集型模型转化为适合在受限移动设备上存储的紧凑版本。此外，它还可以优化模型以实现更快的执行速度和最小的延迟，或在这些目标之间取得平衡。
无损质量等级视频浅压缩领域的实践与探索
感知无损强调压缩图像的质量达到无损等级。最开始时起名是轻压缩，与重压缩相对，主要强调在编解码的过程中相对较低的计算复杂度。
发表于 09-20 10:57
•459次阅读
存储新篇章：超越想象，打造全国产高通量NAS存储新未来！
SmarStorC2000是一款基于全国产化平台的企业级高通量NAS存储产品，融合文件、对象等多种存储架构和存储协议，具备自主可控、创新RAID算法、自动快照保护、在线无损压缩、一键配置等多种特性。
腾讯发布混元大语言模型
腾讯发布混元大语言模型 腾讯全球数字生态大会上腾讯正式发布了混元大语言模型，参数规模超千亿，预训练语料超2万亿tokens。 作为腾讯自研的通用大语
8K无损压缩分布式系统，开创分布式新时代！
近年来，分布式产品可谓遍地开花，很多厂商络绎不绝的在AV over IP化下足功夫，行业各类分布式产品层出不穷，当大家还以4K产品引以为傲的时候，近日讯维率先推出最新一代分布式产品：8K无损压缩
transformer模型详解：Transformer 模型的压缩方法
动机&背景 Transformer 模型在各种自然语言任务中取得了显著的成果，但内存和计算资源的瓶颈阻碍了其实用化部署。低秩近似和结构化剪枝是缓解这一瓶颈的主流方法。然而，作者通过分析发现，结构化
语言模型的发展历程 基于神经网络的语言模型解析
简单来说，语言模型能够以某种方式生成文本。它的应用十分广泛，例如，可以用语言模型进行情感分析、标记有害内容、回答问题、概述文档等等。但理论上，语言
发表于 07-14 11:45
•514次阅读
数据无损压缩
在数据存储和传输系统中，增加冗余数据可提高数据的可靠性，而消除或减少冗余数据可降低对存储容量和传输带宽的要求。本章的核心内容是介绍几种消除或减少冗余数据的数据无损压缩技术，包括统计编码、RLE编码和词典编码。
发表于 06-05 17:34
•0次下载
边缘AI的模型压缩技术
模型压缩是在计算能力和内存较低的边缘设备上部署SOTA（最先进的）深度学习模型的过程，而不会影响模型在准确性、精度、召回率等方面的性能。
工商网监
评论