AWS压缩算法从gzip切换到zstd,节约30%存储空间
公众号程序猿DD
共 1201字,需浏览 3分钟
·
2022-08-26 15:00
出品 | OSC开源社区(ID:oschina2013)
亚马逊前副总裁 Adrian cockcroft 在推特上爆料,称 AWS 的压缩算法从 gzip 切换到 zstd 后,节省了海量内存,压缩后的 S3 存储减少了大约 30% ,节省的空间可达 EB 规模(1 EB = 1024 PB = 1024 * 1024 TB)。
有亚马逊员工对该发言进行了补充,称亚马逊改变的不是客户存储的数据的压缩方式,而是 S3 自身存储服务数据(主要是日志)的方式 —— S3 自身从 gzip 日志切换到 ztsd 日志,使得存储成本降低 30% 。
但亚马逊并没有发布变更压缩技术相关的公告,有细心的福尔摩斯网友发现了亚马逊 S3 在 2021 年 11 月末曾有过一次降价 31% 的操作,与降低的 30% 存储成本刚好可以对应上。
关于 Zstd
Zstd (Zstandard) 是由 Facebook 开源的快速无损压缩算法,主要应用于 zlib 级别的实时压缩场景,并且具有更好的压缩比。 Zstd 还可以以压缩速度为代价提供更强的压缩比,速度与压缩率的比重可通过增量进行配置。
推荐阅读
IntelliJ项目迁移到Java 17!2022.3 版本开始必须Java 17! Jenkins + Docker 一键自动化部署 SpringBoot 项目 微软出手,拯救“四分五裂”的Markdown!
你好,我是程序猿DD,10年开发老司机、阿里云MVP、腾讯云TVP、出过书创过业、国企4年互联网6年。从普通开发到架构师、再到合伙人。一路过来,给我最深的感受就是一定要不断学习并关注前沿。只要你能坚持下来,多思考、少抱怨、勤动手,就很容易实现弯道超车!所以,不要问我现在干什么是否来得及。如果你看好一个事情,一定是坚持了才能看到希望,而不是看到希望才去坚持。相信我,只要坚持下来,你一定比现在更好!如果你还没什么方向,可以先关注我,这里会经常分享一些前沿资讯,帮你积累弯道超车的资本。
评论