当使用datameer,presto和spark等工具时,哪种压缩技术效果更好

问题描述 投票:0回答:1

我们正在努力选择更好的压缩技术。我们尝试使用bzip2,但它需要更多时间进行压缩。

gzip bzip2 snappy
1个回答
0
投票

我想你的问题没有直接的答案。什么会更好或更好取决于您的基础设施,要求和数据流。

你可以看看“Performance comparison of different file formats and storage engines in the Hadoop ecosystem”或“Hadoop Compression. Choosing compression codec.”。

从速度的角度来看,Snappy可能是一个很好的尝试。

© www.soinside.com 2019 - 2024. All rights reserved.