Bcolz支持数据压缩的列数存储软件

Bcolz 是一款支持数据压缩的，列数存储软件。提供可压缩内存和磁盘的柱状分块数据容器。列存储允许有效地查询表，以及列添加和删除。它基于 NumPy ，并将其用作标准数据容器与 Bcolz 对象进行通信。

默认情况下，Bcolz 对象被压缩，不仅可以减少内存/磁盘存储，还可以提高 I / O 速度。压缩过程由 Blosc 在内部执行，Blosc 是针对二进制数据进行优化的高性能多线程压缩器。

Bcolz 也可以在内部使用 numexpr（默认情况下，如果它检测到 numexpr 已安装）或 dask ，以加速许多向量和查询操作。 numexpr / dask 可以优化内存使用，并使用多线程进行计算。

要求

• Python >= 2.6

• NumPy >= 1.8

• Cython >= 0.22 (仅用于编译 beast)

• C-Blosc >= 1.8.0 (可选，默认情况下将使用内部 Blosc )

• unittest2 (可选，只在运行 Python 2.6 的情况下)

可选：

• numexpr >= 2.5.2

• dask >= 0.9.0

• pandas

• tables (pytables)