ClickHouse | MergeTree引擎之数据分区
前言
前面通过 一文了解ClickHouse 介绍过ClickHouse，特性，结构，使用场景。自己并未完全深入学习clickhouse，因为公司打算小范围使用ClickHouse，所以有必要深入学习之。本文了解 Clickhouse 的分区感念 和 分区合并规则。
MergeTree数据分区规则
创建按照月份为分区条件的表 tab_partition
CREATE TABLE tab_partition(`dt` Date, `v` UInt8)
ENGINE = MergeTree PARTITION BY toYYYYMM(dt) ORDER BY v;
insert into tab_partition(dt,v) values ('2020-02-11',1),('2020-02-13',2);
insert into tab_partition(dt,v) values ('2020-04-11',3),('2020-04-13',4);
insert into tab_partition(dt,v) values ('2020-09-11',5),('2020-09-10',6);
insert into tab_partition(dt,v) values ('2020-10-12',7),('2020-10-09',8);
insert into tab_partition(dt,v) values ('2020-02-14',9),('2020-02-15',10);
insert into tab_partition(dt,v) values ('2020-02-11',23),('2020-02-13',45);
MergeTree 存储引擎在写入数据之后生成对应的分区文件为:
MergeTree数据分区目录命名规则 其规则为
PartitionID_MinBlockNum_MaxBlockNum_Level
比如 202002_4_4_0 其中 202002 是分区ID ，4_4 对应的是
最小的数据块编号和最大的数据块编号，最后的_0 表示目前分区合并的层级。
各部分的含义及命名规则如下：
PartitionID:该值由 insert 数据时分区键的值来决定。分区键支持使用任何一个或者多个字段组合表达式，针对取值数据类型的不同，分区ID的生成逻辑目前有四种规则:
不指定分区键:如果建表时未指定分区键，则分区ID默认使用all，所有数据都被写入all分区中
整型字段:如果分区键取值是整型字段，并且无法转换为YYYYMMDD的格式，则会按照该整型字段的字符形式输出，作为分区ID取值
日期类型：如果分区键属于日期格式，或可以转换为YYYYMMDD格式的整型，则按照YYYYMMDD格式化后的字符形式输出，作为分区ID取值
其他类型：如果使用其他类似Float、String等类型作为分区键，会通过对其插入数据的128位Hash值作为分区ID的取值
MinBlockNum 和 MaxBlockNum: BlockNum 是一个整型的自增长型编号，该编号在单张MergeTree表中从1开始全局累加，当有新的分区目录创建后，该值就加1，对新的分区目录来讲，MinBlockNum 和 MaxBlockNum 取值相同。例如上面示例数据为202002_1_1_0 202002_1_5_1，但当分区目录进行合并后，取值规则会发生变化, MinBlockNum 取同一分区所欲目录中最新的 MinBlockNum值。MaxBlockNum 取同一分区内所有目录中的最大值。
Level: 表示合并的层级。相当于某个分区被合并的次数，它不是以表全局累加，而是以分区为单位，初始创建的分区，初始值为0，相同分区ID发生合并动作时，在相应分区内累计加1。
MergeTree数据分区合并规则
随着数据的写入MergeTree 存储引擎会很多分区目录。如果分区目录数太多怎么办？
因为Clickhouse 的MergeTree 存储引擎是基于 LSM 实现的。MergeTree可以通过分区合并将属于相同分区的多个目录合并为一个新的目录(官方描述在10到15分钟内会进行合并，也可直接执行optimize语句)，已经存在的旧目录（也即system.parts表中activie为0的分区)在之后某个时刻通过后台任务删除(默认8分钟).
分区合并
我们回顾之前创建的表的分区目录
# ls
202002_1_1_0 202004_2_2_0 202009_3_3_0
202002_4_4_0 202002_5_5_0
手工触发分区合并
qabb-qa-ch00 :) optimize table tab_partition;
OPTIMIZE TABLE tab_partition
Ok.
0 rows in set. Elapsed: 0.003 sec.
qabb-qa-ch00 :) select partition,name,part_type, active from system.parts where table ='tab_partition';
┌─partition─┬─name─────────┬─part_type─┬─active─┐
│ 202002 │ 202002_1_1_0 │ Wide │ 0 │
│ 202002 │ 202002_1_5_1 │ Wide │ 1 │
│ 202002 │ 202002_4_4_0 │ Wide │ 0 │
│ 202002 │ 202002_5_5_0 │ Wide │ 0 │
│ 202004 │ 202004_2_2_0 │ Wide │ 1 │
│ 202009 │ 202009_3_3_0 │ Wide │ 1 │
└───────────┴──────────────┴───────────┴────────┘
6 rows in set. Elapsed: 0.003 sec.
其中 active 为1表示经过合并之后的最新分区，为0 则表示旧分区,查询时会自动过滤 active=0 的分区。
我们通过 分区 202002 最新的分区目录202002_1_5_1 看到合并分区新目录的命名规则如下:
PartitionID：分区ID保持不变
MinBlockNum：取同一个分区内所有目录中最小的MinBlockNum值
MaxBlockNUm：取同一个分区内所有目录中最大的MaxBlockNum值
Level：取同一个分区内最大Level值并加1
合并之后的目录结构如下:
小结
本文可以认为是《ClickHouse 原理解析与应用实践》的学习笔记 ^_^。通过案例介绍了 MergeTree的分区产生的机制，命名规则，以及合并的基本过程。有兴趣的朋友可以自己动手实践一下。
往期推荐