CREATE-TABLE
Description
该命令用于创建一张表。本文档主要介绍创建 Doris 自维护的表的语法
CREATE TABLE [IF NOT EXISTS] [database.]table
(
column_definition_list
[, index_definition_list]
)
[engine_type]
[keys_type]
[table_comment]
[partition_info]
distribution_desc
[rollup_list]
[properties]
[extra_properties]
column_definition_list
列定义列表:
column_definition[, column_definition]
-
column_definition
列定义:column_name column_type [KEY] [aggr_type] [NULL] [AUTO_INCREMENT(auto_inc_start_value)] [default_value] [on update current_timestamp] [column_comment]
-
column_type
列类型,支持以下类型:TINYINT(1 字节) 范围:-2^7 + 1 ~ 2^7 - 1 SMALLINT(2 字节) 范围:-2^15 + 1 ~ 2^15 - 1 INT(4 字节) 范围:-2^31 + 1 ~ 2^31 - 1 BIGINT(8 字节) 范围:-2^63 + 1 ~ 2^63 - 1 LARGEINT(16 字节) 范围:-2^127 + 1 ~ 2^127 - 1 FLOAT(4 字节) 支持科学计数法 DOUBLE(12 字节) 支持科学计数法 DECIMAL[(PRECISION, SCALE)] (16 字节) 保证精度的小数类型。默认是 DECIMAL(9, 0) PRECISION: 1 ~ 27 SCALE: 0 ~ 9 其中整数部分为 1 ~ 18 不支持科学计数法 DATE(3 字节) 范围:0000-01-01 ~ 9999-12-31 DATETIME(8 字节) 范围:0000-01-01 00:00:00 ~ 9999-12-31 23:59:59 CHAR[(length)] 定长字符串。长度范围:1 ~ 255。默认为 1 VARCHAR[(length)] 变长字符串。长度范围:1 ~ 65533。默认为 65533 HLL (1~16385 个字节) HyperLogLog 列类型,不需要指定长度和默认值。长度根据数据的聚合程度系统内控制。 必须配合 HLL_UNION 聚合类型使用。 BITMAP bitmap 列类型,不需要指定长度和默认值。表示整型的集合,元素最大支持到 2^64 - 1。 必须配合 BITMAP_UNION 聚合类型使用。
-
aggr_type
聚合类型,支持以下聚合类型:SUM:求和。适用数值类型。 MIN:求最小值。适合数值类型。 MAX:求最大值。适合数值类型。 REPLACE:替换。对于维度列相同的行,指标列会按照导入的先后顺序,后导入的替换先导入的。 REPLACE_IF_NOT_NULL:非空值替换。和 REPLACE 的区别在于对于 NULL 值,不做替换。这里要注意的是字段默认值要给 NULL,而不能是空字符串,如果是空字符串,会给你替换成空字符串。 HLL_UNION:HLL 类型的列的聚合方式,通过 HyperLogLog 算法聚合。 BITMAP_UNION:BIMTAP 类型的列的聚合方式,进行位图的并集聚合。
-
AUTO_INCREMENT(auto_inc_start_value)
是否为自增列,自增列可以用来为新插入的行生成一个唯一标识。在插入表数据时如果没有指定自增列的值,则会自动生成一个合法的值。当自增列被显示地插入 NULL 时,其值也会被替换为生成的合法值。需要注意的是,处于性能考虑,BE 会在内存中缓存部分自增列的值,所以自增列自动生成的值只能保证单调性和唯一性,无法保证严格的连续性。 一张表中至多有一个列是自增列,自增列必须是 BIGINT 类型,且必须为 NOT NULL。 Duplicate 模型表和 Unique 模型表均支持自增列。 可以通过给定
auto_inc_start_value
的方式指定自增列的起始值,如果不指定,则默认起始值为 1。 -
default_value
列默认值,当导入数据未指定该列的值时,系统将赋予该列default_value
。语法为`default default_value`。 当前 `default_value` 支持两种形式: 1. 用户指定固定值,如: ```SQL k1 INT DEFAULT '1', k2 CHAR(10) DEFAULT 'aaaa' ``` 2. 系统提供的关键字,目前支持以下关键字: ```SQL // 只用于 DATETIME 类型,导入数据缺失该值时系统将赋予当前时间 dt DATETIME DEFAULT CURRENT_TIMESTAMP // 只用于 DATE 类型,导入数据缺失该值时系统将赋予当前日期 dt DATE DEFAULT CURRENT_DATE ```
-
on update current_timestamp
是否在该行有列更新时将该列的值更新为当前时间 (`current_timestamp`)。该特性只能在开启了 Merge-on-Write 的 Unique 表上使用,开启了这个特性的列必须声明默认值,且默认值必须为`current_timestamp`。如果此处声明了时间戳的精度,则该列默认值中的时间戳精度必须与该处的时间戳精度相同。
示例:
k1 TINYINT, k2 DECIMAL(10,2) DEFAULT "10.5", k4 BIGINT NULL DEFAULT "1000" COMMENT "This is column k4", v1 VARCHAR(10) REPLACE NOT NULL, v2 BITMAP BITMAP_UNION, v3 HLL HLL_UNION, v4 INT SUM NOT NULL DEFAULT "1" COMMENT "This is column v4" dt datetime(6) default current_timestamp(6) on update current_timestamp(6)
-
index_definition_list
索引列表定义:
index_definition[, index_definition]
-
index_definition
索引定义:
INDEX index_name (col_name) [USING INVERTED] COMMENT 'xxxxxx'
示例:
INDEX idx1 (k1) USING INVERTED COMMENT "This is a inverted index1", INDEX idx2 (k2) USING INVERTED COMMENT "This is a inverted index2", ...
engine_type
表引擎类型。本文档中类型皆为 OLAP。示例:
`ENGINE=olap`
keys_type
数据模型。
key_type(col1, col2, ...)
key_type
支持以下模型:
- DUPLICATE KEY(默认):其后指定的列为排序列。
- AGGREGATE KEY:其后指定的列为维度列。
- UNIQUE KEY:其后指定的列为主键列。
:::info 备注
注:当表属性enable_duplicate_without_keys_by_default = true
时,默认创建没有排序列的 Duplicate 表。
:::
示例:
DUPLICATE KEY(col1, col2),
AGGREGATE KEY(k1, k2, k3),
UNIQUE KEY(k1, k2)
table_comment
表注释。示例:
```
COMMENT "This is my first DORIS table"
```
partition_info
分区信息,支持三种写法:
-
LESS THAN:仅定义分区上界。下界由上一个分区的上界决定。
PARTITION BY RANGE(col1[, col2, ...]) ( PARTITION partition_name1 VALUES LESS THAN MAXVALUE|("value1", "value2", ...), PARTITION partition_name2 VALUES LESS THAN MAXVALUE|("value1", "value2", ...) )
-
FIXED RANGE:定义分区的左闭右开区间。
PARTITION BY RANGE(col1[, col2, ...]) ( PARTITION partition_name1 VALUES [("k1-lower1", "k2-lower1", "k3-lower1",...), ("k1-upper1", "k2-upper1", "k3-upper1", ...)), PARTITION partition_name2 VALUES [("k1-lower1-2", "k2-lower1-2", ...), ("k1-upper1-2", MAXVALUE, )) )
-
MULTI RANGE:批量创建 RANGE 分区,定义分区的左闭右开区间,设定时间单位和步长,时间单位支持年、月、日、周和小时。
PARTITION BY RANGE(col) ( FROM ("2000-11-14") TO ("2021-11-14") INTERVAL 1 YEAR, FROM ("2021-11-14") TO ("2022-11-14") INTERVAL 1 MONTH, FROM ("2022-11-14") TO ("2023-01-03") INTERVAL 1 WEEK, FROM ("2023-01-03") TO ("2023-01-14") INTERVAL 1 DAY )
-
MULTI RANGE:批量创建数字类型的 RANGE 分区,定义分区的左闭右开区间,设定步长。
PARTITION BY RANGE(int_col) ( FROM (1) TO (100) INTERVAL 10 )
distribution_desc
定义数据分桶方式。
- Hash 分桶
语法:
DISTRIBUTED BY HASH (k1[,k2 ...]) [BUCKETS num|auto]
说明: 使用指定的 Key 列进行哈希分桶。 - Random 分桶
语法:
DISTRIBUTED BY RANDOM [BUCKETS num|auto]
说明: 使用随机数进行分桶。
rollup_list
建表的同时可以创建多个物化视图(ROLLUP)。
ROLLUP (rollup_definition[, rollup_definition, ...])
-
rollup_definition
rollup_name (col1[, col2, ...]) [DUPLICATE KEY(col1[, col2, ...])] [PROPERTIES("key" = "value")]
示例:
ROLLUP ( r1 (k1, k3, v1, v2), r2 (k1, v1) )
properties
设置表属性。目前支持以下属性:
-
replication_num
副本数。默认副本数为 3。如果 BE 节点数量小于 3,则需指定副本数小于等于 BE 节点数量。
在 0.15 版本后,该属性将自动转换成
replication_allocation
属性,如:"replication_num" = "3"
会自动转换成"replication_allocation" = "tag.location.default:3"
-
replication_allocation
根据 Tag 设置副本分布情况。该属性可以完全覆盖
replication_num
属性的功能。 -
min_load_replica_num
设定数据导入成功所需的最小副本数,默认值为 -1。当该属性小于等于 0 时,表示导入数据仍需多数派副本成功。
-
is_being_synced
用于标识此表是否是被 CCR 复制而来并且正在被 Syncer 同步,默认为
false
。如果设置为
true
:
colocate_with
,storage_policy
属性将被擦除
dynamic partition
,auto bucket
功能将会失效,即在show create table
中显示开启状态,但不会实际生效。当is_being_synced
被设置为false
时,这些功能将会恢复生效。这个属性仅供 CCR 外围模块使用,在 CCR 同步的过程中不要手动设置。
-
storage_medium/storage_cooldown_time
数据存储介质。
storage_medium
用于声明表数据的初始存储介质,而storage_cooldown_time
用于设定到期时间。示例:"storage_medium" = "SSD", "storage_cooldown_time" = "2020-11-20 00:00:00"
这个示例表示数据存放在 SSD 中,并且在 2020-11-20 00:00:00 到期后,会自动迁移到 HDD 存储上。
-
colocate_with
当需要使用 Colocation Join 功能时,使用这个参数设置 Colocation Group。
"colocate_with" = "group1"
-
bloom_filter_columns
用户指定需要添加 Bloom Filter 索引的列名称列表。各个列的 Bloom Filter 索引是独立的,并不是组合索引。
"bloom_filter_columns" = "k1, k2, k3"
-
in_memory
已弃用。只支持设置为'false'。
-
compression
Doris 表的默认压缩方式是 LZ4。1.1 版本后,支持将压缩方式指定为 ZSTD 以获得更高的压缩比。
"compression"="zstd"
-
function_column.Sequence_col
当使用 Unique Key 模型时,可以指定一个 Sequence 列,当 Key 列相同时,将按照 Sequence 列进行 REPLACE(较大值替换较小值,否则无法替换)
function_column.sequence_col
用来指定 Sequence 列到表中某一列的映射,该列可以为整型和时间类型(DATE、DATETIME),创建后不能更改该列的类型。如果设置了function_column.sequence_col
,function_column.sequence_type
将被忽略。"function_column.sequence_col" = 'column_name'
-
function_column.sequence_type
当使用 Unique Key 模型时,可以指定一个 Sequence 列,当 Key 列相同时,将按照 Sequence 列进行 REPLACE (较大值替换较小值,否则无法替换)
这里我们仅需指定顺序列的类型,支持时间类型或整型。Doris 会创建一个隐藏的顺序列。
"function_column.sequence_type" = 'Date'
-
enable_unique_key_merge_on_write
Unique 表是否使用 Merge-on-Write 实现。
该属性在 2.1 版本之前默认关闭,从 2.1 版本开始默认开启。
-
light_schema_change
是否使用 Light Schema Change 优化。
如果设置成
true
, 对于值列的加减操作,可以更快地,同步地完成。"light_schema_change" = 'true'
该功能在 2.0.0 及之后版本默认开启。
-
disable_auto_compaction
是否对这个表禁用自动 Compaction。
如果这个属性设置成
true
, 后台的自动 Compaction 进程会跳过这个表的所有 Tablet。"disable_auto_compaction" = "false"
-
enable_single_replica_compaction
是否对这个表开启单副本 compaction。
如果这个属性设置成
true
, 这个表的 tablet 的所有副本只有一个 do compaction,其他的从该副本拉取 rowset"enable_single_replica_compaction" = "false"
-
enable_duplicate_without_keys_by_default
当配置为
true
时,如果创建表的时候没有指定 Unique、Aggregate 或 Duplicate 模型,会默认创建一个没有排序列和前缀索引的 Duplicate 模型的表。"enable_duplicate_without_keys_by_default" = "false"
-
skip_write_index_on_load
是否对这个表开启数据导入时不写索引。
如果这个属性设置成
true
, 数据导入的时候不写索引(目前仅对倒排索引生效),而是在 Compaction 的时候延迟写索引。这样可以避免首次写入和 Compaction 重复写索引的 CPU 和 IO 资源消耗,提升高吞吐导入的性能。"skip_write_index_on_load" = "false"
-
compaction_policy
配置这个表的 Compaction 的合并策略,仅支持配置为 time_series 或者 size_based
time_series: 当 rowset 的磁盘体积积攒到一定大小时进行版本合并。合并后的 rowset 直接晋升到 base compaction 阶段。在时序场景持续导入的情况下有效降低 compact 的写入放大率
此策略将使用 time_series_compaction 为前缀的参数调整 Compaction 的执行
"compaction_policy" = ""
-
group_commit_interval_ms
配置这个表的 Group Commit 攒批间隔。单位为 ms,默认值为 10000ms,即 10s。
Group Commit 的下刷时机取决于
group_commit_interval_ms
以及group_commit_data_bytes
哪个先到设置的值。"group_commit_interval_ms" = "10000"
-
group_commit_data_bytes
配置这个表的 Group Commit 攒批数据大小。单位为 bytes,默认值为 134217728 bytes,即 128MB。
Group Commit 的下刷时机取决于
group_commit_interval_ms
以及group_commit_data_bytes
哪个先到设置的值。"group_commit_data_bytes" = "134217728"
-
time_series_compaction_goal_size_mbytes
Compaction 的合并策略为 time_series 时,将使用此参数来调整每次 Compaction 输入的文件的大小,输出的文件大小和输入相当
"time_series_compaction_goal_size_mbytes" = "1024"
-
time_series_compaction_file_count_threshold
compaction 的合并策略为 time_series 时,将使用此参数来调整每次 Compaction 输入的文件数量的最小值
一个 tablet 中,文件数超过该配置,就会触发 compaction
"time_series_compaction_file_count_threshold" = "2000"
-
time_series_compaction_time_threshold_seconds
Compaction 的合并策略为 time_series 时,将使用此参数来调整 Compaction 的最长时间间隔,即长时间未执行过 Compaction 时,就会触发一次 Compaction,单位为秒
"time_series_compaction_time_threshold_seconds" = "3600"
-
time_series_compaction_level_threshold
Compaction 的合并策略为
time_series
时,此参数默认为 1,当设置为 2 时用来控住对于合并过一次的段再合并一层,保证段大小达到time_series_compaction_goal_size_mbytes
,能达到段数量减少的效果。
"time_series_compaction_level_threshold" = "2"
-
enable_mow_light_delete
是否在 Unique 表 Mow 上开启 Delete 语句写 Delete predicate。若开启,会提升 Delete 语句的性能,但 Delete 后进行部分列更新可能会出现部分数据错误的情况。若关闭,会降低 Delete 语句的性能来保证正确性。
此属性的默认值为
false
。此属性只能在 Unique Merge-on-Write 表上开启。
"enable_mow_light_delete" = "true"
-
动态分区相关
动态分区相关参考数据划分-动态分区
-
file_cache_ttl_seconds
:TTL 在计算存储分离模式下的过期时间。
Example
-
创建一个明细模型的表
CREATE TABLE example_db.table_hash ( k1 TINYINT, k2 DECIMAL(10, 2) DEFAULT "10.5", k3 CHAR(10) COMMENT "string column", k4 INT NOT NULL DEFAULT "1" COMMENT "int column" ) COMMENT "my first table" DISTRIBUTED BY HASH(k1) BUCKETS 32
-
创建一个明细模型的表,分区,指定排序列,设置副本数为 1
CREATE TABLE example_db.table_hash ( k1 DATE, k2 DECIMAL(10, 2) DEFAULT "10.5", k3 CHAR(10) COMMENT "string column", k4 INT NOT NULL DEFAULT "1" COMMENT "int column" ) DUPLICATE KEY(k1, k2) COMMENT "my first table" PARTITION BY RANGE(k1) ( PARTITION p1 VALUES LESS THAN ("2020-02-01"), PARTITION p2 VALUES LESS THAN ("2020-03-01"), PARTITION p3 VALUES LESS THAN ("2020-04-01") ) DISTRIBUTED BY HASH(k1) BUCKETS 32 PROPERTIES ( "replication_num" = "1" );
-
创建一个主键唯一模型的表,设置初始存储介质和冷却时间
CREATE TABLE example_db.table_hash ( k1 BIGINT, k2 LARGEINT, v1 VARCHAR(2048), v2 SMALLINT DEFAULT "10" ) UNIQUE KEY(k1, k2) DISTRIBUTED BY HASH (k1, k2) BUCKETS 32 PROPERTIES( "storage_medium" = "SSD", "storage_cooldown_time" = "2015-06-04 00:00:00" );
-
创建一个聚合模型表,使用固定范围分区描述
CREATE TABLE table_range ( k1 DATE, k2 INT, k3 SMALLINT, v1 VARCHAR(2048) REPLACE, v2 INT SUM DEFAULT "1" ) AGGREGATE KEY(k1, k2, k3) PARTITION BY RANGE (k1, k2, k3) ( PARTITION p1 VALUES [("2014-01-01", "10", "200"), ("2014-01-01", "20", "300")), PARTITION p2 VALUES [("2014-06-01", "100", "200"), ("2014-07-01", "100", "300")) ) DISTRIBUTED BY HASH(k2) BUCKETS 32
-
创建一个包含 HLL 和 BITMAP 列类型的聚合模型表
CREATE TABLE example_db.example_table ( k1 TINYINT, k2 DECIMAL(10, 2) DEFAULT "10.5", v1 HLL HLL_UNION, v2 BITMAP BITMAP_UNION ) ENGINE=olap AGGREGATE KEY(k1, k2) DISTRIBUTED BY HASH(k1) BUCKETS 32
-
创建两张同一个 Colocation Group 自维护的表。
CREATE TABLE t1 ( id int(11) COMMENT "", value varchar(8) COMMENT "" ) DUPLICATE KEY(id) DISTRIBUTED BY HASH(id) BUCKETS 10 PROPERTIES ( "colocate_with" = "group1" ); CREATE TABLE t2 ( id int(11) COMMENT "", value1 varchar(8) COMMENT "", value2 varchar(8) COMMENT "" ) DUPLICATE KEY(`id`) DISTRIBUTED BY HASH(`id`) BUCKETS 10 PROPERTIES ( "colocate_with" = "group1" );
-
创建一个带有倒排索引以及 bloom filter 索引的表
CREATE TABLE example_db.table_hash ( k1 TINYINT, k2 DECIMAL(10, 2) DEFAULT "10.5", v1 CHAR(10) REPLACE, v2 INT SUM, INDEX k1_idx (k1) USING INVERTED COMMENT 'my first index' ) AGGREGATE KEY(k1, k2) DISTRIBUTED BY HASH(k1) BUCKETS 32 PROPERTIES ( "bloom_filter_columns" = "k2" );
-
创建一个动态分区表。
该表每天提前创建 3 天的分区,并删除 3 天前的分区。例如今天为
2020-01-08
,则会创建分区名为p20200108
,p20200109
,p20200110
,p20200111
的分区。分区范围分别为:[types: [DATE]; keys: [2020-01-08]; ‥types: [DATE]; keys: [2020-01-09]; ) [types: [DATE]; keys: [2020-01-09]; ‥types: [DATE]; keys: [2020-01-10]; ) [types: [DATE]; keys: [2020-01-10]; ‥types: [DATE]; keys: [2020-01-11]; ) [types: [DATE]; keys: [2020-01-11]; ‥types: [DATE]; keys: [2020-01-12]; )
CREATE TABLE example_db.dynamic_partition ( k1 DATE, k2 INT, k3 SMALLINT, v1 VARCHAR(2048), v2 DATETIME DEFAULT "2014-02-04 15:36:00" ) DUPLICATE KEY(k1, k2, k3) PARTITION BY RANGE (k1) () DISTRIBUTED BY HASH(k2) BUCKETS 32 PROPERTIES( "dynamic_partition.time_unit" = "DAY", "dynamic_partition.start" = "-3", "dynamic_partition.end" = "3", "dynamic_partition.prefix" = "p", "dynamic_partition.buckets" = "32" );
-
创建一个带有物化视图(ROLLUP)的表。
CREATE TABLE example_db.rolup_index_table ( event_day DATE, siteid INT DEFAULT '10', citycode SMALLINT, username VARCHAR(32) DEFAULT '', pv BIGINT SUM DEFAULT '0' ) AGGREGATE KEY(event_day, siteid, citycode, username) DISTRIBUTED BY HASH(siteid) BUCKETS 10 ROLLUP ( r1(event_day,siteid), r2(event_day,citycode), r3(event_day) ) PROPERTIES("replication_num" = "3");
-
通过
replication_allocation
属性设置表的副本。CREATE TABLE example_db.table_hash ( k1 TINYINT, k2 DECIMAL(10, 2) DEFAULT "10.5" ) DISTRIBUTED BY HASH(k1) BUCKETS 32 PROPERTIES ( "replication_allocation"="tag.location.group_a:1, tag.location.group_b:2" );
CREATE TABLE example_db.dynamic_partition ( k1 DATE, k2 INT, k3 SMALLINT, v1 VARCHAR(2048), v2 DATETIME DEFAULT "2014-02-04 15:36:00" ) PARTITION BY RANGE (k1) () DISTRIBUTED BY HASH(k2) BUCKETS 32 PROPERTIES( "dynamic_partition.time_unit" = "DAY", "dynamic_partition.start" = "-3", "dynamic_partition.end" = "3", "dynamic_partition.prefix" = "p", "dynamic_partition.buckets" = "32", "dynamic_partition.replication_allocation" = "tag.location.group_a:3" );
-
通过
storage_policy
属性设置表的冷热分层数据迁移策略CREATE TABLE IF NOT EXISTS create_table_use_created_policy ( k1 BIGINT, k2 LARGEINT, v1 VARCHAR(2048) ) UNIQUE KEY(k1) DISTRIBUTED BY HASH (k1) BUCKETS 3 PROPERTIES( "storage_policy" = "test_create_table_use_policy", "replication_num" = "1" );
注:需要先创建 S3 Resource 和 Storage Policy,表才能关联迁移策略成功
- 为表的分区添加冷热分层数据迁移策略
CREATE TABLE create_table_partion_use_created_policy ( k1 DATE, k2 INT, V1 VARCHAR(2048) REPLACE ) PARTITION BY RANGE (k1) ( PARTITION p1 VALUES LESS THAN ("2022-01-01") ("storage_policy" = "test_create_table_partition_use_policy_1" ,"replication_num"="1"), PARTITION p2 VALUES LESS THAN ("2022-02-01") ("storage_policy" = "test_create_table_partition_use_policy_2" ,"replication_num"="1") ) DISTRIBUTED BY HASH(k2) BUCKETS 1;
注:需要先创建 S3 Resource 和 Storage Policy,表才能关联迁移策略成功
- 批量创建分区
CREATE TABLE create_table_multi_partion_date ( k1 DATE, k2 INT, V1 VARCHAR(20) ) PARTITION BY RANGE (k1) ( FROM ("2000-11-14") TO ("2021-11-14") INTERVAL 1 YEAR, FROM ("2021-11-14") TO ("2022-11-14") INTERVAL 1 MONTH, FROM ("2022-11-14") TO ("2023-01-03") INTERVAL 1 WEEK, FROM ("2023-01-03") TO ("2023-01-14") INTERVAL 1 DAY, PARTITION p_20230114 VALUES [('2023-01-14'), ('2023-01-15')) ) DISTRIBUTED BY HASH(k2) BUCKETS 1 PROPERTIES( "replication_num" = "1" );
CREATE TABLE create_table_multi_partion_date_hour ( k1 DATETIME, k2 INT, V1 VARCHAR(20) ) PARTITION BY RANGE (k1) ( FROM ("2023-01-03 12") TO ("2023-01-14 22") INTERVAL 1 HOUR ) DISTRIBUTED BY HASH(k2) BUCKETS 1 PROPERTIES( "replication_num" = "1" );
CREATE TABLE create_table_multi_partion_integer ( k1 BIGINT, k2 INT, V1 VARCHAR(20) ) PARTITION BY RANGE (k1) ( FROM (1) TO (100) INTERVAL 10 ) DISTRIBUTED BY HASH(k2) BUCKETS 1 PROPERTIES( "replication_num" = "1" );
:::info 备注
注:批量创建分区可以和常规手动创建分区混用,使用时需要限制分区列只能有一个,批量创建分区实际创建默认最大数量为 4096,这个参数可以在 FE 配置项 max_multi_partition_num
调整。
:::
-
批量无排序列 Duplicate 表
CREATE TABLE example_db.table_hash ( k1 DATE, k2 DECIMAL(10, 2) DEFAULT "10.5", k3 CHAR(10) COMMENT "string column", k4 INT NOT NULL DEFAULT "1" COMMENT "int column" ) COMMENT "duplicate without keys" PARTITION BY RANGE(k1) ( PARTITION p1 VALUES LESS THAN ("2020-02-01"), PARTITION p2 VALUES LESS THAN ("2020-03-01"), PARTITION p3 VALUES LESS THAN ("2020-04-01") ) DISTRIBUTED BY HASH(k1) BUCKETS 32 PROPERTIES ( "replication_num" = "1", "enable_duplicate_without_keys_by_default" = "true" );
Keywords
CREATE, TABLE
Best Practice
分区和分桶
一个表必须指定分桶列,但可以不指定分区。关于分区和分桶的具体介绍,可参阅 数据划分 文档。
Doris 中的表可以分为分区表和无分区的表。这个属性在建表时确定,之后不可更改。即对于分区表,可以在之后的使用过程中对分区进行增删操作,而对于无分区的表,之后不能再进行增加分区等操作。
同时,分区列和分桶列在表创建之后不可更改,既不能更改分区和分桶列的类型,也不能对这些列进行任何增删操作。
所以建议在建表前,先确认使用方式来进行合理的建表。
动态分区
动态分区功能主要用于帮助用户自动的管理分区。通过设定一定的规则,Doris 系统定期增加新的分区或删除历史分区。可参阅 动态分区 文档查看更多帮助。
自动分区
自动分区功能文档参见 自动分区。
物化视图
用户可以在建表的同时创建多个物化视图(ROLLUP)。物化视图也可以在建表之后添加。写在建表语句中可以方便用户一次性创建所有物化视图。
如果在建表时创建好物化视图,则后续的所有数据导入操作都会同步生成物化视图的数据。物化视图的数量可能会影响数据导入的效率。
如果在之后的使用过程中添加物化视图,如果表中已有数据,则物化视图的创建时间取决于当前数据量大小。
关于物化视图的介绍,请参阅文档 同步物化视图。
索引
用户可以在建表的同时创建多个列的索引。索引也可以在建表之后再添加。
如果在之后的使用过程中添加索引,如果表中已有数据,则需要重写所有数据,因此索引的创建时间取决于当前数据量。