Enterprise Core

Enterprise Core 2.1.x

Enterprise Core 2.1.2

发布日期：2024 年 4 月 18 日

增加 processlist 系统表功能，用户可以通过查询系统表获得活跃的链接信息。
增加新的表函数 LOCAL 以访问部分共享存储上的文件。
将 EXPORT 命令中 data_consistence 属性的默认值调整为 Partition，这可以使得并发导入的同时做 EXPORT 操作更容易成功。
兼容部分 MySQL Connector（如 MySQL.Data for .NET）将 SELECT @``@autocommit 的返回值类型变更为 BIGINT。
修复正常 Workload Group 从 2.0 或者更早版本升级到 2.1 时没有默认创建的问题。
在 Profile 中增加已命中的物化视图信息，能够方便地定位物化视图是否命中。
增加 DNS Cache，解决 K8s 环境下域名解析较慢，从而影响查询的问题。
增加异步刷新 Catalog 中表的行数信息，避免查询抖动。

Enterprise Core 2.1.1

发布日期：2024 年 4 月 8 日

改变 Float 类型字段返回值序列化的方式，提升大数据量下 Float 返回的性能。
修复了从 2.0.x 滚动升级至 2.1.x 的过程中，部分 BE 节点升级出现 Core 的问题及使用 JDBC Catalog 会出现 Query 报错的问题。
支持 IP 透传的协议，以方便在 FE 之前启用代理的同时还能获取客户端准确的 IP 地址，实现白名单权限控制。
增加系统表 backend_active_tasks ，以实时监测每个 BE 上活跃任务以及消耗的资源信息。
CCR 支持倒排索引。
Arrow 序列化方式增加对 Variant 类型的支持。
修复包括在 Restore 过程中 BE 有时候会 Core 在内的 20 项 bug 。

Enterprise Core 2.1.0

发布日期：2024 年 3 月 18 日

复杂 SQL 查询性能的进一步提升，在 TPC-DS 1TB 测试数据集上获得超过 100% 的性能提升，查询性能居于业界领先地位。
数据湖分析场景性能改进、相对于 Trino 和 Spark 分别有 4-6 倍的性能提升，并引入了多 SQL 方言兼容、便于用户可以从原有系统无缝切换至 Apache Doris。在面向数据科学以及其他形式的大规模数据读取场景，引入了基于 Arrow Flight 的高速读取接口，数据传输效率提升 100 倍。
在半结构化数据分析场景，引入了全新的 Variant 和 IP 数据类型，完善了一系列分析函数，面向复杂半结构化数据的存储和分析处理更加得心应手。
引入基于多表的异步物化视图以提升查询性能，支持透明改写加速、自动刷新、外表到内表的物化视图以及物化视图直查，基于这一能力物化视图也可用于数据仓库分层建模、作业调度和数据加工。
在数据存储方面，引入了自增列、自动分区、MemTable 前移以及服务端攒批的能力，提高大规模数据实时写入的效率。
在负载管理方面，进一步完善了 Workload Group 资源组的隔离能力，并增加了运行时查看 SQL 资源用量的能力，进一步提升了多负载场景下的稳定性。

Enterprise Core 2.0.x

Enterprise Core 2.0.9

发布日期：2024 年 4 月 24 日

物化视图的 key 和 value 列都允许出现谓词
物化视图支持 bitmap_union(bitmap_from_array())
增加一个 fe 配置强制集群中所有表的 replicate allocation
新优化器支持日期字面量指定时区
MATCH_PHRASE 全文检索支持 slop 参数指定搜索词之间的距离
first_value/last_value 函数增加第二个参数指定忽略 NULL 值
lead/lag function 的offset 参数可以为 0
调整物化视图匹配的顺序优先利用索引和预聚合加速查询

Enterprise Core 2.0.8

发布日期：2024 年 4 月 12 日

新优化器支持 TopN 优化中使用倒排索引
限制统计信息 STRING 长度为 1024 以控制 BE 内存消耗
修复未创建 JDBC Client 时意外关闭的情况
接受所有 Iceberg Database，不再做额外的名字检查
异步更新外表行数统计，避免同步更新带来的 Cache miss 和 Plan 不稳定
简化 Hive 外表的 isSplitable 方法，避免过多的 Hadoop metric

Enterprise Core 2.0.7

发布日期：2024 年 3 月 26 日

round 函数行为及时间精度转换行为跟 MySQL 保持一致
支持通过 Nginx, HAProxy 等代理连接的 IP 透传
通过在 information_schema 中增加 DEFAULT_ENCRYPTION 列、增加 processlist 表，提升 BI 工具的兼容性
创建 JDBC Catalog 时默认自动检测连通性
增强自动恢复提升 kafka routine load 的稳定性
倒排索引中文分词对英文默认做小写转换
repeat 函数的重复次数超过限制时报错
自动跳过 Hive 外表中的隐藏文件和目录
在某些极端情况下减少 file meta cache 避免 OOM
减少 broker load 的 jvm 内存占用
加速带排序的 INSERT INTO SELECT 比如 INSERT INTO t1 SELECT * FROM t2 ORDER BY k

Enterprise Core 2.0.6

发布日期：2024 年 3 月 14 日

自动选择物化视图时支持匹配带别名的函数
增加安全下线一个 tablet 副本的命令
外表统计信息增加行数统计缓存
统计信息收集支持 rollup
使用 protobuf 稳定序列化减少 tablet schema 缓存内存占用
提升 show column stats 的性能
统计信息收集和优化器支持 iceberg 和 paimon 的行数估计
jdbc catalog 支持读取 SQL Server 的 timestamp 类型

Enterprise Core 2.0.5

发布日期：2024 年 2 月 28 日

增加 SHOW TABLETS BELONG 语法用于获取 tablet 属于哪个 table。
InferPredicates 支持 IN，例如：a = b & a in [1, 2] -> b in [1, 2]。
利用过滤条件中的 is null 谓词，将 outer join 转换为 anti join。
支持对物化视图收集统计信息，并对统计信息收集任务优化，停止 auto analyze 后尽快停止统计收集。
SHOW PROCESSLIST 支持输出连接对应的 fe。
export 导出 csv 文件支持通过 with_bom 参数控制是否带有 Windows BOM。
Query plan 优化，包含在无统计信息时的优化和基于 rollup 的统计信息的优化。
修复 MySQL catalog 中 to_date 函数下推的问题。
优化 JDBC 客户端连接关闭的逻辑，在异常时正常取消查询。
优化 routine load 的内存占用和错误信息。

Enterprise Core 2.0.4

发布日期：2024 年 1 月 26 日

新优化器支持 datev1, datetimev1 和 decimalv2 数据类型以及 ODBC 外表，自动统计信息收集的可观测性和性能优化。
倒排索引支持 lower_case 和 ignore_above 选项以及 match_regexp 和 match_phrase_prefix 查询加速。
数据湖支持 paimon native reader 以及读取 lzo 压缩的 parquet 文件。
审计日志支持 insert into。
更加合理、精确的 precision 和 scale 的推导，满足金融场景的计算需求。
drop policy 支持 user 和 role。
改进数据冷却策略以及数据均衡、迁移等存储管控部分，节省本地硬盘存储空间。
ASCII 字符串 substr 优化及使用 date 函数时分区裁剪优化。

Enterprise Core 2.0.3

发布日期：2023 年 12 月 8 日

支持自动统计信息收集，通过收集统计信息有助于优化器了解数据分布特性，选择更优的计划以大幅提升查询效率。从2.0.3版本开始正式支持，默认为全天开启状态。
数据湖支持 JAVA UDF、JDBC、Hudi MOR 更多系统支持复杂数据类型。
CCR跨集群复制支持限速、truncate table等增强。
增加SHA、JSON更多内置函数。
倒排索引、case when、谓词下推等20多项性能提升。
分布式副本管理改进，包括跳过删除分区，colocate group ，持续写时均衡失败，冷热分层表不能均衡等。
复杂数据类型、倒排索引、物化视图、导入和compaction、数据湖兼容性、SQL规划等稳定性提升。

Enterprise Core 2.0.2

发布日期：2023 年 10 月 8 日

易用性提升，包括优化优先级网络匹配逻辑、行级别支持角色授权等。
新优化器 Nereids 统计数据收集改进，包括运行分析任务时取消文件缓存、支持基本的 jdbc 外部表统计信息收集等。
倒排索引查询性能优化及增强，包括增加 bkd 索引提升新能、优化多词连接查询等。
数据湖 multi-catalog 更友好支持多类型数据源，包括jdbc、hdfs、hive、mysql、maxcompute等。
数组函数优化，array_union 支持多参数。

Enterprise Core 2.0.1

发布日期：2023 年 9 月 10 日

完善了 array 和 map 复杂数据类型的功能和稳定性，包括内表复杂类型嵌套、外表嵌套 orc/parquet 等。
倒排索引查询性能提升，包括分词、数值处理、谓词下推等。
查询性能提升，包括 bitmap, like, scan, 聚合函数等。
跨集群复制 CCR 功能和稳定性完善。
查询优化器统计信息收集更加快速和准确，提升自动查询优化效果。
数据湖 multi-catalog 功能和性能增强，包括 iceberg 性能优化、复杂数据类型等。

Enterprise Core 1.2.x

Enterprise Core 1.2.8

发布日期：2023 年 9 月 5 日

修复若干 decimal 相关的问题。
修复 show tables 无法显示拥有 select 权限的表。
修复副本调度相关的问题。
修复若干查询规划问题。
修复某些情况下，BE 进程文件句柄泄漏的问题。
修复某些情况下，建表超时的问题。
修复读取 ORC 格式文件错误的问题。
修复 Broker 关闭 FileSystem 导致读取错误的问题。
优化 Auto Bucket 的副本大小计算逻辑。
修复某些情况下，Spark Load 空指针异常问题。

Apache Doris 文档 Enterprise Manager