v4.1
本文介绍 SelectDB 内核 4.1 版的发布记录。
说明 SelectDB Core v4.1 基于 Apache Doris v3.1 开发。
v4.1.10(2026年9月14日)
本版本包含从 Apache Doris 回合的修复和改进,以及 SelectDB 自身的增强。
新功能
- 新增自定义倒排索引规范化器(normalizer),通过
CREATE INVERTED INDEX NORMALIZER创建。规范化器会对关键字值进行转换(例如使用 ICU 大小写折叠),但不会将其切分为词元,因此精确匹配检索可忽略大小写和重音差异。 - 新增
SHOW FUNCTION STATUS和SHOW PROCEDURE STATUS语句,以兼容会发出这些语句的 MySQL 客户端和工具。
改进优化
- 含较大有界重复的
LIKE和REGEXP模式(如a{1,100})现在会回退到 RE2 引擎,避免 Hyperscan 编译缓慢且开销大。该行为由会话变量enable_hyperscan_fallback(默认true)控制。 - 提升了读取带可展开通配符的 S3 路径(如
{2025,2026}/*.parquet)的导入和表函数查询性能,在大型 bucket 上需要列举的对象大幅减少。 - 降低了导入包含超长行的 CSV 文件时的内存占用。
- 导入错误信息被截断时,现在会保留错误 URL,仍可打开完整的错误日志。
问题修复
查询
- 修复了规划器将 semi join 跨越 mark join 重排时返回错误结果的问题。如果你的查询将
IN或EXISTS子查询与其他 join 组合使用,则会受到影响。 - 修复了嵌套
array_map调用中,内层 lambda 引用外层 lambda 变量时返回错误结果的问题。 - 修复了聚合下推穿过主键-外键 join 时,因规划器构建重复的 join 节点而导致查询失败的问题。
- 修复了含 hash join 的查询和导入在 join 的 build 侧尚未启动即提前结束时,一直卡住直至
runtime_filter_wait_time_ms超时(有时长达数百秒)的问题。 - 修复了因版本过期错误(
-230)而重试的查询再次以相同错误失败的问题。 - 修复了
multi_match系列正则表达式函数导致 BE 崩溃的问题。 - 修复了当某张表无法被描述(例如在查询运行期间被删除)时,
information_schema.columns返回错误列的问题。
数据导入
- 修复了导入在关闭阶段挂起,以及在极少数情况下 tablet 在其所有 writer 关闭前就被提交的问题。如果你的导入会自动创建分区,或你执行
INSERT OVERWRITE ... PARTITION(*),则会受到影响。 - 修复了 group commit 的若干问题:prepared statement 复用执行计划时可能丢失一行数据、导入可能以 "can not get a block queue" 错误失败,以及在虚拟计算组中写入可能被路由到错误的 BE。如果你启用了 group commit,则会受到影响。
- 修复了 Stream Load 在路由和规划导入时忽略请求中指定的
compute_group的问题。现在 Stream Load、自动分区创建以及例行导入(Routine Load)的 Kafka 元数据请求均会保持在当前计算组内。 - 修复了 LZ4 压缩的 Stream Load 以 "decompress made no progress" 错误失败的问题,以及通过
http_stream表函数导入的 gzip 或 bzip2 文件在 schema 推断时被截断的问题。 - 修复了复用 label 的重试导入会中止使用相同 label 的较新事务的问题。
- 修复了导入被发送到正在下线(decommission)的 BE、导致缩容期间导入失败的问题。
- 修复了当导入计划中包含导入源之外的扫描时,导入上报的已导入行数和已过滤行数虚高的问题。
- 修复了在含生成列的表上,以部分列更新方式执行的
DELETE失败的问题。 - 修复了导入期间因并发访问导入错误日志、以及共享 writer 的生命周期长于创建它的导入而导致 BE 崩溃的问题。
存储、Compaction 与 Schema Change
- 修复了存储在含点号键下的 Variant 值在 compaction 后返回
NULL的问题。如果你的 Variant 列的键包含点号且数据由早期版本写入,则会受到影响。 - 修复了在含倒排索引的表上执行
ALTER TABLEschema change 时中止的问题。 - 修复了云端表执行
ALTER TABLEschema change 时,将已被 compaction 的过期 rowset 复制到新 tablet 的问题。如果你在表正在进行 compaction 时执行 schema change,则会受到影响。 - 修复了接收大量空导入(如频繁的、不写入任何行的导入)的表不进行 compaction 的问题。
- 修复了 cumulative compaction 因选中一组无法合并的 rowset 而在某个 tablet 上停滞的问题。
作业、元数据与访问控制
- 修复了
SHOW ALTER TABLE在 schema change 状态持久化之前就报告其已完成的问题。仅多 FE 部署会受到影响,follower 可能过早显示作业已完成。 - 修复了正在运行的导出作业及其 label 被过期作业的定期清理误删的问题。
- 修复了失败的物化视图刷新任务没有结束时间、因而无法上报其耗时的问题。
- 修复了虚拟计算组被删除时其预热(warm-up)作业未被取消的问题,以及预热作业在后续重试成功后仍保留过期错误信息的问题。
- 修复了表同时带有旧版副本数属性和副本分配属性时,副本设置变得不一致的问题。
- 修复了从 SelectDB Core 4.0 滚动升级期间,Hive 和表函数扫描失败的问题。
- 修复了拥有
admin_readonly角色的用户无法通过jobs和tasks表函数查询 insert 作业的问题。 - 修复了 HTTP SQL 接口对每条语句都要求 Admin 权限的问题。现在仅检查各语句所需的权限。
v4.1.9(2026年8月1日)
本版本包含从 Apache Doris 回合的修复和改进,以及 SelectDB 自身的增强。
新功能
- 新增
COUNT(DISTINCT)和SUM(DISTINCT)窗口函数,可在OVER窗口上计算去重计数和去重求和。 - 新增对
ARRAY列的ORDER BY和GROUP BY支持。 - 为
UPDATE和DELETE语句新增ORDER BY和LIMIT子句,单条语句即可限定并排序其修改的行。 - 新增
FORMAT函数及相关函数,用于格式化数字和数据大小。
改进优化
- 改进了 Iceberg catalog:支持读取 Iceberg v3 删除向量(deletion vectors),按字段 ID 匹配 equality delete 以在 schema 演进后继续生效,并修正了一处 ORC 谓词改写问题。
- 减少了升级和缩容期间的查询和导入失败。正在关闭的节点现在会停止接收新任务,并在退出前完成正在执行的任务。
- 到达非 master FE 的 group commit Stream Load 现在会被转发,而不再失败。
行为变更
- 云端写入路径默认不再合并小文件或省略空 rowset 元数据,即恢复 v4.1.8 之前的默认行为。
问题修复
- 修复了若干可能返回错误结果或导致查询失败的规划器和执行问题,包括:聚合为
count(*)时聚合下推穿过主键或外键 join、NOT IN和NOT EXISTS子查询中的 null-aware anti join 被误删、包含ORDER BY和LIMIT的关联标量子查询、嵌套 TOP-N 查询的合并 limit 未考虑父级 offset,以及应用 min-max 下推时MIN和MAX在CHAR列上返回错误值。 - 修复了
st_point和format_round使用常量参数调用时失败的问题。 - 修复了稀疏列 vertical compaction 将值写到错误偏移、可能破坏查询结果的问题。如果你有包含大量稀疏列的宽表正在进行 compaction,则会受到影响。
- 修复了异步物化视图刷新仍会被刷新排除列表中的表触发的问题。如果你使用了配置排除触发表的异步物化视图,则会受到影响。
- 修复了紧急导入可抢占 schema change 锁、可能中断正在执行的
ALTER TABLE的问题。如果你在 schema change 期间并发执行导入,则会受到影响。 - 修复了查询和导入被发送到正在下线的 BE、导致缩容期间失败的问题。
- 修复了 FE 在检查连接时遇到意外错误后,查询超时和空闲连接超时不再生效的问题。
- 修复了以不同凭证访问同一路径时,外部 catalog 查询复用了使用错误凭证的缓存 Hadoop 文件系统的问题。如果你查询配置了多组凭证的基于 HDFS 的外部 catalog,则会受到影响。
- 修复了
frontends()表函数的CurrentConnected列未标记当前所连接 FE 的问题。 - 修复了预热作业时间戳显示时缺少日期的问题。
- 加强了 JDBC catalog 驱动 URL 的校验,并移除了一个未使用的文件上传 HTTP API。如果你使用 JDBC catalog,则会受到影响。
v4.1.8(2026年6月24日)
本版本合入 Apache Doris v3.1.7。
新功能
- 新增 Iceberg REST catalog 和 S3 Tables catalog 的 IAM role 认证支持,可用角色而非长期有效的 access key 授予访问权限。
- 新增查看每个物化视图(MTMV)刷新任务所使用计算组的能力,便于排查计算组选择和刷新失败问题。
- 为例行导入(Routine Load)新增按作业维度的指标,涵盖已消费行数和错误行数、吞吐量、进度、消费延迟(consumer lag)和中止次数,便于定位缓慢或失败的作业。
- 为异步物化视图新增指标,涵盖刷新任务状态,以及规划期间将查询改写为使用物化视图所花费的时间。
改进优化
- 将自动分区和动态分区的默认分区数上限提高到 20000,并新增一个在表达到上限 80% 时触发的指标。
- 自动分桶表现在默认至少创建 3 个分桶(此前为 1 个),从而提升小表以及行数被低估的表的并行度。
- 降低了高并发导入和 row-store 写入时的 BE 内存占用。
- 云端写入路径现在默认会合并小文件并省略空 rowset 元数据,从而减少对象存储文件数量以及频繁小批量导入所写入的元数据。
- 例行导入现在能更及时地上报消费延迟,且 Kafka read_committed 消费者在遇到未提交事务时不再空转重试。
- 统计信息收集现在会跳过每行超过 1024 字节的字符串列,因此宽文本列不再拖慢或卡住 ANALYZE。作业仍会完成,并记录该列被跳过的原因。
- 异步缓存预热(cache warm-up)不再阻塞查询,且对同一张表重复提交的预热作业现在会被忽略。
- S3 reader 现在在遇到 SlowDown 限流响应时会快速失败而非重试,避免重试风暴进一步加重对象存储压力。
问题修复
- 修复了若干可能返回错误结果的规划器问题:运行时过滤器被下推穿过外连接、含 random() 等非确定性函数的过滤器被下推到 join 之下、预聚合状态在 join 两侧间泄漏、count(null) 被当作 count(*),以及将部分 TOP-N 查询改写为 MAX。
- 修复了 mark join 丢弃空探测行(null probe rows)的问题,该问题可能导致 NOT IN 和 NOT EXISTS 子查询返回错误结果。
- 修复了视图定义在使用聚合别名、星号(*)展开或 Variant 子字段时被错误改写的问题,该问题可能导致视图查询失败或返回错误结果。
- 修复了物化视图改写在外连接或分区补偿(partition compensation)时返回错误结果的问题,改写可能选中错误分区或未能剔除 null 行。
- 修复了 IN 谓词被简化时窄化 datetimev2 cast 丢失、可能改变查询结果的问题。
- 修复了 Variant 列在 row-store 部分列更新后内容丢失的问题,并修复了升级后读取由早期版本写入的点号 Variant 子列失败的问题。
- 修复了 Variant 值中重复 JSON 路径处理不一致的问题,现在保留首个值;并拒绝将 JSONB 和 Variant 列用作哈希分布键,而不是等到写入或查询时才失败。
- 修复了 JSONB 函数在遇到非法输入或非预期 JSONB 类型时导致 BE 崩溃的问题,包括对畸形 JSONB 值执行 json_set。
- 修复了在 light schema change 或 rowset 状态变更期间并发扫描同一 tablet 时 BE 崩溃的问题。
- 修复了读取部分外部 Parquet 文件时报错的问题,包括字典编码行组之后的类型不匹配,以及 Parquet V2 数据页解码错误。
- 修复了当 BE ID 差值过大时,因比较时整型溢出导致 Stream Load 选中错误 BE 或直接失败的问题。
- 修复了 FE 重定向缓慢或分块(chunked)的 Stream Load 客户端时出现 broken pipe 错误的问题。
- 修复了并发的、带自动探测分区的 INSERT OVERWRITE 以未知 tablet 错误失败的问题,其原因是行在替换分区完全打开之前就已到达。
- 修复了事务写入被路由到当前计算组之外的 BE 的问题,该问题可能导致含多个计算组的仓库中 INSERT 和事务导入失败。
- 修复了对同一张云端表的并发导入与分区变更在表版本上冲突、以 KV_TXN_CONFLICT 失败的问题。
- 修复了云端表上 ADD PARTITION 失败后残留分区元数据的问题,该问题可能破坏后续分区创建、查询或元数据同步。
- 修复了并行 SELECT INTO OUTFILE 时多个 BE 可能同时清空目标目录、删除仍需要的文件或使导出失败的问题。导出到本地文件系统现在会拒绝不支持的 delete_existing_files 选项。
- 修复了导入自动分区表时行数和字节数被重复计数、导致上报的导入指标虚高的问题。
- 修复了例行导入在获取 Kafka 元数据时出现的空指针错误。
- 修复了 Iceberg REST catalog 无法对 S3 兼容对象存储使用临时凭证的问题。
- 修复了较新驱动版本下 JDBC 查询 SQL Server 无法读取 schema 的问题。
- 修复了 Hive 表行数缓存不完整的问题,并修复了外部文件系统在仍被使用时被逐出缓存导致查询和事务失败的问题。
- 修复了 COM_RESET_CONNECTION 未完全重置会话的问题,导致连接池中的 MySQL 连接被再次分配后可能仍保留用户变量、临时表、prepared statement 或未结束的事务。
- 修复了 Arrow Flight SQL 无法获取真实客户端 IP 的问题,该问题会破坏基于 IP 的认证和访问控制。
- 修复了 skip_catalog_priv_check 生效范围过广、导致部分 catalog 操作跳过权限检查的问题。
- 修复了 SQL 解析器使 IS NULL 绑定到正确主表达式的问题。
- 修复了 Prometheus histogram 指标丢失标签、导致指标名称损坏并破坏其聚合和告警的问题。
- 修复了 SHOW TABLET 在未选择数据库时失败,以及 SHOW BACKENDS 返回的列与表头不对齐的问题。
- 修复了云端 schema change 后残留版本空洞(version hole)和过期 compaction rowset 的问题,这可能影响查询、delete bitmap 和后续 compaction。
- 修复了低写入 tablet 在 BE 重启或迁移后未按计划启动 time-series compaction 的问题。
v4.1.7(2026年5月21日)
本版本合入 Apache Doris v3.1.6。
新功能
- 新增 mmh64_v2 哈希函数。
- 支持查看例行导入(Routine Load)作业所使用的计算组。
改进优化
- 降低了数据导入和大查询时的内存占用。
- 提升了大表扫描的性能。
- 允许 Variant 列使用 light schema change,加快 ALTER TABLE 操作。
问题修复
- 修复了加载同时使用包围符(enclosure)且以 UTF-8 字节顺序标记(BOM)开头的 CSV 文件时,列解析错误的问题。如果你导入此类 CSV 文件,则会受到影响。
- 修复了 date_format 函数对 datetimev2 值丢失微秒的问题。如果你格式化带亚秒精度的 datetime 值,则会受到影响。
- 修复了 json_extract_string 函数在某些情况下返回错误结果的问题。如果你使用 json_extract_string 从 JSON 中读取字符串值,则会受到影响。
- 修复了单次扫描外部文件表时同时使用 native 与 JNI 两种 reader,导致谓词过滤缺失、可能返回多余行的问题(例如 Hive 或 Iceberg 表的不同列由不同 reader 类型读取)。
- 修复了 ALTER VIEW 语句包含注释时,新定义未传播到 follower FE、导致 follower 仍提供旧视图的问题。仅在多 FE 部署中受影响。
- 修复了 RESTORE 在恢复引用了其他库中表的视图时,未保留跨库引用的问题。
- 修复了集合运算(UNION、INTERSECT、EXCEPT)在合并数据超过 4 GB 时崩溃的问题。
- 修复了 ORC reader 在读取 ORC 文件时应用谓词下推导致崩溃的问题(例如外部 Hive 或 Iceberg 表)。
v4.1.6(2026年4月30日)
本版本为维护版本,包含内部稳定性与性能改进,无面向用户的变更。
v4.1.5(2026年4月15日)
改进优化
- 提升了集群扩缩容或故障切换后的读取性能,新增的计算资源能更快地提供缓存数据。
- 提升了对大结果集进行排序的查询性能。
v4.1.4(2026年3月27日)
本版本合入 Apache Doris v3.1.5。
新功能
- 新增了全文检索的自定义分析器(analyzer)支持,包括拼音分词器与过滤器。
- 支持 45 分钟的时区偏移。
- 扩展了 Paimon catalog 支持,包括 REST catalog 以及更多分区数据类型。
- 支持在 SELECT INTO OUTFILE 中写出带列名和类型的压缩 CSV 文件。
改进优化
- 提升了排序、大型 join 和聚合查询的性能。
- 将 Variant 子列的默认上限提高到 2048。
- 提升了含大量稀疏列的宽表的存储与 compaction 效率。
问题修复
- 修复了在集群正在重平衡(rebalance)tablet 时,对自动分区表执行 INSERT OVERWRITE 失败的问题。
- 修复了 INSERT OVERWRITE 指向已被删除的分区时报错的问题。
- 修复了云模式下表属性 disable_auto_compaction 被忽略的问题。如果你在表上设置了该属性,则会受到影响。
- 修复了在表交换(REPLACE)之后 FE 重启,导致例行导入作业被错误取消的问题。
- 修复了 BE 重启后(例如在升级或扩缩容期间)查询未自动重试的问题。
- 修复了同一张表上同时进行 schema change 时 INSERT 失败的问题。
- 修复了主键点查询中 from_unixtime 等时间函数忽略会话时区的问题。
- 修复了 JDBC catalog 的若干问题,包括 PostgreSQL 数组的 NULL 检测错误,以及 SQL Server 的日期谓词下推。如果你通过 JDBC catalog 查询 PostgreSQL 或 SQL Server,则会受到影响。
- 修复了将字符串 cast 为 STRUCT 时,若字符串包含的字段数多于 struct,则会崩溃的问题。
- 修复了 substring_index 函数在某些参数下崩溃的问题。
- 修复了 DELETE 错误地要求对仅在子查询(如 NOT EXISTS 子句)中引用的表具有 LOAD 权限的问题,这可能会阻塞已拥有正确 SELECT 权限的用户。
- 修复了若干可能返回错误结果的情况:集合运算(UNION、INTERSECT、EXCEPT)、谓词被下推到包含常量表达式的 UNION 的查询、以及在主键到外键 join 上的聚合。
v4.1.3(2026年2月12日)
改进优化
- 合入了 Apache Doris v3.1.4 版本的所有功能、改进优化和问题修复。
v4.1.2(2026年1月7日)
改进优化
- 优化了特殊场景下视图创建的处理逻辑,提升 SQL 使用体验。
- 优化了临时资源管理机制,增强系统长期运行的稳定性。
- 优化了缓存容量管理策略,提高资源利用效率。
- 优化了 Routine Load 在更新场景下的执行性能与稳定性。
- 优化了事务回收流程,增强系统健壮性。
- 新增了事务写入相关的监控指标,增强可观测能力。
- 优化了云环境下的任务调度与资源回收效率。
v4.1.1(2025年12月10日)
改进优化
- 合入了 Apache Doris v3.1.3 版本的所有功能、改进优化和问题修复。
v4.1.0(2025年10月17日)
改进优化
- 合入了 Apache Doris v3.1.1 版本的所有功能、改进优化和问题修复。