跳到主要内容
版本:26.x

v26.1

本文介绍 SelectDB Cloud 内核 26.1 版的发布记录。

说明 SelectDB Core v26.1 基于 Apache Doris v4.1 开发。

公开预览(Public Preview) v26.1 系列处于公开预览阶段:可用于规模化评估,但尚未正式发布(GA)。SelectDB Core v26.1 对应 Apache Doris v4.1。

v26.1.3(2026年9月24日)​

本版本合入 Apache Doris v4.1.4,并包含 SelectDB 自身的增强。

新功能

  • 新增通过 filesystem 和 REST Namespace catalog 只读访问 Lance 数据集的能力。支持谓词下推、通过 S3 和本地表函数直接读取,以及通过 vector_search() 执行分布式向量相似度检索,距离值通过 _distance 列返回。filesystem catalog 支持 SHOW INDEX。本版本暂不支持写入 Lance,也不支持对 REST catalog 执行 SHOW INDEX。
  • 扩展了 EMBED,支持基于以 JSON 形式传入的图片、视频和音频文件生成向量(embedding)。文件可使用 HTTP 或 HTTPS 直链,或 S3 兼容 URI(系统会为其生成预签名 URL)。需要已配置的 AI Resource,支持的媒体类型取决于所选 AI 服务商。
  • 新增通过 INSERT INTO ... SELECT、INSERT INTO ... VALUES 和 INSERT OVERWRITE 写入 Paimon 表,并支持新增、删除、重命名、修改和重排列的 schema 演进。
  • 新增对受支持的 Paimon 主键表执行行级 UPDATE、DELETE 和 MERGE INTO。不受支持的表类型和 merge engine 会在分析阶段以明确错误拒绝。
  • 新增对 Iceberg 和 Paimon 外部表执行 ALTER TABLE ... SET (...)。多个连接器属性会原子生效,远端更新失败时不再留下部分刷新的 FE 元数据。
  • 新增对 Iceberg V3 默认值的支持。
  • 新增原生 Variant V2 执行和 segment 存储,包括深层对象投影,以及通过受支持的 Iceberg 和 Paimon 路径读写 Variant V2。
  • 新增 Unique Key Merge-on-Write 表的近似最近邻(ANN)索引。Merge-on-Read 表仍不支持 ANN 索引。
  • 新增 SQL Block Rule 选项 require_partition_filter。当查询不包含可用的分区谓词时,可拒绝对内部分区表或 Hive 分区表的扫描。
  • 新增导入随机分布表时的自适应随机分桶路由,减少单个导入创建的 tablet writer 数量和内存压力,同时将较大的导入分散到可用分桶中。

改进优化

  • 改进了 Hive、Iceberg 和 Paimon 表的并发写入,按连接器的分区和分桶语义路由数据行,减少不必要的小文件,并为 Paimon 写入保持固定分桶归属。
  • 改进了大型 Parquet 和 ORC 扫描,允许在执行节点上将符合条件的源分片细化为 row group 或 stripe 级任务,在不改变查询结果的前提下提升扫描并发度。
  • 通过多列 Page Index 裁剪、更快的直接谓词过滤、更快的定长二进制 decimal 解码以及更安全的嵌套列裁剪,提升了 Parquet 扫描性能。
  • 新增基于表达式的 ZoneMap 裁剪,适用于内部表和 Parquet 扫描中受支持的比较、IN、空值判断和 starts_with 谓词。
  • 在合适时通过自适应树形结构发布大型全局运行时过滤器,降低 coordinator 的扇出开销。
  • 通过双侧 eager aggregation 下推、对多参数 distinct 聚合更安全的预聚合,以及更高效的 hash join probe 输出,提升了 join 和聚合性能。
  • 改进了公共表表达式(CTE)查询,将符合条件的 LIMIT 下推到 CTE producer,同时避免不安全的运行时过滤器下推。
  • 通过改进基数、唯一性和 shuffle key 估算,优化了 NOT IN、集合运算和 REPEAT 的执行计划。
  • 在同一语句内复用扫描任务,减少外部表扫描的重复规划工作。
  • 通过表缓存、复杂类型投影裁剪、有界的 JNI 写入内存、writer 落盘以及更可靠的 writer 缓存生命周期管理,提升了 Paimon 读写效率。
  • 改进了 Variant V2 的写入、字符串 cast、深层投影,以及对 shredded 和非 shredded Parquet 数据的读取。
  • 改进了 S3 文件匹配,下推可展开的通配符前缀,并在多选模式中保留字面文件名。
  • 将自动创建分桶的默认最小数量从 1 提高到 3。
  • 改进了例行导入(Routine Load)的诊断能力,暴露首个任务错误,并通过 information_schema.routine_load_jobs 一致地返回来自 master FE 的错误字段。
  • 在 process list 输出中新增当前计算组,并在审计日志记录中新增排队时间。
  • 提升了 md5 和百分位聚合函数的性能,并降低了 CSV 和文本导入的字符串转换开销。
  • 提升了 MySQL 客户端兼容性:接受 SHOW FUNCTION STATUS 和 SHOW PROCEDURE STATUS,并在没有匹配元数据时返回空结果。

问题修复

  • 修复了若干可能生成非法或错误计划的查询规划器改写问题,包括聚合下推穿过主键-外键 join、join 上拉穿过 UNION ALL、semi join 跨 mark join 的转置,以及从 join 外侧推导函数依赖。
  • 修复了聚合跨越投影时,eager aggregation 下推错误处理可空表达式或重复聚合函数的问题。
  • 修复了使用基于索引的延迟物化的 ORDER BY ... LIMIT 查询丢失嵌套 Variant 路径或隐藏行读取 RPC 失败的问题。
  • 修复了下推的 Parquet 谓词在浮点等值、嵌套可空性或嵌套列 Bloom filter 场景下产生错误裁剪结果的问题。
  • 修复了对可空 CHAR 数据下推 MIN 和 MAX 时,将 NULL 值替换为非 NULL 内容的问题。
  • 修复了 count_substrings 匹配越过输入字符串末尾的问题。
  • 修复了 COALESCE 和用户变量丢失 TIMESTAMPTZ 类型或值信息的问题,并修复了时区偏移前包含空格的 TIMESTAMPTZ 范围分区边界问题。
  • 修复了严格模式下字符串 cast 将 NULL 行的字节拼接到下一行的问题。
  • 修复了展开后的 bitmap 超过 32 位行数上限时,explode_bitmap 导致 BE 退出的问题。
  • 修复了当有限极值被舍入到可表示范围之外时,查询历史 FLOAT 或 DOUBLE ZoneMap 以 NaN/Infinity not allowed in olap string 失败的问题。新的 ZoneMap 会保持往返精度,无法读取的历史 ZoneMap 在裁剪时会被忽略,而不再导致查询失败。
  • 修复了弹性调整计算组规格后,资源上限变化但 workload group 版本未更新时,workload group 内存上限仍为旧值的问题。查询现在使用刷新后的内存上限,而不会因旧上限失败。
  • 修复了删除计算组后 FE 内存增长以及元数据 checkpoint 反复失败的问题。已删除计算组的过期副本路由现在会被移除,不再在 image 中累积。
  • 修复了 schema change 将过期 rowset 复制到临时 tablet、可能留下非法版本历史或导致 schema change 作业失败的问题。
  • 修复了 compaction 合并了 schema change 作业仍需要的最新 rowset 时,schema change 失败或留下版本空洞的问题。
  • 修复了 Merge-on-Write INSERT 在第一次遇到可重试的 delete bitmap 计算错误时即失败的问题。现在会遵循配置的重试次数。
  • 修复了云端 schema change 在 tablet 未就绪时执行 compaction 后,已被覆盖的行重新出现在 Merge-on-Write 查询结果中的问题。
  • 修复了事务型 INSERT 语句在执行失败后仍返回成功的问题。
  • 修复了 WAL 以不完整的尾部记录结束时,BE 重启恢复失败的问题。
  • 修复了被转发的 Group Commit Stream Load 请求因转发路径支持不正确而失败的问题。
  • 修复了用户拥有所需的库级或表级 LOAD 权限时,Stream Load 仍被全局权限预检查拒绝的问题。
  • 修复了通过虚拟计算组规划和路由的 Stream Load 无法为 Group Commit 选择健康 BE 的问题。
  • 修复了执行 BE 不拥有初始选中的 tablet 时,Stream Load 和例行导入写入随机分布表以 unknown partition channel 失败的问题。
  • 修复了带自动创建分区的 INSERT OVERWRITE 从其他计算组选择 BE 的问题。
  • 修复了 Arrow Stream Load 无法匹配名称中含大写字母的源列的问题。
  • 修复了事务期间 BE 重启后导入仍继续写入该 BE 的问题。导入现在会及时失败,而不再等待过期状态。
  • 修复了长时间运行的 Broker Load 作业在活跃 writer 完成前 packed-file 映射过期、以 File not found in global index 失败的问题。该映射现在在 writer 生命周期内始终有效。
  • 修复了关联事务已可见时 Broker Load 作业无法恢复的问题,并修复了重试中的待处理 Broker Load 作业与自身 label 冲突的问题。
  • 修复了连接器报告写入错误后,失败的外部表写入残留孤立数据文件的问题。
  • 修复了活跃的 Export 作业及其 label 映射在 FE 清理时被移除的问题。
  • 修复了增量导入流等待错误的副本多数派、可能在部分流失败后导致导入失败或挂起的问题。
  • 修复了分布式副本提交报告返回到不同源 BE 时,INSERT 被误判为多数派不足而拒绝的问题。
  • 修复了未启用 GTID 模式时,MySQL CDC 流式作业在 keepalive 重连后可能丢失变更的问题。
  • 修复了当 CDC 进程默认字符集不是 UTF-8 时,MySQL CDC 全量和增量同步将中文等非 ASCII 字符转换为问号的问题。CDC 的 Stream Load 记录现在显式按 UTF-8 编码。
  • 修复了 CDC 操作以调度器身份而非创建 Streaming Job 的用户身份运行的问题。
  • 修复了 Kafka 例行导入在源端延迟较低时仍使用自适应批大小、可能为小积压增加不必要延迟的问题。
  • 修复了 Kafka 例行导入的元数据请求离开作业所分配计算组的问题。
  • 修复了分区元数据丢失或在分片与外部 catalog 刷新之间混杂时,Paimon 查询返回错误行数的问题。
  • 修复了分区值包含特殊字符的 Paimon 分区通过错误的物理路径读写的问题。
  • 修复了 Paimon writer 在落盘和重试路径中泄漏 JNI 生命周期状态、超出内存上限或读取到过期缓存写入状态的问题。
  • 修复了使用 row-ID 延迟物化时,Iceberg Merge-on-Read 扫描导致 BE 退出的问题。
  • 修复了 Iceberg 扫描在计算分区谓词时导致 BE 退出的问题。
  • 修复了在混合格式规划路径中,Iceberg 扫描使用分片描述中错误文件格式的问题。
  • 修复了查询 Iceberg Variant 子路径在规划阶段失败的问题,并防止 Variant 元数据裁剪绕过前面会报错的谓词。
  • 修复了分区缓存中不包含被刷新的分区时,Hive 分区刷新残留过期文件元数据的问题。
  • 修复了返回的元数据中缺少远端表名时,JDBC catalog schema 查找失败的问题。
  • 修复了产品标识变化导致服务端版本注释改变时,JDBC catalog 将 Doris 兼容端点误判为 MySQL 的问题。现在优先使用稳定的 Doris 服务端标识进行检测,并对旧端点做回退处理。
  • 修复了临时 Arrow root 未关闭时,Arrow Flight SQL prepared statement 泄漏 FE 直接内存的问题。
  • 修复了 Arrow Flight SQL GetTables 返回不兼容 schema 的问题,并修复了 DATETIME 值以带时区语义而非 naive Arrow 时间戳导出的问题。
  • 修复了批量元数据查找期间所请求的表不存在时,information_schema.columns 返回无关表列的问题。
  • 修复了 SHOW TABLETS 以错误顺序应用 ORDER BY 和 LIMIT 的问题。
  • 修复了某个分区没有快照时物化视图被全量重建的问题,并修复了 excluded_trigger_tables 变更后刷新状态过期的问题。
  • 修复了物化视图 null-rejection 补偿因非法 slot cast 失败的问题。
  • 修复了认证和 Stream Load 诊断信息将密码、token 或认证码写入日志的问题。敏感值现在会被脱敏,同时保留非敏感的请求上下文。
  • 修复了 Kafka 例行导入属性、加密密钥元数据和 Arrow Flight bearer token 在诊断或 schema 输出中暴露的问题。
  • 修复了 HTTP SQL 请求使用宽泛的 HTTP 权限检查、而非所提交语句所需权限的问题。
  • 修复了审计日志中的 Stream Load 记录允许控制字符伪造额外记录边界的问题。
  • 修复了云端 schema 视图和 SHOW PARTITIONS 报告的本地与远端存储大小或副本信息不一致的问题。
  • 修复了空倒排索引文件未持久化以及索引写入失败残留孤立文件的问题。
  • 修复了查询上下文缺失时倒排索引谓词崩溃的问题,并修复了接受包含内嵌 NUL 字节的非法索引词的问题。

v26.1.2(2026年8月17日)​

本版本将 v26.1 系列的 Apache Doris 基线从 4.1.2 升级到 4.1.3,并包含 SelectDB 自身的增强。这主要是一个稳定性版本,新增了少量连接器和 SQL 能力,并修复了从 Apache Doris 4.1 继承的正确性、崩溃和数据导入问题。

新功能

  • 新增 Python 用户自定义函数,包括标量 UDF、聚合 UDAF 和表函数 UDTF,除 Java 外也可使用 Python 实现自定义逻辑。
  • 新增 is_valid_utf8 函数,用于判断字符串是否为合法的 UTF-8。
  • 新增对 zstd 压缩 Stream Load 的支持,客户端除已支持的压缩格式外还可发送 zstd 数据。
  • 新增 Iceberg rewrite_manifests 存储过程,用于合并 Iceberg 表的 manifest 文件。
  • 为 Iceberg 和 Hive 的 Parquet 和 ORC writer 新增 LZ4 压缩。
  • 新增 SHOW ROUTINE LOAD TASK FOR <db>.<job_name>,用于列出指定例行导入作业正在运行的任务。
  • 支持在 Stream Load 和例行导入的列转换中,使用内部自定义 ENCRYPTKEY 调用 AES_ENCRYPT。

改进优化

  • 新增表级、事件驱动的缓存预热,新写入的数据落地后即可预热到本地缓存,降低导入后的冷读延迟。
  • 在获取内部表锁之前预加载外部表元数据,提升了外部 catalog 表与内部表 join 查询的性能。
  • 扩展了 workload policy,新增远端扫描字节数上限和基于用户名的 BE 选择,可更精细地控制工作负载对计算资源的使用。
  • 为 publish 阶段超时的 INSERT 语句新增可配置的返回模式,ETL 作业可选择在 publish 缓慢时返回成功还是报错。
  • 例行导入现在能更及时地上报消费延迟。

问题修复

  • 修复了若干可能返回错误结果的查询规划器问题,包括:含重复列别名的聚合、UNION、INTERSECT 和 EXCEPT 等集合运算、cast 下推穿过 UNION DISTINCT、过于激进的 null-aware anti join 改写、数据特征经 CTE anchor 传播、不安全的 GROUP BY 简化、convert_tz 跨夏令时切换时分区裁剪错误,以及将 ORDER BY ... LIMIT 改写为 MAX 而可能丢失行的问题。
  • 修复了 WITH RECURSIVE 查询因递归数据块未发送到每个扫描实例而返回不完整结果的问题。
  • 修复了合并的 Top-N limit 未被父级 offset 约束时,LIMIT ... OFFSET 返回错误结果的问题。
  • 修复了窗口函数返回错误结果的问题,包括带上界窗口框架的 nth_value,以及作为窗口函数使用的 COUNT(DISTINCT)。
  • 修复了标量和数组函数的问题,包括 from_base64 和 to_base64 输出缓冲区大小、MAKE_SET 常量折叠、concat_ws 作用于可空数组、split_by_delimiter 丢失反斜杠转义、权重之和为零时的 avg_weighted、array_sort lambda 参数校验、array_first 和 array_last 中的布尔 cast,以及 retention 传入超过 32 个参数时的堆溢出。
  • 修复了日期和时间处理问题,包括旧版 v1 日期字符串的 cast、对可空 DATETIMEV2 字面量调用 month,以及使用 OUTFILE 导出为 CSV 时未保留 DateTimeV2 精度。
  • 修复了整数除法中对有符号最小值做除法时的 SIGFPE 崩溃。
  • 修复了若干 Variant 列问题,包括嵌套 Variant 数据的 compaction 兼容性和空键保留、读取 Variant 时稀疏路径统计信息被截断、element_at 对标量字符串 Variant 返回解析后的值而非原始字符串、将 JSONB cast 为 Variant 时丢失 JSON 对象,以及 JSONB 路径访问中控制字符未转义。
  • 修复了复用的 prepared statement 共享同一个 load id 时 group commit 丢失行的问题。
  • 修复了较新事务复用相同 label 时导入事务被中止的问题。
  • 修复了 Stream Load 无法解析 IPv6 主机的问题,并修复了自动分区表上 load_to_single_tablet 的路由问题。
  • 修复了在含生成列的表上执行部分列更新失败的问题。
  • 修复了导入通道中未加保护的 tablet writer 映射查找导致 BE 崩溃的问题,以及导入期间 delta writer 状态生命周期问题。
  • 修复了 MaxCompute catalog 查询因 IN 谓词下推极性错误、以及按位置而非按名称解析分区规格而返回错误结果的问题。
  • 修复了 Iceberg 的若干问题,包括快照摘要缺少行数计数器时 COUNT(*) 下推出现空指针错误、嵌套 decimal 精度提升,以及二进制列以错误的 Arrow 类型写入。
  • 修复了针对 SQL Server 和 Oracle 的 JDBC catalog 查询将布尔谓词下推为 TRUE/FALSE 而非 1/0 的问题,并加强了 JDBC catalog 驱动 URL 的校验。
  • 修复了 Hive 文本格式读取丢失空记录的问题、Avro reader 遇到 null 值崩溃的问题,以及外部表扫描错误路径上的 BE 崩溃。
  • 修复了跨多个 segment 的倒排索引读取问题,该问题可能影响全文检索结果。
  • 修复了 cdc_stream 表函数未遵循 CDC 源的删除标记(delete sign)的问题。
  • 修复了云端恢复(restore)问题:现在会拒绝恢复 light_schema_change=false 的表,并在恢复期间正确改写表属性和分区信息。
  • 修复了涉及排除触发表和向后兼容基础视图查找的物化视图刷新回归问题。
  • 修复了 CREATE TABLE 接受非法 IPv4 默认值的问题。

v26.1.1(2026年7月9日)​

本版本是 v26.1 系列的首个版本,基于 Apache Doris v4.1 开发,包含截至 v26.0.4 的所有修复。v26.1 系列带来了 Apache Doris 4.1 的完整功能集,因此本文描述这些 4.1 能力在 SelectDB 内核中的表现。

新功能

  • 新增 search() 函数,可在 SQL 中直接执行全文检索,使用与 Elasticsearch query_string 兼容的 DSL。支持 TERM、PHRASE、WILDCARD、REGEXP、PREFIX 和 NESTED 运算符,通过 score() 列提供 BM25 相关性打分,支持多字段检索,并可在不预先展开的情况下检索 Variant JSON 数组内部。
  • 新增 IVF 近似最近邻(ANN)向量索引("index_type"="ivf"),作为 HNSW 之外内存占用更低的大规模向量检索方案;同时提供落盘变体("index_type"="ivf_on_disk"),适用于索引大于可用内存的向量集。
  • 新增向量索引量化,包括 INT8 标量量化、INT4 标量量化和乘积量化(PQ),可将向量索引内存降低约 4 到 8 倍,仅带来较小的召回率损失。
  • 新增 Variant 列的 DOC 模式,按写入原样保留整个 JSON 文档,将拆分为按字段存储的操作推迟到 compaction 时进行,从而降低以小批量写入宽 JSON 文档的成本。
  • 新增面向超宽表的 V3 存储格式("storage_format"="V3")。它将列元数据单独存储,而非全部打包在每个文件末尾,因此拥有数万列或大量 Variant 子列的表能够更快打开,并在随机读和点查询上表现更好。
  • 新增在 Variant 列中原生存储超大 JSON 文档的能力,单个文档可达约 100 MB。诸如完整对话历史、Agent 执行轨迹和 RAG 上下文等长文档,可直接存储和查询,无需跨行拆分或存放到外部文件。
  • 新增 Condition Cache,可缓存某段数据上过滤条件的计算结果,并在相同过滤条件再次作用于未变更数据时复用,从而加快重复的过滤查询。
  • 新增通过 WITH RECURSIVE 的递归公共表表达式(CTE),用于层级和图式查询。
  • 新增 UNNEST 语法,用于将数组等嵌套值展开为多行。
  • 新增标准 SQL MERGE INTO 语句,可在单条语句中对表执行插入、更新和删除。
  • 新增 json_each 和 json_each_text 表函数,用于将 JSON 对象展开为键值行。
  • 新增 array_cross_product 函数,用于计算多个数组的笛卡尔积。
  • 新增 murmur_hash3_128 标量函数、exponential_moving_average 聚合函数,以及 DataSketches HLL 聚合函数。
  • 新增 current_database,作为现有 database() 函数的别名。
  • 新增对 Iceberg V2 和 V3 表的完整读写支持,包括行级 UPDATE、DELETE 和 MERGE INTO,以及读取 Iceberg V3 的删除向量(deletion vectors)和行血缘(row lineage)。
  • 新增 Iceberg JDBC catalog、排序写入、静态分区覆盖写,以及 publish_changes 存储过程。
  • 新增 Paimon JDBC catalog,以及创建和删除 Paimon 数据库和表的 SQL 操作。
  • 新增对 MaxCompute 外部 catalog 的 CREATE TABLE、DROP TABLE 和 INSERT INTO 支持。
  • 新增 Parquet 元数据表函数,可通过 SQL 检查行组、列统计信息等文件元数据。
  • 新增对文件表函数(table-valued function)的 INSERT INTO 支持,可将查询结果导出到 HDFS 或 S3。
  • 新增 cdc_stream 表函数,用于读取 MySQL 和 PostgreSQL 的变更流,并将其用作 Streaming Job 的数据源。
  • 新增 Kafka 例行导入(Routine Load)作业的 AWS MSK IAM 认证支持。

改进优化

  • 优化了复杂的 join 和聚合查询,支持将聚合下推穿过 join,在 join 之前先对每个输入进行预聚合,从而减少行数、内存占用和延迟。
  • 优化了一次性计算多种分组的查询(如 GROUPING SETS、ROLLUP 和 CUBE),先计算最细粒度的分组,再由其推导出更粗粒度的分组,从而减少计算量。
  • 优化了读取嵌套列中单个字段(如 STRUCT 的某个字段)的查询,仅从存储中读取该字段,内部表以及 ORC、Parquet 外部表均适用。
  • 优化了包含 CASE WHEN 的查询,支持分支合并、分支消除和公共子表达式提取。
  • 新增 Query Cache,可缓存查询的中间聚合结果,并在相同聚合再次作用于未变更数据时复用。
  • 优化了常见算子和函数的执行,包括更智能的 join 顺序和数据 shuffle 选择,以及更快的 LIKE、FROM_UNIXTIME 和 COUNT,从而降低整体查询的内存占用和延迟。
  • 增强了大型 join、聚合和排序的落盘(spill)能力。hash join、聚合和排序算子现在可以在内存不足时将中间数据分多级落盘到本地磁盘,使内存密集型查询在有限内存下完成,而不是失败。
  • 通过自适应调整扫描批大小,提升了大表扫描的吞吐量和内存效率。
  • 提升了向量检索性能,近似最近邻查询可只读取向量索引,避免读取原始向量列。
  • 提升了重复的 Parquet 查询性能,可复用已解压的数据页;新增 Iceberg manifest 缓存,避免在查询规划期间反复解析相同的 manifest 文件;并通过原生 reader 提升了 Paimon 查询性能。
  • 加快了索引列上的 ORDER BY ... LIMIT 查询,仅对最终进入结果集的行读取完整行数据,并优化了 explode 和 posexplode 的执行。
  • 优化了大多数键很少被查询的超宽 JSON 文档的存储。这些不常用的键现在会分散到多个内部列中,并对其读取进行缓存,从而降低读放大和延迟抖动。
  • 新增主键表模型的多流更新(multi-stream update),不同数据流可各自更新同一张表的不同列,并按各自的 sequence 列合并。
  • 扩展了例行导入(Routine Load),支持灵活的部分列更新、通过 ALTER ROUTINE LOAD 动态调优,以及基于积压量的自适应批大小。
  • 新增自适应 MemTable flush 调度,在高写入场景下使写入并发与当前集群负载相匹配。
  • 扩展了 MySQL 和 PostgreSQL 的 CDC Streaming Job,支持自定义表映射、仅快照同步、PostgreSQL 的 schema 变更处理、排除列,以及更多 PostgreSQL 数据类型。
  • 为 Streaming Job 新增显式起始 offset、计算组选择、结构化的失败原因,以及每个作业的延迟和进度指标。
  • 通过避免将仍在推进的任务判定为超时并重试,提升了大表或数据倾斜表的全量快照 CDC 可靠性。
  • 将 window_funnel 默认改为内存效率更高的 v2 实现,同时以 window_funnel_v1 保留原有实现。在 FIXED 模式下,不匹配任何漏斗条件的行不再中断序列,因此升级后相关查询可能返回更长的漏斗链。
  • 扩展了多个聚合和数组函数以接受 TIMESTAMPTZ 值,并扩展了 max_by 和 min_by 以支持复杂类型。
  • 新增运行中查询的统一运行时统计和进度上报,可查看查询已执行的进度。
  • 在 MTMV 刷新任务的输出中新增了计算组信息,可直接查看刷新任务的调度位置。
  • 优化了存算分离架构下的弹性扩缩容,增删计算节点更快完成,且均衡调度不再依赖 tablet 总数。
  • 新增 information_schema.file_cache_info 系统表,按 tablet、BE 和缓存路径报告 file cache 使用情况,便于排查热点数据和缓存分布不均。
  • 将 Stream Load 记录纳入审计日志,可像其他语句一样查询和审计导入历史。
  • 通过更优的列编码和压缩(包括将默认压缩转向 ZSTD),减少了存储占用并提升了冷读性能。
  • 降低了 row-store 摄入以及解析稀疏 Variant 文档时的内存压力。
  • 新增每个分区默认 768 个分桶的上限。CREATE TABLE 和 ADD PARTITION 现在会拒绝超过该上限的分区。

问题修复

  • 修复了 *_diff 函数在使用可空字面量或跨越 0000 年时、datediff 作用于零日期时,以及 convert_tz 跨夏令时切换时,常量折叠与运行时执行结果不一致的问题。
  • 修复了当可空浮点参数包含未被使用的 NaN 值、而后续参数已提供预期的非 NULL 结果时,coalesce 却返回 NULL 的问题。
  • 修复了运行时过滤器被下推到外连接(outer join)可空一侧时返回错误结果的问题。
  • 修复了查询计划在不同 join 分支间复用预聚合状态,导致当各分支需要不同聚合行为时生成错误计划的问题。
  • 修复了对外部表上 SELECT * 视图的查询,在源表新增列并刷新元数据后以 IndexOutOfBoundsException 失败的问题。
  • 修复了 tokenize 首个参数为常量、而查询扫描多行输入时仅返回一行的问题。
  • 修复了 json_contains 将数值相等的 JSON 值(如 1 和 1.0)视为不同的问题,并修复了数组中重复候选值导致包含判断错误的问题。
  • 修复了 enable_insert_strict 静默改变 INSERT 语句 cast 行为的问题。现在 INSERT 行过滤与 enable_strict_cast 相互独立。
  • 修复了 COM_RESET_CONNECTION 清除已选数据库并使其他会话状态部分重置的问题,该问题可能导致连接池中的 MySQL 连接在 reset 后失效。
  • 修复了读取由 2.1.0 之前 Doris 版本写入的旧版 DecimalV2 数据时以精度非法错误失败的问题。
  • 修复了 MATCH 拒绝带别名的 Variant 点号子列(如 msg.trace_id)的问题,并修复了嵌套 Variant 检索绑定到错误倒排索引的问题。
  • 修复了数组下标和 element_at 作用于被优化器裁剪掉的 Variant 子路径时返回 NULL 的问题。
  • 修复了稀疏 Variant 路径为混合类型数组推断出错误元素类型、并在序列化时丢失 TIMESTAMPTZ 值的问题。
  • 修复了后台 compaction 在处理存有嵌套 JSON 对象数组的 Variant 列时,当某行嵌套值为 NULL 或为空则失败的问题。
  • 修复了 IVF 和 PQ 向量索引在仅用部分 segment 训练时召回率过低或为零的问题,并修复了 ANN 范围检索状态在 segment 间泄漏的问题。训练行数不足的 segment 现在会跳过索引创建,而不是使写入失败。
  • 修复了 window_funnel v2 在 DEDUPLICATION 和 FIXED 模式下,当较晚的起始事件本可产生更长有效序列时却返回错误最长链的问题。
  • 修复了 MTMV 在 excluded_trigger_tables 变更后跳过必要刷新的问题,并修复了当调用方传入不可变的排除表集合时分区 MTMV 检查失败的问题。
  • 修复了包含多张表且 offset=initial 的 PostgreSQL CDC 作业在快照阶段永久丢失变更的问题,并修复了匹配 schema 中同名表导致 Duplicate key 失败的问题。
  • 修复了 cdc_stream 的 offset 未能在 FE checkpoint 后保留,导致恢复的作业可能从错误源位置继续的问题。
  • 修复了 Stream Load 在重定向请求且请求体未被消费时以 broken pipe 失败的问题,并修复了当 BE ID 差值超过整型范围时 BE 选择失败的问题。
  • 修复了 JSON 摄入在输入字段顺序与表 schema 不同时,按位置而非按名称映射 STRUCT 子字段的问题。
  • 修复了 workload group 查询在内存预留尚不可用时被恢复执行、从而绕过预期暂停行为的问题。
  • 修复了 FE master 切换导致最终结果包丢失时,客户端查询挂起直至 socket 超时的问题。
  • 修复了多计算组部署中,当选中来自其他计算组的 BE 时,事务型 INSERT INTO ... VALUES 以空指针失败的问题。
  • 修复了 ADD PARTITION 失败后,若回滚在部分 catalog 更新已完成之后才开始,会残留过期分区元数据的问题。
  • 修复了 vertical compaction 因可用缓冲容量计算错误而在大 rowset 上耗尽内存的问题。
  • 修复了未显式指定写入格式属性的迁移 Iceberg 表被以错误文件格式读取的问题,并修复了 Iceberg 写入忽略已配置的 object-store.path 数据位置的问题。
  • 修复了 Iceberg V3 行血缘表上 COUNT DISTINCT 结果错误的问题,并修复了 position-delete 文件写入时缺少必需的 Iceberg field ID 的问题。
  • 修复了 Iceberg 写入在分区值包含需要 URL 编码的字符时失败的问题,并修复了大批量排序 Iceberg 写入在落盘中间数据后失败的问题。
  • 修复了 SQL Server JDBC catalog 在使用较新版本 Microsoft JDBC 驱动时,SHOW DATABASES 遗漏内置 schema 的问题。
  • 修复了 Paimon JDBC 系统表查询在通过原生 Paimon 扫描路径执行时以 No suitable driver found 失败的问题。