顺丰科技：从 Presto 到 Doris 湖仓构架升级，提速 3 倍，降本 48%

导读：顺丰科技引入 Doris 替换 Presto，在内部可视化数据自助分析工具丰景台场景广泛应用。目前，顺丰临时查询业务、丰景台报表业务的 Presto 场景已经 100% 切换到 Doris 集群中，日均查询量 100W+。并实现 P95 性能提升近 3 倍，硬件资源节省达 48% 显著收益。

丰景台是顺丰科技自主研发的一款可视化数据自助分析工具，旨在提升数据分析师的工作效率，助力自助分析和业务决策。该产品支持多种丰富的图表类型，用户只需通过拖拽操作即可快速进行自助分析，实现数据可视化。目前，丰景台已广泛支撑顺丰的物流收、转、运、派等各个环节，该平台处理的数据规模庞大，用户数量众多，对实时响应速度和稳定性有着较高要求。

最初，丰景台使用 Presto 作为查询引擎，面临查询速度慢、服务稳定性不足以及资源消耗成本高等问题。为解决这些问题，引入 Doris 替换 Presto，构建统一的数据分析平台。目前，顺丰临时查询业务、丰景台报表业务的 Presto 场景已经 100% 切换到 Doris 集群中，日均查询量 100W+。并实现 P95 性能提升近 3 倍，硬件资源节省达 48%。

使用 Presto 面临挑战

起初，丰景台使用 Presto 作为查询引擎来支撑业务。基于自研的 Presto On Yarn 模式，可以在租户级别根据业务负载情况自动调整 Presto 集群的规模，或根据负载模式选择不同的 Presto 子集群对查询请求进行路由。

因丰景台支撑的业务线众多，查询模式多样化，且高峰期的 QPS 较高，涉及到的数据量庞大。同时，系统对查询延迟有严格的保证需求。在使用 Presto 时遇到了以下问题：

• 查询速度慢： 因 Presto 查询优化器能力有限，无法提供很好的规则优化，尤其在处理复杂查询时，查询速度慢，无法满足性能要求。
• 服务稳定性差： Presto 缺乏内置的缓存机制，容易受到 HDFS IO 抖动的影响，影响服务的稳定性。引入外部缓存组件虽然可以缓解这一问题，但同时也会增加系统的复杂性。
• 资源成本高：Presto 以万核规模运行，需要大量的计算资源和硬件支持，整体资源成本高昂。
• 适用场景有限：Presto 作为查询引擎，但它不具备数据存储的能力，当前只能分析存储在 Hive 中的数据。更加实时的场景、半结构化分析的场景不好满足。

为什么选择 Apache Doris

为解决上述痛点，顺丰在 2024 年初开始调研下一代数据分析产品，旨在寻求一款高性能、功能丰富且适用场景广泛的工具，以支持丰景台及内部业务的各种数据分析需求。Apache Doris 在性能表现和资源成本等方面具有显著优势：

• 查询速度更快： Doris 的查询优化器（CBO）可有效支持复杂查询，尤其是多表关联查询的优化，同时通过丰富的统计信息提升优化规则的准确性。此外，Doris 物化视图能力能灵活应对数据加工和湖仓透明加速等场景。
• 服务稳定性高： Doris 提供内置的元数据和数据缓存能力，可有效降低远端存储（如 HDFS）抖动对查询延迟的不稳定影响，同时降低系统维护的复杂度。
• 湖仓统一及查询加速： Doris 作为湖仓加速引擎，可直接对 Hive、Iceberg 和 Paimon 在内的主流湖仓格式进行查询加速，并能管理高性能的自有格式数据。凭借 Doris 单一引擎即可支撑日志分析、实时报表分析等多样化场景的统一分析。
• 弹性资源隔离： Doris 提供节点级别的物理隔离和进程内的线程级别隔离，利用计算节点和计算组等功能，满足顺丰对多业务、多租户及弹性扩缩容的需求。

Presto 到 Doris ：湖仓建设实践

顺丰科技自 2024 年中开始，逐步使用 Apache Doris 替换 Presto 所支持场景，构建统一的数据分析平台。Doris 具备查询和存储的能力，既可以作为查询引擎查询数据湖 Hive 中数据，也作为数据仓库存储数据。这一升级，同时满足数据仓库和数据湖的需求，实现了查询与存储引擎的统一。

在平台升级过程中，顺丰重点关注以下两点：

• 无感升级： 由于是线上业务的升级，需保证整个过程业务侧无明显感知。因此，需完善对 Presto 的语法支持、SQL 行为的兼容、集群切换方案和监控报警方面的能力。
• 性能提升和稳定性保障： 基于 Doris 以更少的计算资源获得更好的分析性能，同时保证整体服务的稳定性。

接下来核心围绕以上两点，详细介绍架构迭代升级过程中的实践、优化经验和收获。

01 无感升级

Presto 和 Doris 两套系统虽然都支持标准 SQL，但是在部分语法、函数语义和执行行为上存在细微差别。因此我们在前期涉及了周密的迁移验证流程，在平台侧通过以下方案来确保架构的平滑升级：

• 开发线上查询模拟工具，自动收集线上查询语句，并在测试环境进行回放和结果比对，验证结果正确性。
• 开发压力测试工具模拟真实线上流量负载，检查高峰、低谷期 Doris 集群的资源开销、查询延迟等，用于验证稳定性和性能预期。
• 搭建 Doris -> Presto 的双跑和降级切换链路。可以按照比例将流量缓慢灰度到 Doris 集群。并且通过自定义路由规则，当遇到 Doris 不支持的函数、语法、SQL 行为时，系统自动将切换到 Presto 集群上，确保上游业务的平稳运行。

这些方案是整个升级和迁移项目的重要基石，为后续的性能表现、版本迭代提供了有力保障。

02 Presto SQL 方言兼容

Doris 社区提供了 SQL Convertor 组件，灵活支持将 Hive、Trino/Presto、Spark、Clickhouse 等多种 SQL 方言转换为 Doris SQL，帮助业务无感迁移到 Doris 。在验证阶段，飞轮科技与顺丰合作，完成了大量方言适配工作，显著提升了 Presto SQL 方言的兼容性。

• 语法改写： 将 Presto SQL 语法等价改写为 Doris SQL 语法。例如，在 Presto SQL 中，列名用双引号包裹需转换为反引号；或者为 Presto SQL 中的子查询添加别名，以满足 Doris SQL 对别名的强制要求等。
• 函数签名改写： 将 Presto 中与 Doris 行为相同但签名不同的函数进行改写。比如将 date_parse函数改写为 str_to_da``te函数；或者调换data_trunc函数中的参数顺序等。
• 函数行为改写： Doris 的大部分函数行为兼容 MySQL，如对非法参数的处理和返回值的精度等。如果直接修改这些函数的行为，会对其他用户造成影响。因此额外补充了一些符合 Presto 行为的新函数，并通过 SQL Convertor 改写，或使用cast转换类型，以不影响原函数行为的情况下提升对 Presto 函数行为的兼容度。
• 输出格式改写： 针对 Array、Map、JSON 等复杂类型的字符串输出，Doris 提供了相应的改写规则。比如将 Doris 对 Map 类型的字符串表示由{"k1":null, "k2":"v3"}改写为{k1=NULL, k2=v3}，确保用户在进一步处理时获得正确的语义。
• 新增函数： 新增大量 Doris 原本不支持的 Presto/Trino 函数，进一步提升 SQL 兼容性。

目前在顺丰业务场景下，Presto SQL 兼容度可以达到 97%，仅有少部分 SQL 需要业务方配合调整，后续将进一步加强兼容性，目标达到 99%以上。

03 Parquet/ORC 性能优化

丰景台场景存储格式包括 Parquet、ORC 以及少量 Json 和 Text 数据格式。数据多样性对优化工作带来了挑战。顺丰与飞轮科技在以下方面合作，显著提升了 Doris 对不同文件格式的访问性能：

• **复杂类型的延迟物化：**针对包含 Map、Array、Struct 等复杂类型的查询，在 Parquet/ORC 读取过程中提供延迟物化能力，显著降低 IO 数量。

• 小 IO 优化：通过调整 Merge IO 的阈值，缓解在不同查询模式下 Merge IO 引发的读放大问题，并显著降低 IO 次数。

• ORC Tiny Stripe 优化：针对包含大量小 Stripe（小于 8MB）的 ORC 文件，提供跨 Stripe 合并读取能力，降低 IO 次数并提升文件读取吞吐。

• 数据格式兼容度提升：全面支持 Parquet/ORC/Text 在 snappy、lz4、zstd、gzip、lzo、bzip2、brotli 等多种压缩格式下的读取能力。并且提供enable_text_validate_utf8等可调选项，确保在非法值场景下（如非 UTF8 编码的 Text 格式）行为和 Presto 一致。

这些优化显著改善了 Doris 在文件格式读取性能、稳定性和兼容性方面的表现。

04 HDFS IO 优化

丰景台场景数据由科技提供的 HDFS 统一存储。由于 HDFS 在多个业务共享，业务高峰期可能出现 IO 抖动、延迟增大甚至超时等问题。针对 HDFS 特性，制定了多种改善 IO 的措施：

• 文件对齐 Block 切分： Doris 将大文件切分为多个文件分片，通过并行读取提升效率。针对 HDFS 文件，Doris 根据 HDFS Block Size 对齐切分，避免分片任务跨 Block 读取，降低对 Namenode 的访问频率，从而减少 HDFS 不稳定的影响。
• HDFS Hedged Read 和 Read Timeout： HDFS 客户端提供 Hedged Read 功能，当数据块的读取请求在预设时间内未响应时，会向其他数据节点发送额外请求，使用最快返回的数据块，减少读取延迟。此外，通过dfs.client.socket-timeout降低读取超时阈值，快速触发重试，从而提升 IO 稳定性。这些功能在部分顺丰业务场景下显著改善了访问 HDFS 的 IO 响应性能。

05 执行调度优化

Hive 等湖仓外表数据的查询执行环境与内表数据存在显著差异，如元数据访问延迟和网络 IO 开销。因此，针对外表查询特点优化了执行调度：

• 动态优先级调度： 丰景台场景查询模式多样，无法通过预定义 Workload Group 进行资源分组和隔离。动态优先级调度策略通过任务分片执行时间统计，实时识别大查询和小查询，动态调整优先级，显著降低中小查询在资源抢占场景下的延迟。

  

• 分片异步调度： Hive 集群中有大量分区数量在十万级别的表。Doris 通过分片异步调度，让文件列表的 List 操作与 BE 节点的文件读取并行执行，显著改善了海量分区访问时的查询调度耗时。

  

• Limit 下推优化： 实际场景中存在大量由谓词条件和 Limit 子句组成的查询，通常用于快速探查符合条件的数据，但无需返回查询结果，但要求探查完成后快速结束查询。Doris 在查询规划时将 Limit 下推到数据扫描节点，并在扫描任务调度、跨节点数据传输、查询快速熔断方面进行了优化，显著减少了 IO 开销。

这些优化降低了 Doris 对 CPU 和 IO 资源的开销，在混合负载的 Hive 查询场景中大幅提升了查询的稳定性和可预期性，尤其在长尾查询和 95 分位以上的延迟上效果显著。

06 缓存优化

缓存功能降低了通过网络访问外部数据源的不可预测性，并提升了热点数据的读取性能。在丰景台场景下，单集群磁盘缓存容量达到 10 TB。在使用 Doris 替换 Presto 的过程中，针对缓存的时效性和一致性进行了优化，这不仅提高了查询性能和稳定性，还有效降低了对 Hive Metastore 和 HDFS 的访问压力。

• 提升数据缓存命中率： Doris 数据缓存属于本地缓存，采用一致性哈希算法确保对相同数据文件的请求被发送到同一个节点，从而提升缓存命中率。在丰景台场景中，缓存命中率高达 96%。
• 单查询文件列表共享： 在需要实时感知 Hive 分区文件变化的场景中，关闭了 Doris 的全局分区文件列表缓存，这意味着每次查询需通过 List 操作从 HDFS 获取文件列表。为此，Doris 进行了优化。例如在同一查询中对同一张表的子查询时，进行 Union 或自关联操作，子查询间可以共享文件列表。这使得查询规划性能数倍提升，并降低了对 HDFS 的请求压力。

基于 Doris 的云产品改造

Doris 除了在丰景台场景广泛应用之外，顺丰科技正在基于 Doris 进行内部云产品改造，面向顺丰内部提供按需的 Doris 集群服务。当前正进行 Doris 容器化部署的实践，通过容器化的方式， 提供更小规格的资源供业务选择，实现按需使用。

以下为内部云上 Doris 产品图以及部分管理页面展示：

应用层主要分为两部分：

• 面向用户： 用户能够在页面上进行集群申请操作，该申请流程会自动接入内部计费体系。在完成集群申请后，用户可在页面上进行查询以及查看监控、日志，实施库表授权等相关自助操作，还可通过页面针对所在的慢查询进行分析等。
• 面向运维： 运维人员可以对所有资源进行管理，诸如存储空间、集群等。同时，还能够对集群进行版本升级以及通用模版配置修改等多种操作，从而便于运维人员在线上对故障进行快速处理，以保障云上集群的服务质量。

顺丰科技期望在 2025 年全面完成 Doris 的平台化建设，推动 Doris 产品更广泛在内部应用。

结束语

01 业务收益

目前，顺丰的临时查询业务、丰景台报表业务场景已从 Presto 100% 切换到 Doris 集群中，日均查询量超过 100W。

• 查询性能提升 3 倍： P95 性能降低到 20 秒以内，提升近 3 倍。大于 50s 的查询由 8% 降低至 1.5%，小于 10s 的查询比例由 72% 提升至 88%
• 硬件资源节省 48%： 将 Presto 的上万核规模降低至 Doris 的数千核规模，实现了约 48% 的资源节省。

02 未来规划

除了湖仓分析场景，Doris 在日志分析和实时报表分析中表现同样出色。顺丰科技正与 Doris 社区、飞轮科技团队合作，持续推进 Doris 在内部的业务拓展。

• 完善稳定性及兼容性： 今年将全面下线 Presto 服务，继续完善 Doris 集群稳定性，并增强对 Presto SQL 的兼容性。同时引入 Delta Lake 替换 Hive 格式，验证 Doris 3.0 对 Delta Lake 的支持（Doris 计划在 3.1 版本中增强对 Delta Lake 的读取能力）。
• 日志及半结构化场景应用： Doris 当前已在多个企业的日志及半结构化数据分析场景成功落地，顺丰也在尝试用 Doris 替换 Elasticsearch，简化更多数据平台的组件，构建统一数据分析技术栈。
• 尝试存算分离架构： 计划引入 Doris 3.0 所支持的存算分离架构，不仅提升多租户弹性能力，还能支持冷数据动态备份，降低用户存储成本。
• Doris 集群运维： 随着 Doris 在顺丰内部的逐渐铺开，需要更完善的工具来运维 Doris 集群或诊断线上问题。顺丰正在推动 Doris 社区提供更加完善的 SQL 诊断工具，如可视化的 Query Profile 分析能力、慢 SQL 诊断优化工具等。