场景
可观测性平台通过采集、存储、可视化分析日志(Log)、追踪(Trace)和指标(Metrics)等数据,帮助企业洞察分布式系统的运行状态,支撑资源优化、预警机制、故障分析等重要场景,以提升系统可靠性与用户体验。随着数据量增加和系统越来越复杂,可观测性平台都面临着诸多挑战。
高性能、低成本
在保持倒排索引的同时,磁盘空间较 Elasticsearch 减少 80%,整体性价比达 10 倍
提升数据解析、索引构建的性能,使写入速度提升 5 倍
全文搜索速度提升 2 倍
灵活的半结构化数据类型
自动识别 JSON 数据中的字段名和类型,并采用列式存储
借助单副本删掉,直接 实现 3 倍压缩率
保持灵活 Schema 同时,分析性能提升 8 倍
开源开放、多云一致
与常见可观测性工具集成,如 ELK、OpenTelemetry 和 Grafana
提供多云一致服务,包括阿里云、腾讯云、华为云以及亚马逊云科技
Apache Doris 开源项目的主要贡献者
易于运维与使用
支持自动扩展和负载均衡
易于操作的可视化集群管理工具
支持标准 SQL 和 MySQL 兼容性,使开发对接更简单
早期大模型日志系统基于 Grafana Loki,存在资源消耗大、写入性能差和稳定性不足的问题。在改用基于 Apache Doris 的新系统后,接入了所有业务线的日志数据,数据规模达 PB 级,系统可用性超 99.9%,10 亿级日志检索达秒级响应。
借助 SelectDB 的倒排索引、Variant 数据类型以及冷热数据分层存储等功能,观测云的日志存储和分析服务得到了显著增强。这不仅使我们的 存储成本降低了 70%,还将查询性能提升 4 倍,最终实现了整体性价比的 10 倍提升。
与 Elasticsearch 相比,Apache Doris 查询速度提升 11 倍,存储资源节省 70%。Doris 的列式存储和 ZSTD 高压缩比,让同样数据存储空间大幅减少,还能用 SSD 替代 HDD 存储热数据,进一步提升查询性能。此外,Doris 查询更加稳定,查询耗时基本在 4 秒内,最快 1 秒响应。
中信银行信用卡中心每天新增 140 亿条日志数据(80TB),总归档量超 40PB。早期的日志平台,存储成本高,写入和检索速度慢,分析能力也有限。升级至 Apache Doris 后,资源投入降了 50%,查询速度提升了 2 - 4 倍,运维效率也大幅提高。
基于 HTTP 的数据接入
为 ELK 生态系统提供 Logstash 和 Filebeat 输出插件,OpenTelemetry Exporter,Fluentbit 输出插件,以及通过消费 Kafka 消息队列。
高性能、低成本的统一存储引擎
统一存储日志 (Log)、追踪 (Trace) 和指标 (Metrics) 数据,具备高压缩比和快速查询能力,包括全文搜索和聚合分析。
可视化搜索与分析
兼容两大主要的可观测性可视化工具,包括 ELK 生态系统中的 Kibana(即将推出) 和开放生态系统中的 Grafana。此外,提供专用日志检索的 GUI 工具 SelectDB Studio。