2024 年 12 月 14 日,由飞轮科技主办,腾讯云和阿里云联合主办的 Doris Summit Asia 2024 在深圳圆满落幕。活动当天,人潮涌动,会场弥漫着浓厚的技术气息。此次峰会吸引了众多大数据及数据库领域技术专家及开源爱好者的关注,现场参会者超过 500 名,线上直播吸引了数万名观众,共同见证了这场数据处理及分析领域技术盛宴。
本届峰会设有主会场以及智慧金融、泛互联网、政企与智造、SelectDB 产品专场 4 大平行论坛,设计 Keynote Speech、Regular Speech 及 Short Speech 三种演讲形式。来自金融、证券、互联网、零售、电商、物流、能源、制造、通信、企业服务等十余行业的 40+ 技术专家纷纷登台,带来精彩演讲,并与现场观众进行互动、答疑与交流,技术氛围十分浓厚
现代化数据仓库创新之路
主会场座无虚席,每位参会者都聚精会神的聆听演讲。在开场演讲中,Apache Doris 创始人 & PMC 成员马如悦围绕“现代化数据仓库”这一主题,指出今年发布的 3.0 版本是 Apache Doris 研发路程中的重要里程碑,他将这一进展总结为“实时之路”、“统一之路”和“弹性之路”,并详细介绍了所对应的核心特性的设计思考与应用价值,揭晓了 2025 年社区发展规划及蓝图。
马如悦说到,Apache Doris 自 2013 年创立至今已有 10 年,截至目前,GitHub Stars 已近 13k,社区的贡献者达到近 670 名,平均每月活跃贡献者超过 120 名,成为众多开源大数据、数据库项目中月活开发者最高的项目。同时,Apache Doris 当前在所有 Apache 所有项目中,其官网浏览量稳居第一,2024 年 4 月网站 PV 高达 900w,可见其受欢迎程度。
此外,Apache Doris 社区企业规模也在迅猛增长。2022 年社区企业规模不足千家,而经过 2-3 年的的快速发展,以及飞轮科技的技术驱动,企业规模已增至 5000 家,覆盖金融、互联网、电信、游戏、交通物流、零售快消、能源制造等多个领域。
技术演进推动创新之路
在这一年中,Apache Doris 在存算分离、湖仓一体以及替换 ES 场景上取得了全新的进展。打破了技术壁垒、广泛扩展应用场景,并已在成百上千家企业中得到应用。
从 3.0 版本开始,Apache Doris 开始支持存算分离模式。Aache Doris PMC 成员杨勇强在演讲中介绍到:“基于云原生存算分离的架构,用户可以通过多计算集群实现查询负载间的物理隔离以及读写负载隔离,并借助对象存储或 HDFS 等低成本的共享存储系统来大幅降低存储成本。”
在主会场上,杨勇强展示了存算一体模式和存算分离模式在不同缓存下的 TPC-DS 1TB 性能测试结果,无论是在完全命中、部分命中还是完全未命中缓存的情况下,存算分离模式下的 Apache Doris 均能展现出相较于其他同类系统的显著性能优势。同时,在批量写入场景中,导入 TPC-H 1TB 和 TPC-DS 1TB 测试数据集,在存算一体模式采用单副本的情况下,存算分离模式写入性能较存算一体模式分别提升了 20.05% 和 27.98%。此外,采用存算分离成本至多可降低超 90%。
3.0 版本也是 Apache Doris 在湖仓一体演化路线上的重要里程碑版本,湖仓一体能力也在这一版本日趋完善。Apache Doris 在新版本中提出了数据无界、湖仓融合这一理念。
- 数据无界:将 Apache Doris 作为统一查询处理引擎,基于其高性能查询引擎、联邦分析、数据回写能力,打破数据在不同系统间的屏障,在数据仓库、数据湖乃至数据流、本地数据文件等所有数据源端都能提供一致且极速的分析处理体验。
- 湖仓融合: 数据湖架构日益复杂,选型成本与维护成本也随之增加,Apache Doris 融入了湖的核心特征,包括 Merge-on-Write、高效的 Arrow Flight 协议、半结构化与非结构化数据增强以及存算分离特性,将其打造成一个轻量、高效的原生实时湖仓。
在主会场上,Apache Doris PMC 成员衣国垒从用户需求及湖仓一体转型痛点出发,详细介绍 Apache Doris 湖仓一体解决方案,为参会者提供了深入的见解和实用的建议。
随后,网易游戏 OLAP 计算引擎负责人胡彪就 Apache Doris 在其实际场景下的湖仓融合建设进行了分享,介绍基于 Doris 的湖上建仓和仓湖融合方案。目前 Doris 已在网易游戏大宽表、Ad-Hoc、用户行为分析、高并发点查等多个场景中得到应用。对接内部 200 多个项目,日均查询超过 1500W,总存储数据量也超过了 1PB。
众所周知,Elasticsearch 作为一款出色的搜索引擎广泛应用于运维、安全以及特定的业务领域,而这些领域不仅对搜索有较高的要求,同时也强调实时的数据分析能力。在这一交叉需求点上,Apache Doris 相较于 Elasticsearch 展现出了显著的优势。
在主会场上,Apache Doris PMC 成员肖康对这两款产品进行了全面而深入的对比,并展示了详尽的对比数据。肖康指出:“相较于 Elasticsearch ,Apache Doris 写入性能提升 4 倍、更新性能提升近 10 倍。同时,它可为用户节省了 70% 的存储成本,并能在分析性能上实现了 6 倍的速度增长。”
开源商业化融合创新之路
开源与商业化两者之间并非完全独立, 而是相互依存、相互促进的关系。商业化不仅能够推动开源项目的发展,也能从中获得创新和竞争优势,最终获得双方共赢。这种关系不仅是技术发展的趋势,也是推动行业进步与创新的重要力量。对于 Apache Doris 这一开源项目来说亦是如此。
在大会主论坛上,飞轮科技技术副总裁姜国强分享了从开源 Apache Doris 到商业化 SelectDB 的发展。飞轮科技基于 Apache Doris 内核打造了面向私有化部署的 SelectDB Enterprise 和云原生存算分离的 SelectDB Cloud 云数仓服务。姜国强讲到:“SelectDB 是面向现代化的实时数据仓库,具备实时、统一、弹性、开放的特点,能够 100% 兼容 Apache Doris 生态。”他在演讲中对其进行了系统且详尽的介绍,并剖析了它们与 Apache Doris 之间的差异化特点。
在其之后,中金财富也与参会者分享了 SelectDB 在投顾平台的大数据应用,升级为 SelectDB 之后,综合性能提升 50%~70%,同时扩展了系统功能、重构了部署架构、为数据库扩大应用做好了技术储备。SelectDB 的应用也带来非常明显的社会及经济效益,在业务转化率、效能提升、客户认可、行业地位等方面均有不同程度的提升。
阿里云瑶池数据库 SelectDB 版是飞轮科技与阿里云联合发布的一方产品,阿里云提供可靠的服务、强大的支撑能力以及完善的生态对接,能够与阿里云其他产品无缝融合,给予用户更优的用云体验。在主会场上,阿里云数据库产品事业部 OLAP 与工具产品负责人薛菲在演讲中介绍了阿里云 SelectDB 版云原生架构、实时极速、融合统一、开放生态四大核心特性。
紧接着, 全球领先的羽绒服畅销品牌波司登集团也与参会分享了基于阿里云 SelectDB 在其 OLAP 分析平台的升级及优化实践。展示了阿里云 SelectDB 分别在大中小查询、大规模数据导出、混合负载下的表现以及稳定性测试结果,相较之前有 1-5 倍的性能提升,测试结果远超预期。在应用之后,取得数据库成本节省 29.6%、存储资源下降 61.53%、调度任务数量减少 30%、运维成本降低 36% 的显著成效。
主会场上,腾讯云 TCHouse-D 研发负责人李德也对基于 Apache Doris 内核打造的云上湖仓产品 TCHouse-D 进行全面介绍。并从技术创新、场景融合及开源共建等介绍了 TCHouse-D 构建和进化历程。李德介绍到,腾讯云数据仓库 TCHouse-D 基于 Apache Doris 内核构建,与云上大数据生态体系融合,提供丰富的集群管控能力,及完善的巡检告警体系,为客户提供简单易用、极简运维的云上全托管服务,助力客户快速进行实时 OLAP 数据分析及实时湖仓构建。
行业应用实践创新之路
除主会场之外,在下午的智慧金融、泛互联网、政企与制造、 SelectDB 专场论坛中,同样涌现出众多精彩纷呈的演讲,各领域技术领袖就行业趋势、技术难点进行了深入讨论及交流。
-
在智慧金融论坛上,来自邮储银行、中信、无锡锡商银行、富民银行、中信证券、上海证券、拉卡拉、宇信科技及中科软的技术专家,围绕金融领域在数据平台、日志存储分析系统、支付场景、智能风控场景的建设经验进行了深入交流。这些宝贵的行业经验和解决方案对实际工作具有极大的指导意义。
-
在泛互联网论坛上,百度的技术专家分享了 Apache Doris 向量检索引擎的设计与实现,展示这一技术的核心能力及使用收益。知乎、货拉拉和任子行的专家将结合场景特点,剖析了 Apache Doris 在 A/B 实验平台、用户画像和数据导入等多个场景下应用实践,为参会者在实际应用中更好应用 Apache Doris 提供了有力的参考依据。
-
政企与智造论坛上,福特中国、正泰集团、某头部车企及家具制造企业的技术专家齐聚一堂,他们围绕 Apache Doris 在车辆制造领域的大规模数据处理及分析实践,以及其在制造业中的成功应用案例进行了分享。揭示了 Apache Doris 在数字化转型、提升生产效率等方面的强大赋能。
-
在 SelectDB 专场分论坛上,飞轮科技携手商业化客户、合作伙伴为现场观众带来多场精彩演讲。飞轮科技 CEO 马如悦带来 SelectDB 产品全方位解读 ,他的演讲让现场观众对 SelectDB 技术架构、性能优势以及应用场景有了更加全面且深入的了解。此外,哪吒科技、四川航空、上海通用五菱、名创优品、宝尊科技、巨益科技等头部企业的技术专家也齐聚一堂,结合实际业务场景,分享了 SelectDB 在零售电商、物流运输及制造领域的的数据仓库建设及应用。这些实战案例不仅展示了 SelectDB 的广泛应用场景,更为参会者提供了宝贵的行业洞察和技术启示。
各分论坛也有上下游生态伙伴、开源社区、行业伙伴为参会者带来合作创新方案。大应科技、NineData、数势科技、白鲸开源、数语科技、启高科技和浪潮纷纷介绍了与 Apache Doris 的联合解决方案与创新实践。TapData 与观测云的技术专家为大家带来 SelectDB 与其产品的联合解决方案,进一步丰富了参会者的技术视野和选择空间。
更多精彩瞬间
在主会场演讲结束之际,峰会公布了 Apache Doris 社区 2024 年度个人卓越贡献奖和年度企业卓越贡献奖。这一荣誉不仅是对个人及企业贡献者的认可,更是对他们过去一年中对社区的积极支持与贡献表示深深感谢。获得个人卓越贡献奖的是李康(天翼云)、刘广东(科大讯飞)、蔡聪辉(京东)、刘剑群(翼支付)、张彬华(飞轮科技)、李奇峰(数据之力)以及来自印度的开发者 Vallishp(华为云)。获得企业卓越贡献奖的是腾讯音乐、快手、腾讯云及阿里云。
除了精彩纷呈的演讲之外,本次峰会还设置了展台区域, 成为了参会者探索技术前沿、增进交流的又一重要阵地。这里汇集包括 SelectDB、阿里云、腾讯云、帆软、数势、启高、Aloudata 等企业多个展台,参会者穿梭其间或驻足参观,发起讨论、参与互动,了解大数据处理及分析的最新动态。
随着夜幕降临,Doris Summit Asia 2024 也落下帷幕。在此,感谢每一位参会者的热情参与,感谢演讲嘉宾的精彩呈现,也感谢所有合作伙伴、合作社区与合作媒体的鼎力支持。我们,明年再见!
演讲回放及 PPT 资料会在 5 个工作日内逐步释出,您可通过 SelectDB 公众号、Doris Summit 官网、技术论坛了解最新动态及进展。
- 关注 SelectDB 公众号,回复关键词「1214」获取资料
- 前往Doris Summit 官网获取
- 前往技术论坛获取