Doris Manager 简介
Cluster Manager for Doris(以下简称 Doris Manager)是 Doris/SelectDB 的基于浏览器 - 服务器(BS)架构的集群运维工具,可以对集群进行可视化安装部署及管控操作。
Doris Manager 架构
自 Doris Manager 24.0 版本后,采用 server-agent 架构进行集群管控,将集群管控能力从集中式演变为分布式协同模式,支持更大规模集群管理与复杂运维场景。Agent 和 Server 之间直接使用 HTTP 协议通信,可以结合 SSL 加密数据,保证安全性。服务的整体架构如下图所示:
Doris Manager Web Server
Doris Manager Web 服务是 Manager 网页服务器的服务端,同时也是整个 Doris Manager 实现自动运维管理 Apache Doris、SelectDB Doris 集群的核心模块。主要的功能包括:
-
运维中枢功能:内置元数据存储和 Web 服务 API;
-
安全管控体系:集成用户认证系统及细粒度权限管理系统;
-
运维自动化平台:支持通过网页端对 Doris/SelectDB 集群进行可视化运维操作。
Doris Manager Agent
通过 Manager 管控 Doris 集群,需要在每个集群节点上安装 Agent,默认端口 8972,跟 Doris Manager Web 服务所在的机器必须网络联通。Agent 主要的功能包括:
-
指令执行中枢:接收并执行服务端下发的管控指令,同步反馈执行结果;
-
监控数据管道:实时采集主机/Doris 进程指标,主动上报至服务端监控系统
-
集群健康探针:定时上报节点存活状态与进程信息,维持集群可观测性
Doris Manager 功能简介
Doris Manager 可以对 Doris/SelectDB 全生命周期做可视化管控,包含以下能力:
-
部署集群 :通过 Doris Manager 在物理机、虚拟机部署 Apache Doris 或 SelectDB Doris 集群。
-
接管集群 :将现有的 Apache Doris 或 SelectDB Doris 集群接管到 Doris Manager 进行运维、监控。
-
集群详情 :查看集群的运行状态、详情、连接信息。
-
集群扩缩 :对 FE、BE 节点进行扩容、缩容。
-
集群升级 :对集群版本进行升级,提供全量停服升级和在线滚动升级,可根据业务场景选择适合的升级方式。
-
集群重启 :对整个集群、FE、BE 以及节点进行重启操作,重启集群支持滚动和全量重启。
-
节点详情 :查看节点的实时状态以及机器信息。
-
参数配置 :支持节点自定义编辑配置文件,单个节点支持查看所有的运行参数。
-
监控告警 :查看监控指标、设置告警规则,并支持通过邮件、聊天软件、Webhook 等方式进行告警通知。
-
日志查看 :支持查看、查询 FE、BE 各节点的日志,方便离线排查集群问题。
-
任务审计 :支持查看每个任务的详细信息,包括操作时间、操作人、操作内容等信息。
-
集群巡检 :支持手动或定期一键检查机器状况、集群运行状态,及时发现并定位性能瓶颈,并提供修复建议。
-
WebUI :支持查看数据库中的数据以及其信息,还可以进行 SQL 查询、数据导入、权限管理等操作。