Enterprise Manager
Enterprise Manager 24.1.x
Enterprise Manager 24.1.2
发布日期:2024 年 11 月 4 日
问题修复:
- 修复集群全量升级失败重试后任务停住的问题
- 支持配置历史记录展示及变更对比
- 修复监控页面无数据问题
- 修复 Agent 检测 crontab 是否开启未考虑软链接的问题
- 优化 Agent 版本不一致需要手动重启的问题
- 新增 Stream Load Job 的告警指标和监控图表
- 新增表副本缺失异常监控和告警
- 优化允许修改的参数配置项配置
- 优化缩容清理目录的逻辑
- 优化缩容节点存活状态及副本数检查逻辑
- 扩容新增目录下是否有安装包的校验
- 集群重启任务支持重试
- 接管集群新增节点是否有残留 crontab 任务的检查
- 优化 BE 下线流程
- 优化 manager 清理升级结束后的残留目录和文件
- 定期自动清理 manager 任务日志
- 优化 WebU 元数据收集异步线程池排队策略
- WebUI 查询结果支持别名
- 修复 WebUl 查询结果 null 值被渲染为 0 的问题
- WebUl 升级 tomcat-embed 漏洞依赖到 9.0.90
Enterprise Manager 24.1.1
发布日期:2024 年 10 月 21 日
问题修复:
- 修复托管 doris 2.0.x 集群失败的问题
- 修复 Manager 升级后访问 WebUI 服务异常的问题
- 修复告警内容缺少 IP 信息以及规则复制缺少告警条件的问题
- 监控增加健康检查并修复监控页面产生嵌套的问题
- 修复更新定期巡检的通知方式未生效的问题
- 节点检查报错完善以及 Agent 存活检查提示信息完善
- Agent 升级自动清理旧的 upgrade 目录
- 参数配置修改支持修改日志目录
- 扩容增加部署目录是否被占用的检查
- 修复节点扩容时展示 Agent Warning 信息的异常问题
- 修复定时巡检报告发送失败及巡检数据结果正常但预期值和实际值不一致的问题
- 企业版 WebUI 增加双击添加表名的时候带上父级
- 升级前置检查、配置变更、巡检等增加 Agent 服务是否可用的检查
- WebUl 支持 “select*” 特殊查询语法查询限制
Enterprise Manager 24.1.0
发布日期:2024 年 10 月 8 日
新增功能及优化:
- 告警模块优化,策略支持指定告警等级、导入导出、在告警恢复的时候发送通知以及告警信息详情优化
- 升级流程增强,支持断点式升级,升级异常支持回滚
- 配置管理优化,校验配置有效性,支持配置变更中断
- webui 合入 manager,打包到 manager,不再需要单独部署
- webui 支持 workload group 管理,可以新增、编辑及查看
- webui 支持导入任务管理,同时数据板块新增函数展示
Enterprise Manager 24.0.x
Enterprise Manager 24.0.5
发布日期:2024 年 9 月 27 日
问题修复:
- 优化 Manager 在数据库升级或者 FE 重启时检测逻辑,新增 FE 的时间同步服务检查
- 修复升级前置中目录权限检查的问题
- 修复节点扩容时未同步相关配置文件的问题
- 修复扩容时部署目录不以 FE 结尾则找不到配置文件的问题
- 修复被托管的集群升级的时候会报错找不到 JDK 的问题
- 修复kill -15 BE进程但未自动拉起的问题
- 修复 Agent 误判 BE 进程死亡导致执行启动脚本的问题
- 修复 manager 在管控操作后部分节点状态错乱的问题
- 修复 File cache 配置的单位不正确的问题
- 修复缩容失败后选择修改配置,状态显示未知状态,概览页却是 Running 状态的问题
- 修复缩容 manager 上显示活跃实际是非 Alive 的 BE 节点失败的问题
- 优化只存在一个 Mix 节点时但是任然允许缩容 Mix 节点的问题
- 优化File cache path/storage path 没有判断是否被 BE 其他路径占用且是否和其他路径配置重复会导致部署失败的问题
- 修复托管的集群参数配置修改未成功的问题
- 修复告警代理未生效的问题
- 修复 Agent 注册错误信息展示不全的问题
- 修复 Agent 自动拉取策略配置未生效的问题
- 优化升级检测容量不准确的提示语
- 修复新建集群状态不正确的问题(集群创建为创建失败,任务状态为执行中)
- 修复数据表生成脏数据导致任务异常的问题
- Spring Web 版本升级到 5.3.33
- 修复前端新建集群时外表缓存数据优化问题
- 部分前端优化(增加端口校验和限制、集群对齐等问题)
Enterprise Manager 24.0.3
发布日期:2024 年 7 月 17 日
问题修复:
- 支持 Doris Core 3.0.x (存算一体模式) 部署
- Manager 版本增加与内核版本关系限制
- 修复创建 Query Statistics 告警策略异常问题
- 修复升级目录检查识别 BE 存储路径错误的问题
- 修复 agent 自动升级失败的问题
- 修复升级检查错误信息展示不全的问题
Enterprise Manager 24.0.2
发布日期:2024 年 6 月 14 日
问题修复:
- 修复 manager 托管时获取进程信息错误的问题
- 修复 Doris 日志目录不统一导致日志查看不完整的问题
- 修复重启节点状态一直为重启中的问题
- 修复 FE/BE Not Alive 告警表达式错误的问题
- 修复主机界面中 IO Util 显示数值错误的问题
- 修复 manager 初始化页面反复进入的问题
- 修复检查透明大页是否关闭的文案问题
- 优化集群升级逻辑,将前置检查调整到升级发起操作前
- 支持对 BE 节点的标签字段进行筛选
- 优化机器参数检查报错的提示,增加 agent 重启提示,去除 ssh 信息提示
Enterprise Manager 24.0.1
发布日期:2024 年 5 月 6 日
问题修复:
- 修复 be 缩容卡住的问题
- 修复站内信内容乱码问题
- 优化机器参数检查报错的提示,增加 agent 重启提示,去除 ssh 信息提示
- 告警策略新增 connections 百分比配置
- 修复单套 manager 服务支持单机部署多 agent 的问题
- 修复停止 fe 节点后日志显示正常停止但是页面依旧是停止中的问题
- 修复升级集群后 be 节点 pid 和 be.pid 记录不一致的问题
Enterprise Manager 24.0.0
发布日期:2024 年 4 月 1 日
新增功能及优化:
- 管控升级为 Agent 模式,Agent 和 Server 之间直接使用 HTTP 协议通信,保证安全性。
- 支持任务审计,查看每个任务的详细信息,包括操作时间、操作人、操作内容等信息。
- 部署及扩容支持新增计算节点,仅负责数据计算,不负责数据存储。
- 集群巡检支持定期巡检,按需配置巡检周期并发送通知。
- 监控模块新增主机维度的机器指标监控。
- 按照最佳实践,内置告警模版,可按需快速配置告警规则。
Enterprise Manager 23.11.x
Enterprise Manager 23.11.12
发布日期:2024 年 11 月 15 日
优化改进:
- 优化 manager 清理升级结束后的残留目录和文件
问题修复:
- 修复 Manager 监控页面无数据问题
- 修复 23.11.11 部署 Manager 缺少管控组件的 crontab 任务问题
- 修复 grafana 页面嵌套问题
- 修复 23.11.11 webui crontab 路径和实际部署路径不一致问题
- 修复 config-tool-configs 缓存问题导致 agentPackage 和 md5 信息不正确问题
- 修复接管集群的时候给 webui 加上 crontab问题
- 修复 23.11.12 查看部署 manager 任务的接口并发问题
- 修复节点列表 BE 不显示问题
Enterprise Manager 23.11.11
发布日期:2024 年 10 月 21 日
问题修复:
- 修复设置 FE 负责均衡代理地址无效以及设置代理地址后巡检、滚动重启等异常问题
- 修复因升级 BE 产生的备份数据日志打印导致浏览器内存打满的问题
- 修复巡检数据结果正常但预期值和实际值不一致的问题
- 修复因设置防火墙导致节点状态展示不准确的问题。
Enterprise Manager 23.11.10
发布日期:2024 年 9 月 27 日
问题修复:
- 修复缩容单个 FE 但去除了所有FE的 crontab 的问题
- 修复部分提示信息不完整、层面不对的问题
- 修复节点扩容时未同步相关配置文件的问题
- 修复启动节点失败后 crontab 未自动加入的问题
- 修复节点无效状态判断依据(由 api 访问方式切换到 show frontends/backends 查询)
- 修复告警代理未生效的问题
Enterprise Manager 23.11.9
发布日期:2024 年 7 月 17 日
问题修复:
- 支持 Doris Core 3.0.x (存算一体模式) 部署
- Manager 版本增加与内核版本关系限制
- 修复创建 Query Statistics 告警策略异常问题
- Doris Manager 集群异常时节点支持停止
- 修复升级检查错误信息展示不全的问题
Enterprise Manager 23.11.8
发布日期:2024 年 6 月 7 日
问题修复:
- 修复 manager 托管时获取进程信息错误的问题
- 修复重启节点状态一直为重启中的问题
- 修复主机界面中 IO Util 显示数值错误的问题
- 修复 manager 初始化页面反复进入的问题
- 修复检查透明大页是否关闭的文案问题
- 优化集群升级逻辑,将前置检查调整到升级发起操作前
- BE 节点标签字段支持筛选
- 部署 FE 时去除 avx 检查
Enterprise Manager 23.11.7
发布日期:2024 年 5 月 6 日
问题修复:
- 支持 Jobs 告警策略增加 label 形式过滤
- 修复 manager 页面站内信乱码的问题
- 修复 doris 集群的自动拉起脚本未生效的问题
- 告警策略新增 fe connections 百分比配置
- 修复 grafana 查询 doris_be_cpu 图表响应慢的问题
Enterprise Manager 23.11.6
发布日期:2024 年 4 月 1 日
问题修复:
- 修复告警邮件发送失败的问题
- 修复 postgresql 漏洞扫描的问题
- 修复部分指标单位和告警条件展示错误的问题
- 修复托管集群错误信息不展示的问题
- 修复 manager 启动脚本执行报错的问题
- 新增 FE 负载均衡代理地址的配置
Enterprise Manager 23.11.5
发布日期:2024 年 3 月 18 日
问题修复:
- Gragana 升级版本,修复老版本安全漏洞扫描的问题
- 优化扩容获取版本包类型的检测逻辑
- 升级检查集群节点机器时间同步检查
- 优化巡检展示信息
- 扩容数据目录占用逻辑优化
Enterprise Manager 23.11.4
发布日期:2024 年 2 月 23 日
问题修复:
- 修复缩容或升级时视图检查判断的问题
- 修复扩缩容时 FE 节点 Master 角色未显示的问题
- 修复缩容节点前 BE 节点数大于 3 缩容后 BE 节点数小于 3 出现缩容不掉的问题
- 优化 Grafana 弱密码的问题
- 替换 Manager 安装包的 jdk 替换为 open jdk
- WebUI 和 Manager 优化标准输出文件的大小
Enterprise Manager 23.11.3
发布日期:2024 年 1 月 22 日
问题修复:
- 修复集群数据副本数判断异常问题
- FE follower奇数限制优化
- 批量修改参数支持选择滚动和全量重启
- 集群升级及回滚流程优化
- 集群创建重试逻辑优化
- 升级 manager 时增加目录权限检查
Enterprise Manager 23.11.2
发布日期:2024 年 1 月 2 日
问题修复:
- 修复 Manager 的 View 用户没有权限查询日志的问题
- 部署及升级去掉四位版本号命名规则的限制
- 优化检查最大打开文件数的提示
- Webserver 增加 http 超时时间的配置
- 修复服务页面中重启组件状态一直为 Running 的问题
- 修复 SSH 秘钥带有密码时获取资源信息失败的问题
- 修复 grafana url 返回存量默认值的问题
- 优化 webserver 的启动脚本,兼容 ubuntu 系统
- 优化批量修改参数限制
Enterprise Manager 23.11.1
发布日期:2023 年 12 月 22 日
问题修复:
- 修复节点角色 Master 信息展示的问题
- 修复站内通知告警发送异常的问题
- 修复数据库使用 MySQL8 时配置问题
- 修复托管的 arm 和 noavx 集群选择版本号问题
- 修复告警模块邮箱信息分割符 bug
- 创建扩容解除对 audit loader 文件夹的强依赖
- 优化部署、扩缩容及升级检查逻辑
- 优化部分巡检项的修复建议
Enterprise Manager 23.11.0
发布日期:2023 年 12 月 8 日
新增功能:
- 初始化创建集群支持指定大小写
- 升级支持选择是否备份
- selectdb-doris 集群支持 WebUI 单独部署
- 服务模块支持状态查看、重启及停止
- 节点添加常用FE及BE的端口、版本及启动时间等信息
Enterprise Manager 23.10.x
Enterprise Manager 23.10.5
发布日期:2023 年 12 月 1 日
问题修复:
- 优化启动节点重试逻辑,避免超时重试影响进程启动
- 优化缩容 be 的逻辑判断,支持 tablet 未清零时手动 DROP 节点
- 填入节点 ssh 信息时,如果来回切换,最终选择 ssh 密码方式,前端会把填入的废弃 ssh 密钥的信息传入到 ssh 密码的信息中,后端存储了该信息,会导致管控操作失败
- 优化升级集群检查版本兼容性阶段解压逻辑
- 修复修改 doris 路径未在 ctrl 中生效的 bug
- 访问监控页面时,在服务配置中支持 Grafana 填入域名信息
Enterprise Manager 23.10.4
发布日期:2023 年 11 月 24 日
问题修复:
- 修复查看日志文件不支持软连接的问题
- 修复 webui 即使启动失败,任务状态依然是成功的 bug
- 优化升级 doris 逻辑,升级前检查 be 机器参数防止升级后无法启动 be
- 修复同一节点部署集群时 be 和 fe 部署目录不同失败问题
- 优化导入集群 API 超时参数
- 修复 grafana 监控图表无数据的bug以及强杀 prometheus 进程导致数据段不完整的问题
- 缩容的时候,去检查 doris 安装路径中是否存在包
- 集群启停操作超时时间调整为 5 min
- arm 集群安装不会检查机器 AVX 指令集
Enterprise Manager 23.10.3
发布日期:2023 年 11 月 17 日
问题修复:
- 优化升级操作副本同步参数设置,升级失败后自动回滚
- 优化升级操作 webui 相关启停逻辑
- 优化 manager 服务组件 crontab 的判定逻辑,增加服务状态检查
- 去除托管集群时密码 @ 字符限制
Enterprise Manager 23.10.2
发布日期:2023 年 11 月 14 日
问题修复:
- 升级多节点集群传包路径层级错误
- 优化备份 be 数据逻辑
- 修复邮箱配置中独立发件地址未生效的 bug
- 优化升级时,版本检查的逻辑,arm 版本和非 arm 版本不能互相升级,avx 和 noavx 版本不能互相升级
- 修复 webserver 跟 ctrl 的 http 连接数增多的问题
Enterprise Manager 23.10.1
发布日期:2023 年 11 月 13 日
问题修复:
- 修复管控服务远程 SSH 执行命令未释放连接 bug
- 修复服务配置更新监控部署之后未 reload 已有集群信息的 bug
- 修复日志服务读取远程文件定时清理未使用资源的 bug
Enterprise Manager 23.10.0
发布日期:2023 年 11 月 10 日
新增功能:
- 日志查看:支持查看、查询 FE、BE 各节点的日志,方便离线排查集群问题。
- 节点列表:新增WebUI节点展示并支持节点的启动与停止。
- 集群重启:重启集群支持选择全量重启和滚动重启模式。
- 资源组:支持给 BE 节点打标签,同一标签节点自动划分为一个资源组。
Enterprise Manager 23.9.x
Enterprise Manager 23.9.4
发布日期:2023 年 11 月 9 日
问题修复:
- 修复升级 be 节点 storage 目录带介质解析失败的问题
- 修复 webui 添加 cronab 路径
- 修复停止 fe 节点 ssh 无法建立连接挂起的问题
- 修复 manager 升级监控组件不存在报错的问题
- 解决了初始化之后 manager 部署目录更改但未完整更新元数据的 bug
- 修复没有填写 DATA_PATH 时能部署成功但部署监控的时会发现数据库里面没有 prometheus 的相关字段导致监控异常的问题
- 解决升级回滚 fe 数据目录路径错误问题
- 优化升级检测 jdk 版本逻辑
Enterprise Manager 23.9.3
发布日期:2023 年 11 月 3 日
问题修复:
- 修改配置时包含 file_cache_path 报错
- 修复 webui 和 manager 在同一台机器登录互踢的问题
Enterprise Manager 23.9.2
发布日期:2023 年 10 月 27 日
问题修复:
- 检查部署目录空间 bug
- 修改配置文件,如果新增一个旧配置文件中不存在的 key 后台报错
- 修复升级时 webserver 部分组件未升级的 bug
Enterprise Manager 23.9.1
发布日期:2023 年 10 月 19 日
问题修复:
- webserver 重置密码失败
- webserver 启动失败, 报错 java.lang.SecurityException: The jurisdiction policy files are not signed by the expected signer!
- 新增巡检执行失败: 脚本的执行返回结果中带有非json字符的其他warning字段,导致ctrl中json解析错误
- 从旧版本升级到 23.9 无法创建管理员
- 升级 Doris 配置的 JDK 目录层级错误
- 节点检查和创建检查部署目录逻辑不一致
- 修改公网 IP 导致 grafana add datasource 报错 invalid username or password
- 修改配置时,提醒 "CUR_DATE" 不存在
- 更新监控公网 IP 失败
- Windows 谷歌浏览器 118.0.5993.89 版本访问不到静态资源
- Manager 只有最后一个用户是系统管理员用户时,取消管理员问题
- IP 存在性检查健壮性完善
- 检查部署目录空间时出现的问题
Enterprise Manager 23.9.0
发布日期:2023 年 10 月 13 日
Manager :
- 服务配置 :通过 Web 服务自动部署依赖服务组件,同时支持服务配置内容修改以及 Manager 的自升级。
- 用户系统 :支持新建用户及角色并给用户配置对应的角色。
- 部署/扩容支持节点个性化配置 :新部署及扩容集群支持自定义端口及部署目录等,自动管控模式配置。
- 参数配置 :支持节点自定义编辑配置文件,单个节点支持查看所有运行参数
- 节点列表 :支持 FE 节点的启动与停止,Master 节点角色展示
WebUI:
- 数据探索:针对 Log 查询 的数据探索功能
- 自动保存:支持会话窗口自动保存,已保存会话窗口支持新建文件夹,对会话进行归类。
Enterprise Manager 23.7.x
Doris Manager 是一款专为 Doris 用户打造的、面向不同用户角色、适用于多种环境、以用户为中心、简单易用的数据库集群管理工具。
Enterprise Manager 23.7.7
发布日期:2023 年 10 月 7 日
- manager 支持升级 doris 到 2.0.2 及更高版本
Enterprise Manager 23.7.6
发布日期:2023 年 9 月 22 日
- manager 兼容 cpu/内存/网卡返回的信息编码有问题,无法存入数据库导致创建集群失败
- webui 查询 datetime 类型,显示精确到毫秒
- ctrl 修复 FE、BE 进程存在但服务状态不正常导致启动失败的 bug
Enterprise Manager 23.7.5
发布日期:2023 年 9 月 14 日
- 修复升级时,忘记存储新版本压缩包路径的错误
- 修复托管集群扩容时,获取doris包时,处理特殊以 doris 开头的版本号问题
- 增加邮箱 ssl/tsl 协议配置
- 滚动升级优化,升级 be 时,也修改为滚动重启 be 节点
- 集群重复托管时,去掉相同路径重复的 crontab 定时脚本
- 新建集群,优先级网络的网段默认配置从/16 改为 /24
- 停止节点兼容了 pid 获取不到的情况
Enterprise Manager 23.7.4
发布日期:2023 年 9 月 7 日
- 修复报错信息太长,导致 job 任务状态更新失败的 bug
- 修复扩容任务重试,数据库事务没生效的 bug
- 修复节点检查内存信息为空的报错
- 修复 pid 不存在停止失败的 bug
- 分发包的时候,检查 java8 是否传成功
- 升级检查时,将重试时间增加到 5 分钟
- 升级时未设置 shell 错误状态,以防出现巨大的错误信息
- 任务日志中增加主机信息,方便定位问题
Enterprise Manager 23.7.3
发布日期:2023 年 9 月 1 日
- 失效节点支持重启
- 优化停止操作,增强幂等性
- 解决通过 manager 新建,然后托管后会有遗留 systemd 的问题
- 托管集群取消对 broker 的托管
- 兼容 ubuntu 系统的脚本执行
Enterprise Manager 23.7.2
发布日期:2023 年 8 月 27 日
Manager:
- 托管时,取消对 broker 的限制,只有每个 be 节点都有 broker,才管控 broker
- 限制 manager 支持的最小的 doris 版本为 1.2.0
- 修复 manager 升级密钥保存的问题
- 修复扩容时,版本包获取的问题
Ctrl:
- 优化升级设置查询参数重试逻辑
- 修复扩容集群节点配置缺失
- 升级集群默认关闭 ssl 认证
- h2 数据存放路径权限判断 bug 修复
Enterprise Manager 23.7.1
发布日期:2023 年 8 月 17 日
Manager:
- 修复配置参数修改路径的问题
- 修复升级失败或者别的状态不能登录的问题
- 登录集群时,优先登录状态正常的节点
- 升级 jdk 的版本,从 1.8_131 升级到 1.8_333
Ctrl:
- fe 升级兼容性测试 priority networks
- 优化 systemd stop 成功检查的方法
- 优化 start stage,脚本操作时,兼容自动拉起服务操作
- stage 增加超时处理
- 取消托管集群管控时,去掉定时脚本
- 增加并发度控制参数
- 修复滚动升级检查 master 挂起问题
config-tool
- 检查 h2 的文件目录是否有权限
- 增加 sdbctrl 和 webserver 组件的保活机制
Enterprise Manager 23.7.0
发布日期:2023 年 8 月 10 日
新增功能
- 部署集群 :通过 Doris Manager 在物理机、虚拟机部署 Aache Doris 集群。
- 接管集群 :将现有的 Apache Doris 集群 接管到 Doris Manager 进行运维、监控。
- 集群详情 :查看集群的运行状态、详情、连接信息。
- 集群扩缩 :对 FE、BE 节点进行扩容、缩容。
- 集群升级 :便捷的集群版本升级,提供全量停服升级和在线滚动升级,可根据业务场景选择适合的升级方式。
- 集群重启 :对整个集群、FE、BE 以及节点进行重启操作。
- 节点详情 :查看节点的实时状态以及机器信息。
- 监控告警 :查看预制的监控指标,以及设置监控指标的告警,并通过邮件、聊天软件、Webhook 等方式进行告警。
- 参数配置 :关键参数的展示及配置,可单个或批量进行参数修改。
- 集群巡检 :一键检查机器状况、集群运行状态,及时发现并定位性能瓶颈,并提供修复建议。
- WebUI :进入集群 WebUI 的入口。