跳到主要内容
版本:4.x

集群新建

安装包选择与 License 上传

无论是存算一体 或者是 存算分离 集群的部署流程,均需要提前准备待部署的安装包包放置在对应的路径(见下图中安装包下拉框下的文案,会有安装包放置目录的提示信息);另外,部署特定版本的 selectdb 安装包,在部署之前需要准备好试用或者正式申请的 license 文件(License 文件和 Public 文件)

图片展示的是SelectDB Enterprise Manager中新建存算一体集群的“其他配置”页面。页面中“上传License”部分有“License文件”和“Public Key文件”两个选项,分别有“选择文件”按钮。该图片与上文提到的在部署特定版本的selectdb安装包前,需准备好试用或正式申请的license文件和Public文件相呼应,直观呈现了上传文件的界面位置和操作选项。

  • 上传 .lic 文件

    图片展示的是SelectDB Enterprise Manager中新建存算一体集群的界面。画面中“cluster_guard.lic”和“cluster_guard.key”文件被红色框突出显示,表明这两个文件是上传的License文件和公钥文件。该图片与文档中“主机注册与Agent部署”部分内容相关,用于说明新建或接管集群前,需在目标节点部署Manager Agent并完成主机注册时,上传的License文件和公钥文件位置。

  • 上传 .key 公钥文件

    图片展示的是SelectDB Enterprise Manager中新建存算一体集群的界面。左侧为导航栏,选中“集群”下的“新建集群”。右侧是集群配置界面,显示了多个集群配置项,其中“License”下拉框中显示了多个License文件,如“LIC-CC051A454AB”等,右侧有“cluster_guard_key”文件的预览窗口,文件大小为450字节,创建时间为2020年4月2日。该图片与文档中“主机注册与Agent部署”部分相关,用于说明新建或接管集群前需在目标节点部署Manager Agent并完成主机注册时,需上传的.key公钥文件。

主机注册与 Agent 部署

新建或接管集群前,均需要先在目标节点部署 Manager Agent 并完成主机注册。存算一体和存算分离集群均使用该流程。

部署 Manager Agent

查看 Agent 的安装指引,进入指引页面并按照指引部署 Agent。部署成功后,回到 Manager 页面,确认 Agent 状态正常。

  • 准备 SelectDB 机器环境(可选)

  • 一键部署 Agent

    图片展示的是SelectDB Enterprise Manager新建存算一体集群的“主机注册”页面。页面提示“新建集群,请为该集群指定目标主机上安装Agent”。下方有“Agent Port”输入框,当前显示8872,还有“IP”输入框及“+新增”按钮,用于添加节点。页面底部有“上一步”和“下一步”按钮。该图片与文档中“部署Manager Agent”部分相关,是按照指引对Agent进行部署前的界面展示。

    图片展示的是SelectDB Enterprise Manager新建存算一体集群的主机注册界面中Agent安装指引部分。界面中以红色框突出显示了“1. 机器参数配置”和“2. Agent一键部署”两个关键步骤。前者要求用户在指定用户下运行指定命令,检查系统参数是否满足SelectDB Core要求;后者则需在指定用户下运行指定命令,检查Agent服务是否正常运行。该图片与上文“进入指引页面,按照指引对Agent进行部署,部署成功之后,回到Manager页面,确认Agent状态正常”的操作说明相呼应。

    图片展示的是SelectDB Enterprise Manager新建存算一体集群的“环境配置”页面。页面中显示了部署主机的Agent Port为8870,IP为172.25.17.107,Agent状态为正常。页面底部有“上一步”和“下一步”按钮。该图片与文档中“部署Manager Agent”部分相关,用于说明在部署Manager Agent后,进入指引页面按照指引对Agent进行部署,部署成功后回到Manager页面确认Agent状态正常这一操作流程。

Manager 支持管控两类 SelectDB Enterprise 内核集群:存算一体集群存算分离集群。创建或接管时,请先选择与实际架构一致的集群类型;两类集群的部署、接管、扩缩容和升级路径不同。

部署完成后,Manager 将提供集群的连接信息,方便用户快速接入和使用。

存算一体集群

存算一体集群由 FE 和 BE 组成,BE 同时承担计算与本地数据存储。可通过“新建/接管集群”选择存算一体集群,完成环境、节点和组件配置后提交任务。

部署存算一体集群

前置检查

确认当前账号具有集群操作权限,目标节点的网络、Agent 状态正常;选择受支持的 SelectDB Enterprise 内核版本。内核版本要求 License 时,提前准备对应的 License 文件和公钥文件。

选择集群类型

进入“新建/接管集群”,选择存算一体集群,然后单击新建

这是SelectDB Enterprise Manager的“新建/接管集群”界面,对应存算一体集群的创建操作步骤。界面左侧提供“存算一体集群”和“存算分离集群”两种集群类型选项,其中“存算一体集群”选项被红色框标注突出显示,该选项下方设有蓝色的“新建”按钮,“存算分离集群”选项下方也设有蓝色按钮。界面上方明确标注了“新建/接管集群”的功能标题,用于引导用户选择集群类型并完成后续的新建操作,与文档中选择存算一体集群后点击新建的操作步骤完全对应。

配置环境和版本

填写集群名称、部署版本、数据库管理员密码及页面要求的环境信息。确认安装包路径、端口和主机资源满足要求。

  • 不需要 License 的页面情形

    图片展示的是SelectDB Enterprise Manager中新建存算一体集群的环境配置页面。页面上方有“新建存算一体集群”标题及5个步骤选项。环境配置部分,集群名称为“Test”,数据库版本为“selectdb - cluster - 3.1.4 - dan - x86_64”,数据库root用户密码需填写,还设有“开启FQDN”开关。该页面对应文档中“不需要License的页面情形”部分,用于新建存算一体集群时填写相关环境配置信息。

  • 需要 License 的页面情形

    这张图片是《Enterprise Manager使用手册》中“新建存算一体集群”流程里的页面,为需要License的页面情形,页面核心区域是被红框标注的内容,包含“上传License”模块,内有“License 文件”和“Public Key”两个上传项,各带有“选择文件”按钮;页面还显示有“环境配置”相关的“集群名称”“部署副本”等填写项,以及“开启 FQDN”的开关、“下一步”操作按钮,对应文档中“需要License的页面情形”的说明,体现了存算一体集群新建时的License相关配置步骤。

注册主机和 Agent

填写 Agent 端口并添加目标主机。确认每台主机 Agent 状态正常、节点检查通过后进入组件配置。

图片展示的是SelectDB Enterprise Manager中存算一体集群新建流程中的“注册主机和Agent”页面。页面显示当前处于“主机注册”步骤,需在目标主机上安装Agent。页面有Agent Port输入框,已输入8871,下方有两台目标主机IP,其Agent状态均为正常。页面底部有“上一步”和“下一步”按钮。该图片与文档中“注册主机和Agent”步骤的上下文对应,直观呈现了该步骤的操作界面及关键信息。

配置 FE 节点

设置 FE 的角色、端口、部署目录、元数据目录和日志目录。生产环境应按照高可用要求规划 FE Follower 数量。

图片展示的是SelectDB Enterprise Manager中新建存算一体集群的“通用配置”界面。界面中显示了HTTP、Query、RPC、Editing等端口设置,以及部署目录、元数据存储目录、日志目录等信息。在“FE节点”区域,IP地址为172.20.17.507,角色是Follower,状态为正常。右下角有“上一步”和“下一步”按钮。该图片与文档中“存算一体集群新建”部分的“配置BE节点”内容相关,用于辅助说明配置BE节点时的界面及信息填写情况。

配置 BE 节点

设置 BE 节点、端口、部署目录、存储目录和日志目录;确认节点角色和磁盘规划符合业务容量要求。

图片展示的是SelectDB Enterprise Manager中存算一体集群新建的BE配置界面。界面中“数据存储目录”处显示为“/opt/selectdb/selectdb_guide/tse/storage”,并有“点击编辑”按钮。下方“日志目录”显示为“/opt/selectdb/selectdb_guide/tse/log”,同样有“点击编辑”按钮。界面底部有“添加计算节点”按钮,右侧“计算”处显示数字“2”。该图片与上文“配置BE节点”内容相关,用于说明BE配置界面中数据存储目录和日志目录的设置位置。

其他配置

此处可配置是否自动拉起以及表名是否大小写敏感等信息

图片展示的是SelectDB Enterprise Manager中新建存算一体集群的“image_id>其他配置页面。页面中“自动拉起”开关处于开启状态,下方有“表名大小写敏感”选项,可选择“表名大小写敏感”或“表名大小写不敏感”。页面底部有“上一步”和“提交集群”按钮。该图片与上文“其他配置”image_id>此处可配置是否自动拉起以及表名是否大小写敏感等信息”的内容对应,直观呈现了可配置的选项。

提交并验证

完成其他配置后提交部署任务。在任务详情中查看各阶段执行结果;任务成功后,进入集群概览确认 FE、BE 和 Agent 均为正常状态。

提交之后界面如下,在任务运行中可以点击左侧的IP/Host查看对应 Agent 的执行日志;默认情况只展示 manager 侧的日志信息。

图片展示的是SelectDB Enterprise Manager新建集群任务运行中界面。左侧为导航栏,右侧显示任务信息,任务名称为“新建集群 - 执行中”,任务状态为“执行中”,任务ID为“021f94e4644c4c4a8666b647”。任务执行时间为2024 - 07 - 16 10:23:23,任务描述为“the job is installing, please wait...”。任务运行中可点击左侧IP/Host查看对应Agent执行日志,图中红色框突出显示了“172.20.1.67:8070”这一内容。

任务完成界面

图片展示的是SelectDB Enterprise Manager中存算一体集群新建任务完成后的界面。界面顶部显示“新建集群成功”,下方有“任务”标签,显示任务名称为“新建集群”,状态为“成功”,并有“查看日志”按钮。任务详情中列出了各阶段执行结果,如“SelectDB Core 安装”阶段,状态为“Running”,操作为“Start/Stop”。界面右侧有“取消任务”按钮。该图与上文介绍的提交并验证集群新建任务后界面的内容相呼应,直观呈现了任务完成后的状态及日志信息。

节点界面

这张图展示的是存算一体集群部署完成后的节点界面,当前页面顶部显示“集群部署成功,查看日志”,并切换至“节点”标签页,节点状态标注为“运行中”。页面分为FE节点和BE节点两个区域,FE节点列表中显示对应的IP、状态(标注为“活动”)、角色(Master)、各类端口及启动时间;BE节点列表中显示对应的IP、状态(标注为“活动”)、角色(权重:Hybrid Node)、各类端口及启动时间,界面左侧有系统功能菜单,右上角有筛选相关的操作选项。

存算分离集群

存算分离集群使用共享对象存储,并包含 Meta Service、FoundationDB 和计算组等组件。以下章节保留原有的存算分离集群创建和接管步骤,并补充新版目录配置说明。

部署存算分离集群

前提条件

  • 当前登录用户具有 SystemAdmin 或 ClusterAdmin 权限。
  • Manager 版本为 26.0.0 及以上。
  • 待部署集群必须使用受支持的 SelectDB Enterprise 内核版本;目前 selectdb-manager 不支持开源 Apache Doris 集群。如若需要管控开源版本,请前往 selectdb 官网下载社区版本的 doris-manager;
  • 内核版本要求 License 时,在部署流程中按页面提示上传有效 License 及相关文件。
  • 生产环境至少部署 3 台 FE,且单机内存规格应大于 32 GB。测试环境如需放开内存规格限制,可在配置文件中设置 FDB_RESOURCE_CHECK_ENABLE=FALSE 后重启 Manager。
  • 当前内核包支持情况以部署版本列表和当前版本发布说明为准。

操作步骤

  1. 登录manager后,根据实际业务场景,找到新建集群的入口。

    1. 如果您没有可管理的集群,系统会在首页显示 新建/接管集群 选择页面 。

    2. 如果您已经有可管理的集群,则在页面左上角,单击 "+ 新建/接管集群" 进入选择页面。

    3. 新建/接管集群页面,选择存算分离集群模式的新建按钮进入创建流程。

      图片展示了SelectDB Enterprise Manager中新建/接管集群的两种模式。左侧为存算一体集群,通过Manager在物理机、虚拟机上新建或接管Apache Doris、SelectDB Doris存算一体集群,有“新建”和“接管”按钮。右侧为存算分离集群,通过Manager在物理机、虚拟机上新建或接管Apache Doris、SelectDB Doris存算分离集群,有“新建”和“接管”按钮。该图与上文提到的在新建/接管集群页面选择存算分离集群模式后进入创建流程的内容相呼应,直观呈现了两种集群模式。

  2. 进行环境信息配置

    集群配置

    图片展示的是SelectDB Enterprise Manager中新建存算分离集群的环境配置页面。页面上方有“新建存算分离集群”标题,下方有5个步骤选项,当前选中“1 环境配置”。配置区域有“集群名称”输入框,示例为“TestCloud”,“部署版本”下拉框显示“selectdb-doris-3.1.4-bin-x64”,“数据库root用户密码”输入框显示为“* * * * * * * * * * * *”。该页面是存算分离集群新建流程中的第一步,用于输入集群相关配置信息。

    集群配置填写说明如下表所示:

    配置描述
    集群名称自定义待创建的集群名称。以字母(大小写不敏感)或者汉字开头,支持数字和 _,最多 64 个字符。
    部署版本可以从列表中选择已有的 Doris 版本。如要新增版本,需要将安装包上传到自定义的 Doris 本地安装包路径
    数据库 root 用户密码Doris 集群的 root 用户密码,长度为 8~20 个字符,且包含字母、数字和特殊字符 _@()-*:

    存算分离配置

    图片展示的是SelectDB Enterprise Manager中存算分离集群的存算分离配置界面。界面中有元数据存储和数据存储的配置选项,元数据存储可选择使用内置的FoundationDB或使用外部的FoundationDB,当前选中内置。数据存储选择对象存储,对象存储服务为COS,地域为ap-beijing-1,Endpoint为cos.ap-beijing-1.myqcloud.com,存储桶为test - bucket,存储路径为/,Access Key和Secret Key处有相应内容。该界面与文档中存算分离集群部署配置内容相关,用于设置存算分离集群的相关参数。

    存算配置填写说明如下表所示:

    配置项说明
    对象存储服务要新建的存算分离集群具体使用的对象存储服务,支持COSOSSS3OBSBOSAZURE
    要求至少有对象存储的put、get、list、delete、multipartupload 权限。
    地域存储桶所在的区域
    Endpoint用于对象存储的端点,填写地域后自动生成
    存储桶对象存储账户的存储桶 (如果您使用 Azure,则为 Blob Container Name)
    存储路径数据在指定存储桶下的存储路径
    AccessKey对象存储账户的访问密钥。(如果您使用 Azure,则为 AccountName)
    SecretKey对象存储账户的秘密密钥。(如果您使用 Azure,则为 AccountKey)

    存算分离配置填写完成后,点击测试连接 测试对象存储账号的连通性,通过后进入主机注册页面。

  3. 进行主机注册

    通过 Manager 部署集群时,需要先在管控机器上部署Agent, 然后进行主机注册,具体流程如下

    • 填写Agent Port,该端口用户manager和agent通过HTTP协议进行通信,集群中所有主机的 Agent 端口必须保持一致。

      图片展示的是SelectDB Enterprise Manager中新建存算分离集群的主机注册界面。界面显示当前处于主机注册步骤,需在目标主机上安装Agent。界面有Agent Port输入框,当前显示8972;IP输入框提示请输入。右侧有Agent状态显示为“待检查”,并有操作栏。下方有“上一步”和“下一步”按钮。该图与文档中进行主机注册的流程说明相关,直观呈现了主机注册时的界面及需填写的参数信息。

    • 点击查看,弹出一键部署安装指引,在管控机器Agent的安装目录下进行机器参数检查(可选)Agent一键部署

      图片展示的是SelectDB Enterprise Manager中Agent安装指引界面。界面分为两部分,上方是机器参数检查,需用户有sudo权限,参数修改需重启终端生效,会检查系统参数是否满足Doris部署要求,包括max map count、max opened files等参数及结果;下方是Agent一键部署,运行指令检查agent正常运行所需机器环境,并在机器上部署agent服务,有wget指令及相关说明。该图片与文档中“进行主机注册”步骤下“点击查看,弹出一键部署安装指引,在管控机器Agent的安装目录下进行机器参数检查(可选)和Agent一键部署”内容对应,直观呈现了操作指引。

      该图片展示了存算分离集群部署流程中,管控机器Agent一键部署完成的命令行操作日志内容,涵盖agent部署的执行命令、资源下载进度、安装过程的各类状态提示信息,包括部署文件保存情况、相关目录检测信息、软件包的下载与解压结果,以及最终输出的Agent安装完成的成功祝贺信息,直观呈现了Agent一键部署操作的全过程及结果。

    • 输入IP信息,Manager 会自动检测主机的 Agent 状态。主机添加完毕,状态检查都正常后,点击下一步进入FE配置

      图片展示的是SelectDB Enterprise Manager中新建存算分离集群的界面。界面提示部署集群前需在目标主机上安装Agent。目标主机部分显示Agent Port为8099,有三个IP地址及其对应的Agent状态均为正常。下方有“+ 节点”按钮可批量添加节点,以及“上一步”和“下一步”按钮。该图片与上文提到的在管控机器Agent安装目录下进行机器参数检查和Agent一键部署,以及输入IP信息后点击下一步进入FE配置的内容相关,直观呈现了操作界面。

  4. 进行FE配置

    在 FE 配置中对 FE 节点 的端口、角色、部署目录等进行配置。分为通用配置FE节点两部分。

    图片展示的是SelectDB Enterprise Manager中新建存算分离集群的FE配置界面。界面分为通用配置和FE节点两部分。通用配置中,Http Port、Query Port等端口已设置,部署目录为/opt/selectdb/selectdb_cloud,Meta Service、FDB等服务目录也已填写。FE节点部分显示有1个节点,IP为10.10.10.10,角色为Follower,机器环境为待检查。该界面与上文进行FE配置的内容对应,用于对FE节点的端口、角色、部署目录等进行配置。

    • 通用配置:代表所有的 FE 节点使用的各端口、部署目录、元数据存储目以及日志目录的配置,系统给出了一个默认值,您可以依据机器环境情况进行修改。配置具体说明如下表:

      配置项说明
      Http PortFE 上的 HTTP Server 端口,所有 FE 的 http_port 必须保持一致,默认8030。
      通信方向 FE <-> FE,Client <-> FE
      Query PortFE 上的 MySQL Server 端口,默认9030。
      通信方向 Client <-> FE
      RPC PortFE 上的 Thrift Server 端口,每个 FE 的配置需保持一致,默认9020
      通信方向 BE -> FE,FE <-> FE
      Editlog PortFE 上的 bdbje 通信端口,默认9010
      通信方向 FE <-> FE
      Meta Service PortMetaService端口
      FDB PortFoundationDB端口
      Arrow Flight SQL PortArrow Flight SQL 端口
      部署目录FE节点的部署目录
      元数据存储目录Doris 元数据存储目录,默认值为 {FE部署目录}/doris-meta
      日志目录FE 日志的存储路径。其中该目录下的fe.audit.log 中记录了这台 FE 节点执行的所有数据库操作。
    • FE 节点:从成功完成注册的主机中选择节点 ,指定节点的角色,FE Follower 建议为奇数个,展开自定义配置,可以对 FE 节点的各端口、优先级网络、部署目录、元数据存储目录以及日志目录进行修改。

      图片展示的是SelectDB存算分离集群部署中BE配置页面。页面显示FE节点IP为172.20.17.126,角色为Follower,机器环境正常。配置了Http Port、Query Port、RPC Port、Editlog Port、Meta Service Port、FDB Port等端口,以及Priority Networks、部署目录、元数据存储目录、日志目录等信息。页面右上角有“保存”和“取消”操作按钮。该图片与文档中“在BE配置页面中对BE节点的端口、角色、部署目录等进行配置”的内容对应,直观呈现了配置界面。

    添加完FE节点并且机器环境检查都正常之后,点击下一步进入BE配置页面。

  5. 进行BE 配置

    在 BE 配置页面中对 BE 节点 的端口、角色、部署目录等进行配置,分为通用配置BE节点两部分。

    图片展示的是SelectDB Enterprise Manager中新建存算分离集群的BE配置页面。页面分为通用配置和BE节点两部分。通用配置中,BE Port、Webserver Port、Heartbeat Port、BRPC Port、Arrow Flight SQL Port等端口已设置,部署目录为/opt/selectdb/selectdb_cloud,日志目录为/opt/selectdb/selectdb_cloud/bee/log,文件存储目录为/opt/selectdb/selectdb_cloud/bee/file_cache,文件缓存容量为50GB。BE节点部分显示IP为172.20.17.707,机器环境为正常,Priority Networks为172.20.17.0/24。该页面是部署存算分离集群时BE配置的配置界面。

    • 通用配置:代表所有的 BE 节点使用的各端口、部署目录、数据存储目录、日志目录以及文件缓存的配置,系统给出了一个默认值,可以依据机器环境情况进行修改。配置具体说明如下表:

      配置项说明
      BE PortBE 上 Thrift Server 的端口,用于接收来自 FE 的请求,默认9060
      通信方向 FE -> BE
      Webserver PortBE 上的 HTTP Server 端口,默认8040
      通信方向 BE <-> BE
      Heartbear PortBE 上的心跳服务端口(Thrift),用于接收来自 FE 的心跳,默认9050
      通信方向 FE -> BE
      BRPC PortBE 上的 BRPC 端口,用于 BE 之间的通信,默认8060
      通信方向 FE <-> BE,BE <-> BE
      Arrow Flight SQL PortBE 上的 Arrow Flight SQL 通信端口,默认8070
      部署目录BE节点的部署目录
      日志目录BE 日志的存储路径
      文件缓存用于文件缓存的磁盘路径和限制缓存的大小。
    • BE 节点:从成功完成注册的主机中选择节点,创建计算组。存算分离集群中BE 节点不再存储主数据,而是将共享存储层作为统一的数据主存储空间。同时,为了应对底层对象存储系统性能不佳和网络传输带来的性能下降,Doris 引入计算节点本地高速缓存。

    添加完BE节点并且机器环境检查都正常之后,点击下一步进入其他配置页面。

  6. 进行其他配置

    在其他配置中对自动拉起及表名大小写是否敏感进行配置,具体说明如下:

    • 开启自动管控模式,Manager 会在机器上为 Doris 进程设置自动拉起守护。如果您不希望 Manager 干预,可以选择关闭自动模式。

    • 表名大小写敏感,设置lower_case_table_names的值来指定集群的表名大小写是否敏感。

      图片展示的是SelectDB Enterprise Manager中新建存算分离集群的“其他配置”页面。页面显示当前处于第5步,有“上一步”和“部署集群”按钮。高级配置部分,自动拉起开关处于开启状态,说明Manager会在机器上为Doris进程设置自动拉起守护。表名大小写敏感选项中,表名大小写敏感被选中。该页面是集群新建流程中存算分离集群部署步骤的一部分,用于设置集群相关配置。

  7. 部署和进入集群

    点击部署集群,Manager 会进行集群部署,您可以在新建集群页面看到详细的部署流程及进展

    图片展示的是SelectDB Core安装日志界面。左侧为导航栏,有集群、设置、往期、设置、Studio等选项。右侧上方显示“新建集群 - 等待中”,下方是安装日志内容,记录了从2024 - 01 - 16 05:06:27到2024 - 01 - 16 05:06:27的安装日志信息,如开始执行阶段、下载包、更新状态等。该图与文档中“部署存算分离集群”部分相关,用于展示集群部署过程中的日志信息。

    在部署成功后,您将看到集群的访问信息,以及初始化的 admin 用户密码,您可以复制保存这些信息。 Manager 不保存用户的密码,这些密码信息仅在这里出现一次。您可以在集群详情看到数据库的连接信息,但不会看到密码信息。

    接下来点击 进入集群 ,即可进入 Manager 查看、运维集群。

    图片展示的是存算分离集群部署成功后的集群访问信息页面。页面上方显示“集群部署”及“集群部署成功”字样。下方有连接信息,包括Doris Manager的访问地址、账号、密码等,以及MySQL协议和HTTP协议的访问地址、账号等。右上角有“复制连接信息”按钮。底部有一个蓝色的“进入集群”按钮。该图片与上文介绍的存算分离集群部署成功后,可看到集群访问信息及初始化admin用户密码的内容相呼应,指导用户后续进入集群查看运维。