跳到主要内容
版本:26.x

数据集成

SelectDB Cloud 提供外部数据查询、数据导入和集群迁移能力。登录 SelectDB Cloud 控制台,选择目标仓库后,可以从左侧导航栏进入 目录、导入 或 迁移。

如何选择​

需求使用功能说明
数据保留在外部系统,按需查询目录创建外部 Catalog,映射外部数据库或数据湖。查询不等同于将数据导入仓库。
将外部数据写入仓库,批量处理或持续消费导入使用可视化向导或 SQL 导入。当前通用入口提供 Apache Kafka 和样例数据,其他数据源入口受环境能力控制。
将已有分析集群中的数据库和表迁入仓库迁移支持 Apache Doris、SelectDB Enterprise,以及 BETA 阶段的 Starrocks。通过临时对象存储中转,执行所选对象的数据迁移。

外部目录​

在 目录 页单击 添加外部目录,可以连接 MySQL、PostgreSQL,或创建 TPCDS、TPCH 样例目录。Hive、Iceberg、Hudi 等数据湖目录可在 SQL 编辑器中通过 CREATE CATALOG 创建,所需属性由具体目录类型决定。

对象存储是数据存放位置,不代表任意文件都能直接通过一个通用 Catalog 查询。应结合文件格式、元数据服务及 Catalog 类型选择接入方案;需要将文件写入仓库时,使用对应的文件导入方式。

数据导入​

导入 页用于创建和查看导入任务。Apache Kafka 向导使用 Routine Load 持续消费;样例数据入口用于快速加载演示或基准测试数据。

数据库 CDC 和对象存储导入入口只在对应能力启用的环境中展示。页面没有对应入口时,可以使用受支持的 SQL 或外部数据集成工具,不能将 Kafka 向导的配置步骤直接套用于数据库和对象存储。

导入方式及适用场景参见数据导入中的 Stream Load 说明,以及对应导入方式文档。

数据迁移​

迁移 适合迁入已有数据库和表,不等同于持续 CDC 同步,也不自动完成客户端切换、账号权限和所有外围系统的迁移。迁移完成后,需要校验表结构与数据,并根据业务需求安排增量补齐和访问切换。

网络与权限​

  • 访问私网数据源前,先配置网络连接,确认主机、端口和路由可达。
  • 源端凭证需要具有读取所选数据的权限;目标数据库用户需要具有相应建库、建表和写入权限。
  • 对象存储授权应覆盖任务实际使用的 Bucket 和路径。读取文件与迁移中转所需权限不同,避免直接套用宽泛的读写策略。
  • 导入和迁移会消耗计算、存储和网络资源,启动前应核对数据量、并发和业务负载。