数据集成
SelectDB Cloud 提供外部数据查询、数据导入和集群迁移能力。登录 SelectDB Cloud 控制台,选择目标仓库后,可以从左侧导航栏进入 目录、导入 或 迁移。
如何选择
| 需求 | 使用功能 | 说明 |
|---|---|---|
| 数据保留在外部系统,按需查询 | 目录 | 创建外部 Catalog,映射外部数据库或数据湖。查询不等同于将数据导入仓库。 |
| 将外部数据写入仓库,批量处理或持续消费 | 导入 | 使用可视化向导或 SQL 导入。当前通用入口提供 Apache Kafka 和样例数据,其他数据源入口受环境能力控制。 |
| 将已有分析集群中的数据库和表迁入仓库 | 迁移 | 支持 Apache Doris、SelectDB Enterprise,以及 BETA 阶段的 Starrocks。通过临时对象存储中转,执行所选对象的数据迁移。 |
外部目录
在 目录 页单击 添加外部目录,可以连接 MySQL、PostgreSQL,或创建 TPCDS、TPCH 样例目录。Hive、Iceberg、Hudi 等数据湖目录可在 SQL 编辑器中通过 CREATE CATALOG 创建,所需属性由具体目录类型决定。
对象存储是数据存放位置,不代表任意文件都能直接通过一个通用 Catalog 查询。应结合文件格式、元数据服务及 Catalog 类型选择接入方案;需要将文件写入仓库时,使用对应的文件导入方式。
数据导入
导入 页用于创建和查看导入任务。Apache Kafka 向导使用 Routine Load 持续消费;样例数据入口用于快速加载演示或基准测试数据。
数据库 CDC 和对象存储导入入口只在对应能力启用的环境中展示。页面没有对应入口时,可以使用受支持的 SQL 或外部数据集成工具,不能将 Kafka 向导的配置步骤直接套用于数据库和对象存储。
导入方式及适用场景参见数据导入中的 Stream Load 说明,以及对应导入方式文档。
数据迁移
迁移 适合迁入已有数据库和表,不等同于持续 CDC 同步,也不自动完成客户端切换、账号权限和所有外围系统的迁移。迁移完成后,需要校验表结构与数据,并根据业务需求安排增量补齐和访问切换。
网络与权限
- 访问私网数据源前,先配置网络连接,确认主机、端口和路由可达。
- 源端凭证需要具有读取所选数据的权限;目标数据库用户需要具有相应建库、建表和写入权限。
- 对象存储授权应覆盖任务实际使用的 Bucket 和路径。读取文件与迁移中转所需权限不同,避免直接套用宽泛的读写策略。
- 导入和迁移会消耗计算、存储和网络资源,启动前应核对数据量、并发和业务负载。