跳到主要内容
版本:26.x

导入

导入模块为数据集成提供统一的可视化入口。你可以通过导入模块,将外部数据源的数据导入到 SelectDB Cloud 仓库中,支持批量导入和持续导入,并支持在导入过程中自动创建目标表。

在左侧导航栏中进入 数据集成 > 导入,点击右上角 新建导入任务,即可开始创建导入任务。

支持的数据源

导入模块目前支持以下类型的数据源:

类型数据源
数据库MySQL、PostgreSQL
对象存储OSS 对象存储
事件流Apache Kafka

创建导入任务

不同数据源的配置项会有所差异,但整体创建流程一致。下面以数据库数据源(PostgreSQL)为例,介绍导入任务的创建步骤。

1. 选择数据源

在导入页面点击 新建导入任务,然后从所需数据源类型中选择具体的数据源,例如 PostgreSQL。

2. 配置数据源连接

根据向导要求填写连接信息,确保 SelectDB Cloud 可以访问数据源:

  • 任务名称:为导入任务填写唯一且易于识别的名称。
  • 连接凭证:根据数据源类型填写主机、端口、数据库、用户名、密码或 AK/SK 等信息。部分数据源可按需开启 SSL。

点击 下一步 后,系统会在后台校验网络连通性和连接凭证。

3. 配置数据表

配置目标库和需要读取的数据范围:

  • 目标数据库:选择写入已有数据库,或创建新的数据库。
  • 同步类型:选择全量 + 增量同步,或仅增量同步。
  • 同步对象:根据数据源类型选择要同步的数据:
    • 数据库:选择需要同步的 schema 和表,可展开表并在列设置中配置列级过滤。
    • 事件流:指定需要消费的 topic 和起始 offset。
    • 对象存储:指定 bucket 路径和文件匹配规则。

4. 配置任务参数

配置导入任务的运行参数:

  • 同步间隔:设置数据拉取频率,单位为秒,默认值为 60。
  • 严格模式:开启后,会在导入过程中对列类型转换进行严格校验。

5. 检查并确认

系统会自动执行预检查,包括网络连通性、源端权限以及目标端权限。例如,使用 CDC 导入数据库数据时,源端需要具备 WAL 或 binlog 相关权限;目标端需要具备建表和写入权限。

当所有检查项均显示成功后,点击 启动 创建并运行导入任务。

6. 管理和监控

任务启动后,页面会返回导入任务列表。你可以查看每个任务的运行状态(如运行中、已暂停、失败等)和创建时间,也可以通过任务右侧的操作菜单对任务执行暂停、恢复、编辑或删除等操作。

跨云账号授权

数据集成支持访问对象存储服务中的数据,您可以通过跨账号授权,授予 SelectDB 云账户访问您云厂商账户下对象存储的权限,以便通过导入功能,将您在对象存储中的数据导入到 SelectDB 仓库中。

因为不同云厂商,跨账户授权的操作各不相同,为方便大家操作,现将跨账户授权的具体步骤整理如下,供大家参考。

阿里云

请通过以下步骤完成创建跨账户角色创建与授权:

  1. 访问RAM 访问控制,选择角色菜单,点击创建角色按钮。

  1. 选择可信实体类型中选择阿里云账号,并点击下一步按钮。

  1. 配置角色名称,在选择信任的云账号选择其他云账号并填入 SelectDB 阿里云账号,并点击完成按钮。

  1. 接下来,点击为角色授权

  1. 我们建议您授予角色对象存储服务(OSS)读写权限,点击确定按钮完成授权。

  1. 点击角色列表中的角色名进入详情,将RAM 角色名称ARN复制到 SelectDB Cloud 导入功能页面中。

腾讯云

请通过以下步骤完成创建跨账户角色创建与授权:

  1. 访问访问管理,选择角色菜单,点击新建角色按钮。

  1. 选择角色载体中选择腾讯云账户

  1. 云账号类型选择其他主账号,并在账号ID填入SelectDB 腾讯云ID,在外部ID勾选开启校验并填入外部ID点击 下一步

  1. 我们建议您在配置角色策略中,为角色授予对象存储(COS)读写权限,点击下一步

  1. 您可以按照需要添加角色标签,这是非强制的,点击下一步。

  1. 配置角色名称,并点击完成按钮。

  1. 点击角色列表中的角色名进入详情,将角色名称RoleArn复制到 SelectDB Cloud 导入功能页面中。

华为云

请通过以下步骤完成创建跨账户角色创建与授权:

  1. 访问统一身份认证服务,选择角色菜单,点击创建委托按钮。

  1. 配置委托名称,在委托类型中选择普通账号,在委托的账号填入 selectdbcloud,并点击下一步

  1. 对委托进行授权,我们建议您授予委托对象存储服务(OBS)OBS OperateAccess权限,这个权限涵盖了读写与删除,但 SelectDB 只会按照用户的要求读取、写入数据。

您也可以使用自定义权限,授予 SelectDB 最小范围访问权限。

以下为 JSON 格式的授权内容,供大家参考。

{
"Version": "1.1",
"Statement": [
{
"Effect": "Allow",
"Action": [
"obs:object:GetObject",
"obs:bucket:GetBucketLocation",
"obs:bucket:HeadBucket",
"obs:bucket:ListAllMyBuckets",
"obs:bucket:ListBucket",
"obs:object:GetObjectVersion",
"obs:object:PutObject"
]
}
]
}
  1. 选择授权的范围,并点击确定完成创建。

  1. 在角色列表页,鼠标悬浮在角色名上,将提示信息中第一行的委托名称您的云账号名称复制到 SelectDB Cloud 导入功能页面中。