数据同步概述¶
EnOS 数据同步服务实现了在多种异构数据源之间的数据同步，可帮助数据开发人员进行如下数据同步任务：
同步结构化数据：将源数据库中的结构化数据（即可作为二维表抽象的数据）同步到 EnOS Hive 数据仓库，或将 EnOS Hive 数据仓库中的数据同步到目的数据库
同步文件流：将源数据库中的文件同步到 EnOS 文件存储 HDFS（目前支持 Azure BLOB 数据源）
数据同步任务流是一种特定类型的任务流。数据同步任务流的本质是包含单一数据同步任务类型的任务流，如下图所示：
数据同步服务的主要功能组成和架构，如下图所示：
使用场景¶
数据同步包括以下典型的场景。
同步所有数据¶
同步所有数据通常使用在初次集成数据时，你可以一次性同步数据源中的完整数据至EnOS。更多信息，参考 创建从外部数据库同步数据到Hive库的手动调度的任务。
同步增量数据¶
同步增量数据场景通常运用于初次集成之后，此时你只需定期同步新数据或更新数据。你可以通过 where 语句指定要同步的增量数据。更多信息，参考 创建从外部数据库同步数据到Hive库的周期调度的任务。
同步文件¶
将文件从外部源数据库同步至 EnOS 文件存储 HDFS。更多信息，参考 从外部数据库同步文件到文件存储HDFS。
支持的数据源版本¶
数据同步服务支持的数据源版本如下：
数据源 |
版本 |
|---|---|
MYSQL |
8.0.16 |
Redis |
3.0.1 |
GitLab |
4.1.0 |
SQL Server |
4.0 |
S3 |
1.11.608 |
BLOB |
8.0.0 |
ORACLE |
10.2.0.4.0 |
Mongo DB |
3.12.7 |
FTP / SFTP |
N/A |
PostgreSQL |
42.2.8 |
资源准备¶
计算资源和存储资源
使用数据同步服务之前，需要准备以下资源：
批数据处理资源（大数据队列和容器计算资源）：配置数据同步任务、使用 Hive、Spark 处理离线数据前，需申请批数据处理资源。
数据仓库存储资源：运行离线数据分析任务、创建 Hive 表并将数据写入 Hive 表前，需申请数据仓库存储资源。
文件存储 HDFS 资源：运行数据分析任务将文件存储到 HDFS 前，需申请文件存储 HDFS 资源。
OU 管理员可通过 EnOS 管理控制台 > 资源管理 页面，根据业务需要，申请相应规格的资源。有关申请 计算资源和存储资源 的详细信息，参见 资源规格说明。
当业务不再需要运行数据同步任务时，可通过 资源管理 页面删除和释放已申请的资源，降低资源使用成本。