流数据处理资源

备注

该内容适用于 企业数据平台 > 流数据处理。 如果你在使用该服务的旧版本,参见 流数据处理(旧版)资源


流数据处理服务能充分满足处理设备和资产的实时数据,以及处理经离线消息通道集成的历史数据的需求。流数据处理服务沉淀了多套能源领域计算模板及通用算子,数据开发者无需编码即可快速开发数据处理解决方案。


有关流数据处理的详细信息,请参见 流数据处理

申请流数据处理资源场景

安装流数据处理算法模板和原生算子库之前、以及配置流数据处理任务所需运行资源之前,都需要申请流数据处理资源。流数据处理资源包括以下三种资源模式:

  • Streaming设计态资源:用于安装流数据处理算法模板和原生算子库、创建和设计流数据处理任务。

  • 集群模式运行资源:用于以集群模式运行流数据处理任务。

  • Standalone模式运行资源:用于以Standalone模式运行流数据处理任务。

流数据处理资源规格

流数据处理资源提供的资源模式均以计算单元(CU)为单位,不同资源模式下不同的资源规格对应着不同的数据处理能力。同种资源模式下规格越高,处理效率越高,单位时间内处理的数据量越大。对各类资源模式的详细功能说明如下:

  • Streaming设计态资源:Streaming设计态资源用于创建和设计流数据处理任务,在进行原生拖拽式流任务编排及调试时,需要安装相关lib包或临时运行相关任务,设计态资源能够提供相关的计算及存储资源。

  • 集群模式运行资源:当流数据处理处理量较大且处理性能要求较高,可使用集群模式运行,集群模式运行资源能够提供相关模式下的计算及存储资源。

  • Standalone模式运行资源:当流数据处理处理量较小且对成本控制严格,可使用Standalone模式运行,Standalone模式运行资源能够提供相关模式下的计算及存储资源。

备注

同种资源模式下可申请资源数量上限为1。

Streaming设计态资源规格说明

资源模式

计算能力

业务参考

标准规格

1CU

1CU = 1核CPU + 2G内存,1CU 设计态资源支持安装3个lib包。

标准规格X2

2CU

1CU = 1核CPU + 2G内存,2CU 设计态资源支持安装6个lib包。

标准规格X3

3CU

1CU = 1核CPU + 2G内存,3CU 设计态资源支持安装9个lib包。

标准规格X4

4CU

1CU = 1核CPU + 2G内存,4CU 设计态资源支持安装12个lib包。

集群模式运行资源规格说明

资源模式

计算能力

标准规格

  • Yarn Cluster:8CU;

  • StreamSets Server:4CU

标准规格X2

  • Yarn Cluster:16CU;

  • StreamSets Server:8CU

标准规格X3

  • Yarn Cluster:24CU;

  • StreamSets Server:12CU

标准规格X4

  • Yarn Cluster:32 CU;

  • StreamSets Server:16CU

标准规格X5

  • Yarn Cluster:40CU;

  • StreamSets Server:20CU

标准规格X6

  • Yarn Cluster:48CU;

  • StreamSets Server:24CU

标准规格X7

  • Yarn Cluster:56CU;

  • StreamSets Server:28CU

标准规格X8

  • Yarn Cluster:64CU;

  • StreamSets Server:32CU

备注

业务参考:1CU = 1核CPU + 2G内存,简单业务下如单流过滤、字符串变换等操作,1CU集群资源每秒可以处理4000 ~ 11000条数据;1CU StreamSets Server可运行1条pipeline。

Standalone模式运行资源规格说明

资源模式

计算能力

标准规格

4CU

标准规格X2

8CU

标准规格X3

12CU

标准规格X4

16CU

标准规格X5

20CU

标准规格X6

24CU

标准规格X7

28CU

标准规格X8

32CU

备注

业务参考:1CU = 1核CPU + 2G内存,简单业务下如单流过滤、字符串变换等操作,1CU Standalone资源每秒可以处理4000 ~ 11000条数据;1CU Standalone资源可运行2条pipeline。