流数据处理资源

备注

该内容适用于 企业数据平台 > 流数据处理。 如果你在使用该服务的旧版本,参见 流数据处理(旧版)资源


流数据处理服务能充分满足处理设备和资产的实时数据,以及处理经离线消息通道集成的历史数据的需求。流数据处理服务沉淀了多套能源领域计算模板及通用算子,数据开发者无需编码即可快速开发数据处理解决方案。


有关流数据处理的详细信息,请参见 流数据处理

申请流数据处理资源场景

安装流数据处理算法模板和原生算子库之前、以及配置流数据处理任务所需运行资源之前,都需要申请流数据处理资源。流数据处理资源包括以下三种资源模式:

  • 设计态资源:用于安装流数据处理算法模板和原生算子库、创建和设计流数据处理任务。

  • 集群模式运行资源:用于以集群模式运行流数据处理任务。

  • Standalone模式运行资源:用于以 Standalone 模式运行流数据处理任务。

流数据处理资源规格

流数据处理资源提供的资源模式均以计算单元(CU)为单位,不同资源模式下不同的资源规格对应着不同的数据处理能力。同种资源模式下规格越高,处理效率越高,单位时间内处理的数据量越大。对各类资源模式的详细功能说明如下:

  • 设计态资源:设计态资源用于创建和设计流数据处理任务,在进行原生拖拽式流任务编排及调试时,需要安装相关 lib 包或临时运行相关任务,设计态资源能够提供相关的计算及存储资源。

  • 集群模式运行资源:当流数据处理处理量较大且处理性能要求较高,可使用集群模式运行,集群模式运行资源能够提供相关模式下的计算及存储资源。

  • Standalone 模式运行资源:当流数据处理处理量较小且对成本控制严格,可使用 Standalone 模式运行,Standalone 模式运行资源能够提供相关模式下的计算及存储资源。

备注

同种资源模式下可申请资源数量上限为1。

设计态资源规格说明

资源类型

资源说明

CU

1 CU = 1 Core CPU + 2 GB 内存,1CU 设计态资源支持安装 3 个 lib 包。支持的申请范围为 1 ~ 100 CU

集群模式运行资源规格说明

资源类型

资源规格

资源说明

容器资源

CU

1 CU = 1核 CPU + 2 GB 内存,运行一条流任务大概需要1 CU 容器资源,该资源主要用于任务提交、运行指标收集等。

集群资源

CU

1 CU = 1 核 CPU + 2 GB 内存,简单业务下1 CU 每秒可以处理2700~3700条数据。例如,单流过滤、字符串变换等操作;复杂业务下1 CU 每秒可以处理900~3300条数据。例如,WINDOW、UDF 和HTTP 请求等操作。

Standalone模式运行资源规格说明

资源类型

资源说明

CU

1 CU = 1 Core CPU + 2 GB 内存。支持的申请范围为 1 ~ 2000 CU。

备注

业务参考:1 CU = 1 核 CPU + 2 GB 内存,简单业务下 1 CU 每秒可以处理 6000 ~ 16000 条数据。例如,单流过滤、字符串变换等操作; - 复杂业务下 1 CU 每秒可以处理 2000 ~ 10000 条数据。例如,WINDOW、UDF 和 HTTP 请求等操作。