流数据处理资源¶
流数据处理服务能充分满足处理设备和资产的实时数据,以及处理经离线消息通道集成的历史数据的需求。流数据处理服务沉淀了多套能源领域计算模板及通用算子,数据开发者无需编码即可快速开发数据处理解决方案。
有关流数据处理的详细信息,参见 流数据处理。
申请流数据处理资源场景¶
安装流数据处理算法模板和原生算子库之前、以及配置流数据处理任务所需运行资源之前,都需要申请流数据处理资源。流数据处理资源包括以下三种资源模式:
设计态资源:用于安装流数据处理算法模板和原生算子库、创建和设计流数据处理任务。
集群模式运行资源:用于以集群模式运行流数据处理任务。
Standalone模式运行资源:用于以 Standalone 模式运行流数据处理任务。
流数据处理资源规格¶
流数据处理资源提供的资源模式均以计算单元(CU)为单位,不同资源模式下不同的资源规格对应着不同的数据处理能力。同种资源模式下规格越高,处理效率越高,单位时间内处理的数据量越大。对各类资源模式的详细功能说明如下:
设计态资源:设计态资源用于创建和设计流数据处理任务,在进行原生拖拽式流任务编排及调试时,需要安装相关 lib 包或临时运行相关任务,设计态资源能够提供相关的计算及存储资源。
集群模式运行资源:当流数据处理处理量较大且处理性能要求较高,可使用集群模式运行,集群模式运行资源能够提供相关模式下的计算及存储资源。
Standalone 模式运行资源:当流数据处理处理量较小且对成本控制严格,可使用 Standalone 模式运行,Standalone 模式运行资源能够提供相关模式下的计算及存储资源。
备注
每个 OU 下同种资源模式可申请资源实例数量上限为1。
设计态资源规格说明¶
资源类型 |
资源说明 |
---|---|
CU |
1 CU = 1 Core CPU + 2 GB 内存,1 CU 设计态资源支持安装 3 个 lib 包。支持的申请范围默认为 1 ~ 100 CU。 |
集群模式运行资源规格说明¶
资源类型 |
资源规格 |
资源说明 |
---|---|---|
容器资源 |
CU |
1 CU = 1核 CPU + 2 GB 内存,运行一条流任务大概需要 1 CU 容器资源,该资源主要用于任务提交、运行指标收集等。 |
集群资源 |
CU |
1 CU = 1 核 CPU + 2 GB 内存,简单业务下 1 CU 每秒可以处理 2700 ~ 3700 条数据。例如,单流过滤、字符串变换等操作;复杂业务下 1 CU 每秒可以处理 900 ~ 3300 条数据。例如,WINDOW、UDF 和 HTTP 请求等操作。 |
Standalone 模式运行资源规格说明¶
资源类型 |
资源说明 |
---|---|
CU |
1 CU = 1 Core CPU + 2 GB 内存。支持的申请范围默认为 1 ~ 2000 CU。 |
备注
业务参考:1 CU = 1 核 CPU + 2 GB 内存,简单业务下 1 CU 每秒可以处理 6000 ~ 16000 条数据。例如,单流过滤、字符串变换等操作; - 复杂业务下 1 CU 每秒可以处理 2000 ~ 10000 条数据。例如,WINDOW、UDF 和 HTTP 请求等操作。