流数据处理资源¶
备注
该内容适用于 企业数据平台 > 流数据处理。 如果你在使用该服务的旧版本,参见 流数据处理(旧版)资源 。
流数据处理服务能充分满足处理设备和资产的实时数据,以及处理经离线消息通道集成的历史数据的需求。流数据处理服务沉淀了多套能源领域计算模板及通用算子,数据开发者无需编码即可快速开发数据处理解决方案。
有关流数据处理的详细信息,请参见 流数据处理。
申请流数据处理资源场景¶
安装流数据处理算法模板和原生算子库之前、以及配置流数据处理任务所需运行资源之前,都需要申请流数据处理资源。流数据处理资源包括以下三种资源模式:
Streaming设计态资源:用于安装流数据处理算法模板和原生算子库、创建和设计流数据处理任务。
集群模式运行资源:用于以集群模式运行流数据处理任务。
Standalone模式运行资源:用于以Standalone模式运行流数据处理任务。
流数据处理资源规格¶
流数据处理资源提供的资源模式均以计算单元(CU)为单位,不同资源模式下不同的资源规格对应着不同的数据处理能力。同种资源模式下规格越高,处理效率越高,单位时间内处理的数据量越大。对各类资源模式的详细功能说明如下:
Streaming设计态资源:Streaming设计态资源用于创建和设计流数据处理任务,在进行原生拖拽式流任务编排及调试时,需要安装相关lib包或临时运行相关任务,设计态资源能够提供相关的计算及存储资源。
集群模式运行资源:当流数据处理处理量较大且处理性能要求较高,可使用集群模式运行,集群模式运行资源能够提供相关模式下的计算及存储资源。
Standalone模式运行资源:当流数据处理处理量较小且对成本控制严格,可使用Standalone模式运行,Standalone模式运行资源能够提供相关模式下的计算及存储资源。
备注
同种资源模式下可申请资源数量上限为1。
Streaming设计态资源规格说明¶
资源模式 |
计算能力 |
业务参考 |
---|---|---|
标准规格 |
1CU |
1CU = 1核CPU + 2G内存,1CU 设计态资源支持安装3个lib包。 |
标准规格X2 |
2CU |
1CU = 1核CPU + 2G内存,2CU 设计态资源支持安装6个lib包。 |
标准规格X3 |
3CU |
1CU = 1核CPU + 2G内存,3CU 设计态资源支持安装9个lib包。 |
标准规格X4 |
4CU |
1CU = 1核CPU + 2G内存,4CU 设计态资源支持安装12个lib包。 |
集群模式运行资源规格说明¶
资源模式 |
计算能力 |
---|---|
标准规格 |
|
标准规格X2 |
|
标准规格X3 |
|
标准规格X4 |
|
标准规格X5 |
|
标准规格X6 |
|
标准规格X7 |
|
标准规格X8 |
|
备注
业务参考:1CU = 1核CPU + 2G内存,简单业务下如单流过滤、字符串变换等操作,1CU集群资源每秒可以处理4000 ~ 11000条数据;1CU StreamSets Server可运行1条pipeline。
Standalone模式运行资源规格说明¶
资源模式 |
计算能力 |
---|---|
标准规格 |
4CU |
标准规格X2 |
8CU |
标准规格X3 |
12CU |
标准规格X4 |
16CU |
标准规格X5 |
20CU |
标准规格X6 |
24CU |
标准规格X7 |
28CU |
标准规格X8 |
32CU |
备注
业务参考:1CU = 1核CPU + 2G内存,简单业务下如单流过滤、字符串变换等操作,1CU Standalone资源每秒可以处理4000 ~ 11000条数据;1CU Standalone资源可运行2条pipeline。