Normalizer¶
数据处理算子,主要功能为格式转换和数据过滤,包括两种类型:Origin Normalizer 和 Cal Normalizer。
Origin Normalizer 负责转换 Kafka Topic MEASURE_POINT_ORIGIN_{OUID}
中的数据。功能包括完成测点一拆多、输入点过滤、输出格式转换。说明如下:
测点一拆多:将 payload 字段中多个测点数据一条打平为多条
输入点过滤:根据用户流数据处理任务发布时的血缘,过滤出用户需要的输入点记录
输出格式转换:满足 Kafka Topic
MEASURE_POINT_INTERNAL_{OUID}
的格式要求,以便下游算子能正确处理。具体格式参见 EDH Kafka Consumer 算子中相关 Topic 的数据格式说明。
Cal Normalizer 负责转换记录为 Kafka Topic MEASURE_POINT_CAL_{OUID}
中的格式。功能包括完成输出点过滤、输出格式转换。说明如下:
输出点过滤:根据用户流数据处理任务发布时的血缘,过滤出用户需要的输出点记录
输出格式转换:满足 Kafka Topic
MEASURE_POINT_CAL_{OUID}
的格式要求,以便下游算子能正确处理。具体格式参见 EDH Kafka Consumer 算子中相关 Topic 的数据格式说明。
配置详情¶
该算子的配置包括 General 和 Basic 的详细信息,各字段的配置如下:
General¶
名称 |
是否必须 |
描述 |
---|---|---|
Name |
Yes |
算子名称 |
Description |
No |
算子描述 |
Required Fields |
No |
数据必须包含的字段,如果未包含指定字段,则 record 将被过滤掉 |
Preconditions |
No |
数据必须满足的前提条件,如果不满足指定条件,则 record 将被过滤掉。例如: |
On Record Error |
Yes |
对错误数据的处理方式,可选:
|
Basic¶
名称 |
是否必须 |
描述 |
---|---|---|
Normalizer Type |
Yes |
Normalizer 类型 |
配置如下图所示: