Sliding Time Window Aggregator

支持对单个测点的数据按时间窗口聚合，具体功能如下:

  • 窗口类型：支持滑动窗口

  • 聚合算法：支持 max/min/avg/count/sum/first/last

  • 因任何原因导致的失败重试，比如集群节点异常，不能保证计算结果幂等。

配置详情

该算子的配置包括 General，Basic，Input/Output，ExtraConfig，和 CacheConfig 的详细信息，各字段的配置如下：

General

名称

是否必须

描述

Name

Yes

算子名称

Description

No

算子描述

Stage Library

Yes

算子所属的库

Required Fields

No

数据必须包含的字段，如果未包含指定字段，则record将被过滤掉

Preconditions

No

数据必须满足的前提条件，如果不满足指定条件，则record将被过滤掉。例如：${record:value('/value') > 0}。有关EL语句的使用方法，参考 Expression Language。

On Record Error

Yes

对错误数据的处理方式，可选：

  • Discard：直接丢弃

  • Send to Error：发送至错误中心

  • Stop Pipeline：停止流任务运行

Basic

名称

是否必须

描述

Quality Filter

No

根据数据质量过滤处理数据，只有符合质量条件的record才会进行此次处理

Input/Output

名称

是否必须

描述

Input Point

Yes

数据输入点，格式为：{模型标识}::{测点标识}

Fixed Window Size

Yes

窗口的时长等于滑动步长

Fixed Window Unit

Yes

固定窗口的时间单位

Sliding Window Size

Yes

滑动窗口的步长

Sliding Window Unit

Yes

滑动窗口的时间单位

Aggregator Policy

Yes

数据聚合算法，支持 max/min/avg/count/sum/first/last

Output Point

Yes

数据输出点，格式为：{模型标识}::{测点标识}

ExtraConfig

名称

是否必须

描述

Output Data Type

Yes

选择输出数据的类型，可选Double或From TSL Model Service：

  • Double：若输出点均为中间结果测点（非模型上定义的测点）或测点数据类型全部为Double类型，可选择此项。

  • From TSL Model Service：若输出点为模型上定义的测点或测点类型非Double类型，必须选择此项，否则数据不能正常存储到TSDB。

CacheConfig

名称

是否必须

描述

Cache Type

Yes

选择缓存数据的类型，可选Redis存储或Local存储。

  • Redis：优点是任务暂停、重启、或重试后，缓存数据不会丢失；缺点是数据处理速度慢，对网络比较敏感。建议网络延迟小于1ms，否则会影响处理性能。

  • Local：优点是数据处理速度快；缺点是任务暂停、重启、或重试时，缓存数据会丢失。

输出结果

该算子的输出结果包含在 attr 结构体中，各字段的描述如下：

名称

数据类型

描述

lastOutput

Int/Double/Float

该测点在该timestamp，上一次输出的值；上一次无输出则为NaN

calMode

String

输出模式：输出最终结果 “final”

calType

String

聚合算法：max/min/avg/count/sum/first/last

calDetail

Map

计算详情：如calType=avg时，输出value&lastValue的sum和count信息

输出示例

../../../_images/sliding_window_aggregator1.png