数据管理与分析¶

备注

标有“（预览）”的功能为可供试用和评估的可选功能，不建议用于商业用途。如果您对预览功能感兴趣，请联系您的销售代表。

在 EnOS 2.4 中，我们对数据管理与分析的产品菜单进行了全新分类，数据管理与分析现包括数据集成、数据管理和数据分析 3 个分类。同时在设备数据集成服务、数据订阅、数据归档、数据资产目录等产品模块中，新增了多项功能。

数据集成¶

在 EnOS 2.4 中，我们新增了数据集成分类，数据集成中包括设备数据集成服务、数据源注册和数据同步，同时为设备数据集成服务新增了多项功能。

设备数据集成服务¶

在 EnOS 2.4 中，设备数据集成服务新增了以下内容。

通用

支持在 EnOS 资源管理中查看、申请和管理设备数据集成资源。
连接配置

新增了 S3 的连接类型，用于配置与 AWS S3 服务器的连接。
代理配置

新增了配置代理 运行实例数 的功能，实例数范围为 1-4。
设计集成流
- 在 流设计器 页面为云端集成流新增按状态筛选功能，将云端集成流划分为 6 种状态：未发布、发布中、运行中、发布失败、已下线 和 运行异常。
- 新增自定义节点授权验证功能，在上传自定义节点时需要输入组织管理员收到的验证码。
监控集成流
- 在流日志和节点日志中新增 Trace ID，用于查询与流日志相对应的各节点日志。
- 在流日志和节点日志中新增 运行时长，用于查看流/节点在处理每条消息时所花费的时间。
- 新增一条云端流的告警规则，Flow 空转时间过长，当流在指定时段内没有任何输入/输出时，该规则将触发告警。
- 在 审计服务 中新增流的节点变更日志，在每次保存流时，记录流内节点的新增、修改和删除操作。
- 在概览页面新增 运行失败详情 弹窗，点击 运行失败次数 可查看指定时间段内全部/指定云端集成流的运行失败记录。

节点¶

在 EnOS 2.4 中，设备数据集成服务全新上线了 3 个新节点，并在部分原有节点中新增了多项功能。

新增节点¶

节点类型：Input¶
节点	描述
S3 File	根据设置的时间间隔，自动扫描 S3 服务器上的指定存储桶，下载指定文件。

节点类型：Logic¶
节点	描述
Split End	标记上游 Split 节点到该节点之间的处理逻辑全部结束，并合并输出已全部处理完毕的消息到下游。

节点类型：Action¶
节点	描述
Open API	调用 EnOS 的 Open API 接口访问系统内的资源。

原有节点¶

节点	新增功能
Update Device Status	新增可更新设备下线状态的选项。
MQTT Sub	新增 QoS 定义订阅 MQTT 服务器消息时可用的最大消息服务质量等级。新增并发数提升消息处理的速度。
Inject	新增 Msg 数据格式中的文件选项。
Timer	新增以秒为单位间隔的选项。
Store Context	新增 TTL 的最大限制，为 864000 秒，新增键值对的最大数量为 20 对。
Kafka Sub	新增并发数配置 Kafka 客户端的最大连接数。
Subflow	新增包含 Subflow 的流支持复制、导入和导出。
File	新增支持多文件读取，支持查看和下载通过 File 节点保存的文件。写入文件时，新增为已存在文件追加内容的功能。

数据管理¶

在 EnOS 2.4 中，我们新增了数据管理分类，同时在数据订阅、数据归档与数据资产目录中，新增了多项功能。

数据订阅¶

对于实时数据的订阅，现已支持对 数据模型 的时序数据订阅，用户可根据标签订阅数据。更多信息，参见创建 EnOS Cloud 订阅任务。

数据归档¶

对于归档源数据类型，实时消息通道与离线消息通道现均已支持对 数据模型 的数据归档。对于指定标签下的设备采集数据、经流计算处理后的数据以及历史数据，均可按自定义格式生成文件，并存储至 HDFS 或外部的 Blob Storage。更多信息，参见新建数据归档任务。

数据资产目录¶

指标
- 支持查看指标的基础信息，包括指标 ID、名称、指标类型、单位、业务主体、主题域、指标库、数据来源、数据类型及更新信息。
- 支持查看与指标关联的标签分组和标签。
- 支持查看指标的操作审计日志。
MysqlTable
- 支持查看 MysqlTable 的基础信息，包括 ID、名称、描述、数据源名称、数据源描述、数据库名称及更新信息。
- 支持查看 MysqlTable 的列名称、数据类型、描述、是否主键、非空及是否外键。
- 支持查看与 MysqlTable 关联的标签分组和标签。
- 支持预览 MysqlTable 中的数据。
- 支持查看 MysqlTable 的操作审计日志。
对象类型
- 支持根据类型标识符、属性、主键创建主数据对象类型，并支持添加校验规则对创建的对象类型字段进行校验。支持删除、修改和查看主数据对象类型。
- 支持创建、删除、修改及查看两个对象类型间的关系，对象类型关系包括一对一、一对多、多对一和多对多。
- 支持创建、删除、修改和查看数据对象实例。
- 支持创建、删除、修改及查看两个对象实例间的关系，对象实例关系包括一对一、一对多、多对一和多对多。
- 支持查看主数据对象类型及对象关系列表。
支持根据标准属性模板和通用属性模板来创建术语表。

更多信息，参见数据资产目录。

数据分析¶

在 EnOS 2.4 中，我们为数据集管理、智能实验室、智能集市、智能任务流、资源配置以及智能分析套件新增了多项功能。

数据集管理¶

数据集管理新增了以下样例数据集及功能：

新增帮助用户快速入门智能分析套件负荷预测和价格预测功能的样例数据集。
支持在基于 Mysql 和 HIVE 创建数据集时输入带变量的 SQL 查询语句，从而引入动态数据。更多信息，参见从 MySQL 或 Hive 数据源连接创建数据集。

智能实验室¶

智能实验室新增了以下功能：

支持查看 Notebook 实例实际使用的 CPU 和内存资源。
支持启动或停止 Notebook 实例。
Notebook 实例支持在保存更改后自动重启并应用更改。

有关 Notebook 实例的更多信息，参见管理 Notebook 实例。

智能集市¶

智能集市新增了以下功能：

支持查看模型部署实例的日志，并可按时间段或通过 ES 查询语句检索日志。有关模型部署实例日志的更多信息，参见查看部署实例日志。
支持在部署实例时通过前处理统一模型输入格式，或通过 API 调用记录保存 API 调用日志。有关前处理和 API 调用记录的更多信息，参见部署上线模型的第一个版本。
支持在部署实例列表中停用已上线的模型版本部署实例从而减少资源占用。更多信息，参见下线模型版本。

智能任务流¶

智能任务流新增了多个算子以及入门导航功能。

新增算子¶

智能任务流新增了以下算子：

处理算子：ShellCode 算子用于运行 Shell 命令，PythonCode 算子用于运行 Python 命令，EnOS Mail 算子用于通过邮件发送通知以及 EnOS SMS 算子用于通过短信发送通知。更多信息，参见处理算子。
模型算子：Model Version Info 算子用于部署多个模型版本时获取模型版本信息，Model Log 算子用于获取在指定时间区间内或包含指定关键字的模型日志。更多信息，参见模型算子。

入门导航¶

新增入门导航功能，用户可在任务流设计页面点击图标打开入门导航，熟悉任务流画布。入门导航包括：

介绍任务流画布的新手引导
有关设计开发任务流的文档链接
有关画布更多功能的简要介绍

资源配置¶

资源配置新增了以下功能：

基于 EnOS 文件存储 HDFS 与数据仓库存储资源建立 Hive 和 HDFS 数据源连接。
支持 API 和 APIM 外部数据源连接。有关数据源连接的更多信息，参见配置数据源连接。

教程¶

智能工作室新增了以下教程及配套数据、代码和任务流，帮助用户了解智能工作室相关功能：

智能分析套件（预览）¶

EnOS 2.4 新增了故障诊断模块并为价格预测模块增加了新功能。

故障诊断¶

新增故障诊断模块，可基于设备相关时序数据进行设备故障类型智能诊断。故障诊断内置的聚类算法可针对无标签数据给出初始标签，同时诊断模型可根据用户对标签的修正自优化并提升故障诊断的精度。适用于光伏汇流箱及其他风光领域重要设备。

价格预测¶

价格预测新增了以下功能：

通过配置预测任务、特征字段以及训练任务训练模型并预测电价。
支持定时启动模型训练任务。
提供符合 RESTful API 接口设计规范的服务级别或应用级别价格预测服务。