企业数据平台


在 EnOS 2.1 Update Release 中，我们更新了服务和部分产品名称，新增了数据联邦、新版流数据处理、数据资产权限等产品功能。同时在数据资产目录、时序数据管理、数据订阅、数据归档、数据源注册等产品功能中，新增了多项功能。详细信息如下：

产品名称变更

从 EnOS 2.1 Update Release 发布起，数据资产管理（Data Asset Management） 服务更名为 企业数据平台（Enterprise Data Platform）。数据源注册、数据同步、批数据处理、数据沙箱等产品也归入到企业数据平台服务中。详细变更内容如下：

更新前

更新后

数据资产检索 / Data Catalog

数据资产目录 / Data Asset Catalog

数据清理 / Data Cleanup

数据清理 / Data Deletion

数据集成 / Data Integration

数据同步 / Data Synchronization

数据开发套件 / Data IDE

批数据处理 / Batch Processing

数据探索 / Data Explorer

数据沙箱 / Data Sandbox

外部源连接 / Data Connection

数据源注册 / Data Source Registration

数据资产权限 / Data Asset Permission

数据资产权限 / Data Asset Authorization

数据资产目录（预览）

在 EnOS 2.1 Update Release 发布中，新增了数据资产元数据的检索和管理功能，实现对OU内的数据资产，包括测点、资产、Hive表、服务、文件、DTV Service等资产元数据的快速查询，并且可使用tag模板对数据资产进行快速打标，提升数据资产管理效率。


有关数据资产目录的更多信息，参见 数据资产目录。

数据联邦（预览）

在 EnOS 2.1 Update Release 发布中，新增了数据联邦产品功能。应用开发和数据分析人员可通过统一的SQL语法标准，从多源异构数据存储系统中查询数据或写入数据。数据联邦服务还支持OData及JDBC连接，用户可快速对接Tableau、Excel、PowerBI等主流BI分析工具，而不用关心源数据存储系统的不同。

../../_images/data_federation.gif


有关数据联邦的更多信息，参考 数据联邦。

新版流数据处理

在 EnOS 2.1 Update Release 发布中，新增了新版流数据处理产品功能，增加了StreamSets算子库和算法模板的安装和卸载功能，统一了流数据处理任务的设计和开发流程，支持以Standalone模式运行流数据处理任务。详细信息如下：

算子库和算法模板管理

新增了对StreamSets算子库和算法模板的管理。用户可根据业务需求，安装和卸载StreamSets算子库和算法模板。安装算子库和算法模板前，需要确保组织已通过资源管理申请Streaming设计态资源。

../../_images/install_stream_lib.gif

流数据处理任务开发

新增了统一的流数据处理任务的设计和开发流程。通过 流开发 功能，用户可选择使用已安装的StreamSets算子库或算法模板开发流数据处理任务。

../../_images/design_stream_job.gif

支持Standalone模式

新增了以Standalone模式或集群模式运行流数据处理任务。通过 流运维 功能，用户可选择运行流数据处理任务的模式，并自定义运行任务需要的资源配置。配置运行资源前，需要确保组织已通过资源管理申请相应的Standalone模式运行资源或集群模式运行资源。

../../_images/op_stream_job.gif

流任务运行高级参数配置

在配置流数据处理任务的运行模式时，若以集群模式运行流数据处理任务，可选择配置集群模式高级参数，更好地控制集群运行流数据处理任务的效率。

../../_images/advanced_params.gif

StreamSets算子

新增了V0.1.0版本的StreamSets底层封装算子，包含资产主数据查询、历史数据查询、数据聚合、HTTP调用、自定义Python和JS脚本运行、任务调试等功能的算子。开发者可以基于业务需求开发定制化的流数据处理任务。


有关流数据处理的更多信息，参考 流数据处理。

时序数据管理

在本次发布中，新增了存储策略导入导出功能和新版TSDB数据服务API。详细信息如下：

存储策略导入导出

在 EnOS 2.1 Update Release 发布中，新增了导入导出存储策略配置文件的功能。当业务需要跨环境或跨OU迁移TSDB数据及存储策略配置时，可将已有存储策略配置信息导出后，导入到新环境或新OU中，实现快速配置和部署。


有关存储TSDB存储策略的更多信息，参考 存储策略。

新版TSDB数据服务API

从 EnOS 2.1 Update Release 发布起，TSDB数据服务API升级为V2.1版（V2.0版仍可使用），该版本主要包括以下更新：

  • 新增 localTimeFormat 字段，用于指定返回数据的local时间是否包含设备时区信息

  • 新增 itemFormat字段，用于指定返回结果中测点数据的显示格式

  • 所有的接口请求方法均为POST方式

  • 部分请求参数和返回参数名称变更


有关TSDB数据服务API V2.1的详细信息，参考 TSDB数据服务概述。

数据订阅

在 EnOS 2.1 Update Release 发布中，新增了订阅资产事件数据功能和数据订阅Python SDK。详细信息如下：

订阅资产事件数据

数据订阅新增了订阅资产事件数据功能。事件数据是指EnOS设备接入服务内部发生的事件，如设备生命周期中的注册、删除、拓扑关系的变更等。在创建事件数据订阅任务时，可配置订阅模型、设备资产、或逻辑资产的相关事件。

数据订阅Python SDK

新增了数据订阅Python SDK，提供分布式、高吞吐、可扩展的数据推送服务。开发者可基于Python开发应用，消费订阅的资产数据和告警记录。


更多信息，参考 数据订阅。

数据归档

在 EnOS 2.1 Update Release 发布中，新增了归档TSDB中存储的历史数据功能。在创建归档任务时，选择TSDB数据源，即可通过手动触发，归档存储在TSDB中的历史数据。


有关数据归档的更多信息，参考 数据归档。

数据源注册

新增了 EnOS 内部的 HDFS 和 HIVE 数据源注册，支持从 EnOS 系统内的 HDFS 和 HIVE 数据源检索数据。

  • 完成 文件存储HDFS 资源申请后，HDFS(EnOS)数据源将被自动注册。

  • 完成 数据仓库存储 资源申请后，HIVE(EnOS)数据源将被自动注册。


有关数据源注册的更多信息，参见 数据源注册。

数据资产权限（预览）

在 EnOS 2.1 Update Release 发布中，新增了数据资产权限功能。数据资产权限是数据治理的重要手段，旨在为数据资产管理系统提供全面的安全性。数据资产权限支持通对定义权限策略，将HDFS文件的访问和处理权限授权给组织用户，实现跨组织对HDFS文件访问和批量文件授权。


有关数据资产权限的更多信息，参考 数据资产权限。