企业数据平台¶
注解
标有“(预览)”的功能为可供试用和评估的可选功能,不建议用于商业用途。如果您对预览功能感兴趣,请联系您的销售代表。
在 EnOS 2.3 Release 中,我们对企业数据平台的产品菜单进行了全新分类,同时在数据资产目录、数据联邦、时序数据管理、流数据处理、批数据处理等产品中,新增了多项功能。详细信息如下:
产品菜单分类变更¶
从 EnOS 2.3 Release 发布起,企业数据平台 将分为 数据治理 和 数据工厂 两类,具体菜单设置如下:
2.2 产品菜单 | 2.3 产品菜单 |
---|---|
|
|
数据资产目录¶
在 EnOS 2.3 Release 中,我们改进了 数据资产目录(Data Catalog)服务,更好地满足了企业数据治理的需求。
数据资产目录打通了数据源、数据处理、数据存储、数据服务、数据应用,记录了数据从产生到消费的全过程。这个过程中,数据资产目录会涉及管理企业的业务元数据、运营元数据及技术元数据、主数据等,为企业的数据治理团队、数据科学家、数据分析师、数据开发者和应用开发者,提供了围绕着企业内外部核心数据资产的协作能力。
有关数据资产目录的更多信息,参见 数据资产目录。
数据建模¶
支持元数据对象、主数据对象、对象关系规范化建模,并内置多种数据模型。
数据同步¶
支持多种元/主数据同步方式,同步接入侧以及其他多种数据源的数据,并支持在同步时进行映射配置、数据质量校验。
资产检索¶
支持基于类型、类型属性条件、标签条件等进行检索。
标签/术语管理¶
通过标签/术语帮助数据使用者更好地理解与检索数据。支持对标签/术语进行分组管理,并支持给数据对象手动、自动关联标签和术语。
数据分析¶
支持查看数据资产之间的关系,为数据分析提供分析决策服务。
流数据处理¶
算子库¶
平台抽象多个流数据处理基础算子,支持开发者自由拖拽式任务编排,满足更多业务场景的流数据处理任务开发。当前版本除了支持 0.3.0 版本所有功能外,新增功能如下:
- 支持新的数据流转格式
- 新增支持新版数据格式的算子(功能与旧版格式保持一致)
- 支持对数据中的测点和资产打 Tag(Tag 信息来自 Data Catalog)
- 新增数据过滤算子,支持通过表达式对数据进行过滤后重命名
更多信息,参考 Operator Library 0.4.0 参考文档。
高阶流数据处理任务¶
通过算子开发的常规流数据处理任务需要消费 Kafka Internal Topic 中的全部消息,然后通过 Point Selector 算子过滤出需要使用的数据。常规流数据处理任务消耗的计算资源较大。
在高阶流数据处理任务中,系统任务流能将流数据处理任务需要的数据分别输出到不同的 Kafka Topic 中。在下游流数据处理任务的配置项中,按需配置输入数据源 Kafka Topic,从而有效地节约计算资源。
更多信息,参考 开发高阶流数据处理任务。
时序数据管理¶
支持非标准化数据存储与时序洞察¶
对于设备端直接上送的原始数据,有些是非核心的、未进行模型和测点定义的,无法存在 TSDB 的各类数据桶中,但这些数据又是需要被存储、查看和获取的,时序数据管理服务新增了非标准化数据存储策略,用专门的桶来存储这部分非标准化的数据,以支持后期的分析或标准化。
更多信息,参考 配置非标准化数据存储策略 与 开启非标准化数据时序洞察。
数据联邦¶
通道类型和通道创建流程优化¶
在创建数据联邦通道时,可选择创建的通道类型,即 READ、WRITE、和 DOWNLOAD 通道类型;且在创建通道时,即可直接完成通道授权。
更多信息,参考 新建数据联邦通道。
批数据处理¶
数据源注册¶
新增 ClickHouse 数据源¶
数据源注册服务新增了注册 ClickHouse 数据源,支持从 EnOS Hive 同步数据到 ClickHouse 数据源。
更多信息,参考 注册ClickHouse数据源。
Blob 源增加 SAS Token 认证方式¶
新增注册 Azure Blob 数据源认证方式,可通过账号名称 + 秘钥或 SAS Token 方式进行认证。
更多信息,参考 注册 Azure Blob 数据源。
数据同步¶
数据沙箱¶
数据沙箱服务将在 EnOS 2.3 版本中下线。当产品升级至 EnOS 2.3后,沙箱下线,资源释放,不可恢复。