• 文档
• 节点参考
• Input
• Kafka Sub

Kafka Sub

Kafka Sub 建立一个 Kafka 客户端，该客户端最多可订阅 5 个 Kafka topics。

节点类型

Input。

输入和输出能力

该节点没有入口点，仅有 1 个出口点。输出为客户端从所订阅的 topic 检索到的消息，可以是任何格式。Kafka topic 将自动保存到输出 metadata。

节点属性

名称

该节点的名称。

主机

主机地址或域名。

鉴权

鉴权方式，匿名 或 用户名/密码。

• 匿名: 无需鉴权。

• 用户名/密码: 输入用于鉴权的 用户名 和 密码。

Topic

订阅的 Kafka topic。最多可订阅 5 个 topics。

并发数

同时访问 Kafka 服务器的进程数量，启用并发数可以实现多进程的并发处理，提升消息处理速度。数值范围为 1-8，默认值为 1。

并发数受当前 Topic 配置的分区数（partition）和流的运行实例数影响。分区数是 Kafka 中存储记录（record）的最小单位，在创建每个 Topic 时已经指定数量。关于流的运行实例数配置，参看 运行资源。

如果为当前流配置 1 个运行实例，则建议并发数不要超过分区数。如果为当前流配置多个运行实例，则建议并发数 × 运行实例数不超过分区数。

• 当并发数 × 运行实例数 ＜ 分区数时，一个进程将处理多个分区的数据。

• 当并发数 × 运行实例数 = 分区数时，一个进程将处理一个分区的数据，效率最高。

• 当并发数 × 运行实例数 ＞ 分区数时，部分进程将没有可处理的分区数据，造成资源浪费。

描述

该节点的描述。

使用限制

• 连接数：1

• 最大 topic 数：5

• 最大并发数：8

• 由于 Kafka 并非 EnOS 管理，EnOS 不保证每次连接都能成功，连接问题可能是由于服务器停机或其他 EnOS 无法控制的因素造成。

示例

输入示例

该节点不接收任何输入消息。

输出示例

从 Kafka topic 检索到的 JSON 对象示例。其 topic 信息存储在 metadata 中。

{
    "MetaData":{
        "topic":"topic1",
        "topic":"topic2"
    },
    "Body":{
        "externalId":"externalId",
        "timestamp":24214324324,
        "measurepoints":{
            "speed":32,
            "heat":40
        }
    }
}

相关节点

• Kafka Pub