SQL 算子


ML生命周期管理提供以下 SQL 算子:

  • Hive 算子

Hive 算子

Hive 算子支持 Hive SQL 语法,可用于创建新表、执行 SQL 查询等 Hive 计算任务。


Hive 算子的配置涉及安全认证,主要包括 keytab 文件和 krb5 配置文件。keytab 及 krb5 配置文件目前仅支持从 Git 获取一种方式,因此 Hive 算子通常与 Git File 算子配合使用。例如:

../_images/hive_calculator.png


在当前 EnOS 的运行环境中,由于不同环境间的网络隔离,所以不能跨环境执行 Hive SQL。

输入参数说明

参数

说明

host

访问 Hive 的主机域名或 IP 地址。

port

访问 Hive 的端口号。

auth

认证方式,目前支持 KERBEROS 认证方式。

database

指定访问 Hive 时的缺省数据库。

sqls

指定需要运行的 SQL 语句,list类型。格式示例:"set mapreduce.job.queuename=root.test_enos_01""select distinct lower(masterid) as partition1 from kmmlds1"。每个 SQL 语句用双引号括起来,不支持将多条语句放到一个item里,中间用分号隔开。

username

用户名,当认证方式是 LDAP 或置空时需要填写。非 Kerberos 认证方式时,可能需要输入用户名和密码;Kerberos 认证方式时,该参数可为空(当前算子的参数值不允许为空,可用空格代码)。

password

密码,当认证方式是 LDAP 或置空时需要填写。用户名密码认证方式时需要输入的密码,与 username 规则相同

kerberos_service_name

使用 Kerberos 认证时需填写的信息,缺省值为 hive

principal_name

使用 Kerberos 认证时需填写的信息,可用 klist 查看。

kerberos_keytab_file

使用 Kerberos 认证时需要的 keytab 文件,可来自 Git File算子,指定 keytab 文件(目前仅支持来自 Git,文件名一般为 dbname.keytab)。

kerberos_conf

使用 Kerberos 认证时需要的配置文件,可来自 Git File算子(目前仅支持来自 Git,文件名一般为 krb5.conf)。

queue

Hive SQL 运行时需指定的队列。

输出参数说明

参数

说明

resultset

运行 Hive SQL 后的结果。