Hive快速入门系列(11) | Hive的自定义函数

2020-10-28 16:17:09 浏览数 (1)

  本次博主为大家带来的是Hive的自定义函数。

一. 系统内置函数

  • 查看系统自带的函数
代码语言：javascript复制
hive> show functions;

  我们可以看到hive自带的函数就有两百多个,但我们平时经常用到的可能就那么几个,并且自带的函数功能还十分受限!有时候,为了更好的实现业务需求,这时就需要我们去自定义Hive!在介绍自定义函数之前，还是要把系统内置函数的使用方法介绍一下。

  • 显示自带的函数的用法
代码语言：javascript复制
hive> desc function upper(函数名称);
  • 详细显示自带的函数的用法
代码语言：javascript复制
hive> desc function extended upper(函数名称);

二. 自定义函数

  当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。 根据用户自定义函数类别分为以下三种：

  • （1）UDF（User-Defined-Function） 一进一出
  • （2）UDAF（User-Defined Aggregation Function） 聚集函数，多进一出 类似于：count/max/min
  • （3）UDTF（User-Defined Table-Generating Functions） 一进多出 如lateral view explore()

编程步骤：

（1）继承org.apache.hadoop.hive.ql.exec.UDF （2）需要实现evaluate函数；evaluate函数支持重载； （3）在hive的命令行窗口创建函数   1. 添加jar java add jar linux_jar_path   2. 创建function java create [temporary] function [dbname.]function_name AS class_name; （4）在hive的命令行窗口删除函数 Drop [temporary] function [if exists] [dbname.]function_name; ```

注意事项：

（1）UDF必须要有返回类型，可以返回null，但是返回类型不能为void； （2）UDF中常用Text/LongWritable等类型，不推荐使用java类型；

三. 自定义UDF函数

  • 1. 创建一个Maven工程Hive，并导入依赖
代码语言：javascript复制
<dependencies>
		<!-- https://mvnrepository.com/artifact/org.apache.hive/hive-exec -->
		<dependency>
			<groupId>org.apache.hive</groupId>
			<artifactId>hive-exec</artifactId>
			<version>1.2.1</version>
		</dependency>
</dependencies>
  • 2. 创建一个类Lower
代码语言：javascript复制
package com.buwenbuhuo.hive;

import org.apache.hadoop.hive.ql.exec.UDF;

/**
 * @author 卜温不火
 * @create 2020-04-30 12:07
 * com.buwenbuhuo.hive - the name of the target package where the new class or interface will be created.
 * hiveplugins - the name of the current project.
 */
public class Lower extends UDF {

    public String evaluate (final String s) {

        if (s == null) {
            return null;
        }

        return s.toLowerCase();
    }
}
  • 3. 打包并上传到服务器
  • 4. 将jar包添加到hive的classpath
代码语言：javascript复制
hive (default)> add jar /opt/module/hive/lib/udf.jar;
  • 5. 创建临时函数与开发好的java class关联(永久的函数将temporary删掉)
代码语言：javascript复制
hive (default)> create temporary function mylower as "com.buwenbuhuo.hive.Lower";
  • 6. 调用验证
代码语言：javascript复制
hive (myhive)> select id, mylower(id) lowername from stu2;

四. 通过reflect调用java方法

  是不是感觉上述方法略显繁琐。下面介绍的就是简单方法

  • 1. 打包上传业务逻辑
代码语言：javascript复制
package com.buwenbuhuo.hive;

/**
 * @author 卜温不火
 * @create 2020-04-30 12:36
 * com.buwenbuhuo.hive - the name of the target package where the new class or interface will be created.
 * hiveplugins - the name of the current project.
 */
class JAVA_02  {

    public static String addInfo(String info){


        return info "__, I love Hive! __ ";


    }
}
  • 2. 将jar包添加到hive
代码语言：javascript复制
hive (myhive)> add jar /opt/module/hive/lib/hive_java.jar;
  • 3. 调用
代码语言：javascript复制
select reflect (‘参数一’,‘参数二’,‘参数三’)

参数一: 包名-类名 参数二: 方法名 参数三:需要计算的数据

本次的分享就到这里了

java hive jar 打包

0 人点赞