2021年大数据Hive（八）：Hive自定义函数

2021-10-11 15:39:33 浏览数 (1)

Hive自定义函数

一、概述

Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定义UDF来方便的扩展。

当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。

根据用户自定义函数类别分为以下三种：

1、UDF（User-Defined-Function）

一进一出  

类似于:lower/lower/reverse

2、UDAF（User-Defined Aggregation Function）

聚集函数，多进一出

类似于：count/max/min

3、UDTF（User-Defined Table-Generating Functions）

一进多出

如lateral view explode()

二、自定义UDF

编程步骤：

（1）继承org.apache.hadoop.hive.ql.exec.UDF

（2）需要实现evaluate函数；evaluate函数支持重载；

注意事项:

（1）UDF必须要有返回类型，可以返回null，但是返回类型不能为void；

（2）UDF中常用Text/LongWritable等类型，不推荐使用java类型；

​​​​​​​1、代码编写

第一步：创建maven  java 工程，导入jar包

代码语言：javascript复制
<dependencies>

    <dependency>

        <groupId>org.apache.hive</groupId>

        <artifactId>hive-exec</artifactId>

        <version>2.1.0</version>

    </dependency>

    <dependency>

        <groupId>org.apache.hadoop</groupId>

        <artifactId>hadoop-common</artifactId>

        <version>2.7.5</version>

    </dependency>

</dependencies>

第二步：开发java类继承UDF，并重载evaluate 方法

代码语言：javascript复制
public class MyUDF  extends UDF{

    public Text evaluate(final Text s) {

        if (null == s) {

            return null;

        }

        //返回大写字母

        return new Text(s.toString().toLowerCase());

    }

}

​​​​​​​2、函数使用方式1-临时函数

1、将我们的项目打包，并上传到hive的lib目录下

2、添加我们的jar包

将jar包上传到 /export/server/hive-2.1.0/lib目录，并重命名我们的jar包名称

代码语言：javascript复制
cd /export/server/hive-2.1.0/lib

mv original-day_10_hive_udf-1.0-SNAPSHOT.jar my_lower.jar

3、hive的客户端添加我们的jar包

代码语言：javascript复制
hive>add jar /export/server/hive-2.1.0/lib/my_lower.jar

​​​​​​​

4、设置函数与我们的自定义函数关联-临时函数

代码语言：javascript复制
hive>create temporary function my_lower as 'cn.it.udf.MyUDF';

5、使用自定义函数

代码语言：javascript复制
hive>select my_lower('abc');

​​​​​​​3、函数使用方式2-永久函数

代码语言：javascript复制
1. 把自定义函数的jar上传到hdfs中.

hadoop fs -mkdir /hive_func

hadoop fs -put my_lower.jar /hive_func  

2. 创建永久函数

hive>  create function my_lower2 as 'cn.it.udf.MyUDF' using jar 'hdfs://node1:8020/hive_func/my_lower.jar';

3. 验证

hive> select my_lower2("Hello World");

三、自定义UDTF

​​​​​​​1、需求

自定义一个UDTF，实现将一个任意分隔符的字符串切割成独立的单词,例如:

代码语言：javascript复制
源数据：

"zookeeper,hadoop,hdfs,hive,MapReduce"

目标数据:

zookeeper

hadoop

hdfs

hive

MapReduce

​​​​​​​2、代码实现

代码语言：javascript复制
import org.apache.hadoop.hive.ql.exec.UDFArgumentException;

import org.apache.hadoop.hive.ql.metadata.HiveException;

import org.apache.hadoop.hive.ql.udf.generic.GenericUDTF;

import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;

import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspectorFactory;

import org.apache.hadoop.hive.serde2.objectinspector.StructObjectInspector;

import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;



import java.util.ArrayList;

import java.util.List;

import java.util.function.ObjDoubleConsumer;



public class MyUDTF extends GenericUDTF {

    private final transient Object[] forwardListObj = new Object[1];



    @Override

    public StructObjectInspector initialize(StructObjectInspector argOIs) throws UDFArgumentException {

        //设置列名的类型

        List<String> fieldNames = new ArrayList<>();

        //设置列名

        fieldNames.add("column_01");

        List<ObjectInspector> fieldOIs = new ArrayList<ObjectInspector>()  ;//检查器列表



        //设置输出的列的值类型

        fieldOIs.add(PrimitiveObjectInspectorFactory.javaStringObjectInspector);

         

        return ObjectInspectorFactory.getStandardStructObjectInspector(fieldNames, fieldOIs);



    }



    @Override

    public void process(Object[] objects) throws HiveException {

        //1:获取原始数据

        String args = objects[0].toString();

        //2:获取数据传入的第二个参数，此处为分隔符

        String splitKey = objects[1].toString();

        //3.将原始数据按照传入的分隔符进行切分

        String[] fields = args.split(splitKey);

        //4:遍历切分后的结果，并写出

        for (String field : fields) {

            //将每一个单词添加值对象数组

            forwardListObj[0] = field;

            //将对象数组内容写出

            forward(forwardListObj);

        }



    }



    @Override

    public void close() throws HiveException {



    }

}

​​​​​​​3、添加我们的jar包

将打包的jar包上传到node3主机/export/data/hive-2.1.0/lib目录,并重命名我们的jar包名称

代码语言：javascript复制
cd /export/data/hive-2.1.0/lib

mv original-day_10_hive_udtf-1.0-SNAPSHOT.jar my_udtf.jar

hive的客户端添加我们的jar包,将jar包添加到hive的classpath下

代码语言：javascript复制
hive> add jar /export/server/hive-2.1.0/lib/my_udtf.jar;

​​​​​​​4、创建临时函数与开发后的udtf代码关联

代码语言：javascript复制
hive>create temporary function my_udtf as 'cn.itcast.udtf.MyUDTF';

​​​​​​​5、使用自定义udtf函数

代码语言：javascript复制
hive>select my_udtf("zookeeper,hadoop,hdfs,hive,MapReduce",",") word;