网站建设资讯

NEWS

网站建设资讯

Hive中如何配置与编写自定义UDF函数

小编给大家分享一下Hive中如何配置与编写自定义UDF函数,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!

创新互联建站主营太康网站建设的网络公司,主营网站建设方案,app软件定制开发,太康h5成都小程序开发搭建,太康网站营销推广欢迎太康等地区企业咨询

环境介绍:CentOS7+hive-1.1.0-cdh6.7.0+IntelliJ IDEA+Maven3.3.9
1、创建工程
   打开IntelliJ IDEA
     File-->New-->Project...-->Maven选择Create from archetye-->org.apache.maven.archety:maven-archetype-quitkstart

2、配置
  2.1、增加内容如下:
   在工程中找到pom.xml文件中hadoop-common 、hive-exec 、hive-jdbc

点击(此处)折叠或打开

  1.     UTF-8

  2.     

  3.     2.6.0-cdh6.7.0

  4.     1.1.0-cdh6.7.0

  5.   

  6.     

  7.     

  8.       org.apache.hadoop

  9.       hadoop-common

  10.       ${hadoop.version}

  11.     

  12.     

  13.     

  14.       org.apache.hive

  15.       hive-exec

  16.       ${hive.version}

  17.     

  18.   

  19.   

  20.   

  21.   

  22.     

  23.       cloudera

  24.       https://repository.cloudera.com/artifactory/cloudera-repos/

  25.     

  26.   

  2.2、在中修改内容如下:

点击(此处)折叠或打开

  1.       junit

  2.       junit

  3.       4.10

  4.       test

  5.     

3、创建类,并编写一个UDF HelloUDF.java,代码如下:

点击(此处)折叠或打开

  1. package org.apache.hadoop.hive.ql.udf;

  2. import org.apache.hadoop.hive.ql.exec.UDF;

  3. import org.apache.hadoop.io.Text;

  4. public class HelloUDF extends UDF {

  5.     public Text evaluate(Text input) {

  6.         return new Text("Hello:" + input);

  7.     }

  8.     public static void main(String args[]){

  9.         HelloUDF helloUDF = new HelloUDF();

  10.         Text rs = helloUDF.evaluate(new Text("zhangsan"));

  11.         System.out.println(rs.toString());

  12.     }

  13. }

4、测试UDF类,在上又键选择Run 'HelloUDF.main()'

5、打包:
   在IDEA菜单中选择view-->Tool Windows-->Maven Projects,然后在Maven Projects窗口中选择【工程名】-->Lifecycle-->package,在package中右键选择Run Maven Build开始打包
   执行成功后在日志中找:
     [INFO] Building jar: D:\software\ruozedata_workspace\basic02-hive\target\hive-1.0.jar

以上是“Hive中如何配置与编写自定义UDF函数”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!


名称栏目:Hive中如何配置与编写自定义UDF函数
路径分享:http://cdweb.net/article/pigiog.html