当前位置: 首页 > web >正文

HIVE创建UDF函数全流程

今天做一期分享Hive的UDF函数和使用的的整个过程

文章目录

  • 场景
  • 建立Maven工程
  • Hive中函数注册及使用

场景

业务需求,想要实现姓名的脱敏
一个字的姓名,提示“单字姓名无法映射”
两个字的,加密后一位,例如:张三,张*
三个字及以上的保留第一位和最后一位

针对此场景一个好的udf实现,即可万事大吉

建立Maven工程

pom文件导入必要依赖hive-exec和hive-common,我的是Hive3.1.2,请根据自己的HIve版本导入依赖,具找依赖可以到以下链接找寻
Maven Repository
以下为我的pom文件的依赖

<dependencies><!-- https://mvnrepository.com/artifact/org.apache.hive/hive-exec --><dependency><groupId>org.apache.hive</groupId><artifactId>hive-exec</artifactId><version>3.1.2</version></dependency><!-- https://mvnrepository.com/artifact/org.apache.hive/hive-common --><dependency><groupId>org.apache.hive</groupId><artifactId>hive-common</artifactId><version>3.1.2</version></dependency>
</dependencies>

编写Java代码,继承GenericUDF类,重写initialize、evaluate、getDisplayString三个方法
以下是我的Java代码,定义了一个JiamiFunction类

package com.brilliance;
import org.apache.hadoop.hive.ql.exec.UDFArgumentException;
import org.apache.hadoop.hive.ql.exec.UDFArgumentLengthException;
import org.apache.hadoop.hive.ql.metadata.HiveException;
import org.apache.hadoop.hive.ql.udf.generic.GenericUDF;
import org.apache.hadoop.hive.serde2.objectinspector.ObjectInspector;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.PrimitiveObjectInspectorFactory;
import org.apache.hadoop.hive.serde2.objectinspector.primitive.StringObjectInspector;/*** @author chad* @since 2025/8/25*/
public class JiamiFunction extends GenericUDF{private StringObjectInspector stringInspector;@Overridepublic ObjectInspector initialize(ObjectInspector[] arguments) throws UDFArgumentException {if (arguments.length != 1) {throw new UDFArgumentLengthException("该函数只接受1个参数");}stringInspector = (StringObjectInspector) arguments[0];return PrimitiveObjectInspectorFactory.javaStringObjectInspector;}@Overridepublic Object evaluate(GenericUDF.DeferredObject[] arguments) throws HiveException {String name = stringInspector.getPrimitiveJavaObject(arguments[0].get());if (name == null || name.trim().isEmpty()) {return "数据为空无法映射";}name = name.trim();if (!name.matches("^[\u4e00-\u9fa5]+$")) {return "非汉字姓名无法处理";}int length = name.length();if (length == 1) {return "单字姓名无法映射";} else if (length == 2) {return name.charAt(0) + "*";} else {return name.charAt(0) + "**" + name.charAt(length - 1);}}@Overridepublic String getDisplayString(String[] children) {return "姓名脱敏函数";}
}

写完这个类之后,就可以打包了,点击打包,生成一个jar包
在这里插入图片描述
上传jar包到hdfs,随便放到一个目录,我的放在以下位置
在这里插入图片描述

Hive中函数注册及使用

在Hive中执行以下命令
加载jar包

add jar hdfs:///udfs/jiami.jar;

创建函数

CREATE FUNCTION day02_hive.to_namejiamiAS 'com.brilliance.JiamiFunction'USING JAR 'hdfs:///udfs/jiami.jar';

效果展示,我的Hive中创建了一张表hero,其中有一列为name,查询如下
在这里插入图片描述
使用我刚才创建的udf函数后

select name,to_namejiami(name)
from hero;

在这里插入图片描述
效果实现,希望我的分享可以帮助到你

http://www.xdnf.cn/news/18861.html

相关文章:

  • nowcoder刷题--反转链表
  • MCP 协议原理与系统架构详解—从 Server 配置到 Client 应用
  • SSM从入门到实战:3.1 SpringMVC框架概述与工作原理
  • AI 应用开发:从 Prompt 工程到实战应用开发
  • 基于Flask和AI的智能简历分析系统开发全流程
  • golang 基础类 八股文400题
  • 数据赋能(406)——大数据——数据系统安全性原则
  • k8s笔记04-常用部署命令
  • Matlab高光谱遥感、数据处理与混合像元分解实践技术应用
  • 从Java全栈到前端框架的深度探索
  • Android进入Activity时闪黑生命周期销毁并重建
  • 波音787项目:AR技术重塑航空制造的数字化转型
  • 如何用DeepSeek让Excel数据处理自动化:告别重复劳动的智能助手
  • EXCEL自动调整列宽适应A4 A3 A2
  • 云手机挂机掉线是由哪些因素造成的?
  • SQL语法指南
  • Maven下载历史版本
  • AI测试工具midsence和browse_use的使用场景和差异
  • 行向量和列向量在神经网络应用中的选择
  • CPTS-Pressed复现(XML-RPC)
  • 【沉浸式解决问题】NVIDIA 显示设置不可用。 您当前未使用连接到NVIDIA GPU 的显示器。
  • 智能电视MaxHub恢复系统
  • 了解一下大模型微调
  • 基于SpringBoot的物资管理系统【2026最新】
  • pikachu之Over permission
  • 从零到一:现代化充电桩App的React前端参考
  • 自动修改excel 自动统计文件名称插入 excel辅助工具
  • 【基础-单选】向服务器提交表单数据,以下哪种请求方式比较合适
  • 处理端口和 IP 地址
  • 基于Java企业商城网站