hive引入udf函数到classpath，创建临时函数的时候找不到类

m0_38050682 2018-10-23 05:02:06

在idea中写了一个MyConcat类，打包后放到了centos中，然后在hive中执行add jar **/MyConcat.jar，之后list jars可以找到这个jar包，但是执行create temporary function myconcat as "**.**.MyConcat"时报错：
FAILED: Class com.func.MyConcat not found
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.FunctionTask
在网上查了一些资料，说是要保证编译版本相同，我的hadoop运行环境是jdk1.8，idea的编译器也是jak1.8
请问怎么解决？

...全文

918 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

丁鑫成 2021-05-13

打赏
举报

回复

请问楼主解决了吗？

1.临时注册 1.导入jar包 2.部署到hive的lib下。 3.添加jar到hive的classpath $hive>add jar app-logs-hive-1.0-SNAPSHOT.jar ; 4.注册临时函数 $hive>create temporary function helloworld AS 'com...

编写UDF函数(1)创建项目:(2)导入依赖: Hive 自带了一些函数，比如：max/min 等，但是数量有限，自己可以通过自定义 UDF 来方便的扩展。 2）当 Hive 提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）。 3）根据用户自定义函数类别分为以下三种：（1）UDF（User-Defined-Function）一进一出（2）UDAF（User-Defined Aggregation Function）

一、UDF相关概念 udf函数，用户自定义函数，可以直接在sql语句中计算的函数优点：允许实现模块化的程序设计、方便修改代码、增加函数 UDF的执行速度很快，通过缓存计划在语句重复执行时降低代码的编译开销，比存储方法的执行效率更高可用于减少网络流量 UDF放入内存中，设计不当可能导致系统的崩溃，所以必须在必要的时候实施优化，对udf的优化是通过改写原来的udf代码实现，主要包括两种场...

虽然HIVE当中的函数功能很强大，但是有的时候我们需要自定义函数，今天我们介绍一个最简单的函数，UDF函数. 当 Hive 提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF：user-defined function）. UDF：给参数计算出一个结果. 参考博客：https://www.cnblogs.com/jifengblog/p/9278972.html 直接进入正题，主要步骤：回到顶部 UDF函数创建步骤（1）新建Java Maven项目，添加依赖 1 2 3

概述用户自定义函数(UDF)是一个允许用户扩展HiveQL的强大的功能。用户可以使用Java编写自己的UDF，一旦将用户自定义函数加入到用户会话中(交互式的或者通过脚本执行的)，它们就将和内置的函数一样使用，甚至可以提供联机帮助。Hive具有多种类型的用户自定义函数，每一种都会针对输入数据执行特定“一类”的转换过程。在ETL处理中，一个处理过程可能包含多个处理步骤。Hive语言具有多种方式来将...

Linux/Unix社区

18,773

社区成员

11,463

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章