hive自定义udf函数，在udf函数内怎么读取hive表数据

2017-05-24 09:50:27 1.3k 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

SparkSQL-02 SparkSQL将所有常用的数据源接口都进行了封装，只需要指定读写的类型和地址就可以实现读写。方式一：给定读取数据源的类型和地址方式二：直接调用对应数据源类型的方法特殊参数：option，用于指定读取时的一些配置选项 1、代码演示最普通的文件读取方式： 2）通过jdbc读取数据库数据先在本地数据库或者linux数据库中插入一张表： dept的数据：接着放驱动程序： Python环境放入MySQL连接驱动第一种情况：假如你是windows环境：我的最终的路径是在这里阅读详情

我想实现一个udf函数，传入一个参数，去读取hive自己的表数据进行业务测试

package com.hive;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;

import org.apache.hadoop.hive.ql.exec.UDF;
import org.apache.hadoop.hive.ql.exec.persistence.BytesBytesMultiHashMap.Result;
import org.apache.hadoop.io.Text;

public class ConnHive extends UDF{

public Text evaluate(Text input) throws Exception
{
String driver="org.apache.hadoop.hive.jdbc.HiveDriver";
String url = "jdbc:hive://192.168.175.129:10000";
String userName = "";
String passWord = "";
String sql = "select name from test where id = "+Integer.parseInt(input.toString());
Class.forName(driver);
Connection con = DriverManager.getConnection(url,userName,passWord);
Statement stmt = con.createStatement();
ResultSet rs = stmt.executeQuery(sql);
StringBuffer sbf = new StringBuffer();

while(rs.next())
{
sbf.append(rs.getString(1)).append("|");
}
return new Text(sbf.toString().substring(0, sbf.length()-1));
}

}

测试表和数据
create table test
(
id int ,
name string
)
comment 'test'
row format delimited
fields terminated by '\t'
stored as textfile;

12 abc
345 cde
678 def

报错结果：
hive> select t.name,connhive(123) from ymdd.test t;
FAILED: SemanticException [Error 10014]: Line 1:14 Wrong arguments '123': org.apache.hadoop.hive.ql.metadata.HiveException: Unable to execute method public org.apache.hadoop.io.Text com.hive.ConnHive.evaluate(org.apache.hadoop.io.Text) throws java.lang.Exception on object com.hive.ConnHive@3ad8e7 of class com.hive.ConnHive with arguments {123:org.apache.hadoop.io.Text} of size 1

Text类在hadoop-common-2.6.1.jar中已经add jar操作了

...全文