Spark2.x Session无法使用UDTF内置函数问题

xr328059257 2018-06-28 10:41:09
select
t.valid,
t.remote_addr,
t.remote_user,
t.time_local,
substring(t.time_local,0,10),
substring(t.time_local,11),
substring(t.time_local,6,2),
substring(t.time_local,9,2),
substring(t.time_local,12,2),
t.request,
t.status,
t.body_bytes_sent,
t.http_referer,
t.host,
t.path,
t.query,
t.query_id,
t.http_user_agent
from(
select
a.*,
b.*
from qm1711.ods_weblog_origin a
lateral view parse_url_tuple(regexp_replace(http_referer,'\"',''),'HOST','PATH','QUERY','QUERY:id') b as host,path,query,query_id
)t;"

用SparkSession 执行这句的时候给的LOG提示说parse_url_tuple 函数既不是永久函数也不是临时函数
但是直接在HIVE中执行这句就可以用
求解决办法
...全文
204 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

1,258

社区成员

发帖
与我相关
我的任务
社区描述
Spark由Scala写成,是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧