hive分区优化不生效
大神们~问一个关于hive的问题
我们的日志是按天做分区的
我想在hive中直接取当天分区的数据
这样写:concat_ws('-',year,month,day)=date_sub(from_unixtime(unix_timestamp(),'yyyy-MM-dd'),1)
结果貌似是先把所有分区都加载了然后进行的过滤,因为观察日志可以看到job的map数量巨大
但是如果这样写 where concat_ws('-',year,month,day)='2015-08-30' ,指明了分区,而不用计算就会有分区优化了
我想问的是,如果我就想采用第一种写法,有什么办法能让hive进行分区优化吗?
是有什么参数可以强制指定先过滤分区吗?