hive超大分区表关联小表优化问题

wildgun 2019-11-26 09:54:33
我有一张超大表数据量20多个亿:tb_a按照日期date_dt进行了动态分区,一张小表tb_dt用于存储需要从大表取数的日期
比如小表存了三条记录表示需要从大表取三天的数据,也就是三个分区的数据
2019-01-01
2019-01-05
2019-01-10
select /*+MAPJOIN(t1)*/
*
from tb_a t0
left semi join tb_b t1
on t0.date_dt=t1.date_dt
这样写大表会进行全表扫描
有什么方法可以优化的吗
...全文
467 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
单手打字 2019-12-04
  • 打赏
  • 举报
回复
可以这样select * from tb_a t0 where t0.data_dt in (select data_dt from tb_b);如果还想要tb_b表的全部字段,就再做一次join

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧