一个关于join的小问题。

树木 2001-07-20 11:40:40

建立视图或者数据窗口的时候，要关联多个表，表之间的join可以自己建立吗？还是只能通过自己写WHERE语句？

...全文

86 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

树木 2001-07-20

打赏
举报

回复

结的过快，xingjiaren(Sandy)不好意思了。：）

树木 2001-07-20

打赏
举报

回复

没细看，呵呵！

xingjiaren 2001-07-20

打赏
举报

回复

可以呀,最基本的连接了
里面有自带的 "join"
它实现不了的，再用where写

caolei1974 2001-07-20

打赏
举报

回复

可以用join

关于hive中Map join 时大表left join小表的问题在hive中，（启用Map join时）大表left join小表，加载从右向左，所以小表会加载进内存，存储成map键值对，通过大表驱动小表，来进行join，即大表中的join字段作为key 来获取value进行join。在MySQL中，left join加载从左向右，即join左边的表会先加载进内存，与右边表进行join。 mapjoin时要让小表进内存，大表进内存的话可能会因为过大的原因，导致mapjoin无法实现，从而转为redu

摘要： MAPJOIN 当一个大表和一个或多个小表做JOIN时，最好使用MAPJOIN，性能比普通的JOIN要快很多。另外，MAPJOIN 还能解决数据倾斜的问题。 MAPJOIN的基本原理是：在小数据量情况下，SQL会将用户指定的小表全部加载到执行JOIN操作的程序的内存中，从而加快JOIN的执行速度。 1、小、大表 join 在小表和大表进行join时，将小表放在前边，效率会高。hive...

map join 的定义： map join 适用于一个大表和一个或多个小表执行join操作的场景。整个join过程包含map、shuffle和reduce三个阶段。通常情况下，join操作在reduce阶段执行表连接。map join操作是在map阶段执行的，大量缩短了数据传输的时间，提升了系统资源的利用率，从而起到了优化作业的作用。并且map join会将指定的小表全部加载到执行join操作的程序的内存中，从而加快join的速度。 map join 的操作限制：指定的表只能是小表；

优化的三种方式 1、小表 join 大表在小表和大表进行join时，将小表放在前边，效率会高。hive会将小表进行缓存。 2、mapjoin 使用mapjoin将小表放入内存，在map端和大表逐一匹配。从而省去reduce。样例： SELECT /*+MAPJOIN(b)*/ --将小表放入内存 a.a1, a.a2, b.b2 FROM tablea a --大表 JOIN tableb b --小表 ON a.a1 = b.b1 这里会有个问题，大表left join

首先我们要了解MAPJOIN优化原理，这里简要说明下 Spark Broadcast hash join(Hive map join同理) 1，把小表广播到所有大表分布的节点上，在每个节点上分别进行单机hash join 2，left join时只能广播右表执行基本条件：小表必须小于参数spark.sql.autoBroadcastJoinThreshold, 默认为10M sql场景小表需要leftjoin大表小表150M左右大表1T左右原始sql(广播...

1,077

社区成员

66,438

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章