sqoop进行大量oracle表导入到HDFS发生的数据倾斜
由于数据的庞大以及年代的的久远,即便设置-m 30都是基本集中在一个map中,尤其是对于几十g数据的表,这种情况下,split by没有任何的用处,有没有其他的解决方法,而且是编写shell脚本大量的表一次性导,不是一张一张表导入,版本号是1.4.4,没有1.4.5的sqoop for oracle,网上查到可以用--query的方法,自己设定sql语句,但是并不清楚怎么去编写,sqoop自己提供的min,max(primary key)感觉已经是最优的sql了