Sqoop 将mysql数据导入Hive 遇到的问题,求解!

Edwin603 2012-10-19 11:18:38
sqoop import \
--connect jdbc:mysql://45.0.0.112:3306/Hadoop_Data --username root --password admin \
--query "select * from loginlog_201101 where loginDate='2011-01-01' AND \$CONDITIONS" --split-by loginlog_201101.username \
--hive-import -m 5 \
--hive-table loginlog \
--hive-partition-key year --hive-partition-value 2011 \
--hive-partition-key month --hive-partition-value 01 \
--hive-partition-key day --hive-partition-value 01



以上代码 是我的逻辑需求,搜索了sqoop官网,问了很久度娘,
这条语句一直无法通过,请问有用过sqoop的人可否能回答我的问题
...全文
1043 6 打赏 收藏 转发到动态 举报
写回复
用AI写文章
6 条回复
切换为时间正序
请发表友善的回复…
发表回复
randee_luo 2013-06-03
  • 打赏
  • 举报
回复
指定 --target-dir 之前我也遇到过的。。 后来加上这个就可以了
fengxuegupo 2013-05-30
  • 打赏
  • 举报
回复
mysql的我不清楚,oracle的不用指定
吐槽达达仔 2013-05-27
  • 打赏
  • 举报
回复
引用 3 楼 fengxuegupo 的回复:
sqoop import \ --connect jdbc:mysql://45.0.0.112:3306/Hadoop_Data --username root --password admin \ --query "select loginDate from loginlog_201101 where loginDate='2011-01-01' AND \$CONDITIONS" --columns loginDate --split-by loginlog_201101.username \ --hive-import -m 5 \ --hive-table loginlog \ --hive-partition-key year --hive-partition-value 2011 \ --hive-partition-key month --hive-partition-value 01 \ --hive-partition-key day --hive-partition-value 01 试试这个吧,用query的时候最好指定列名,看行不行,不行直接找我
官方文档上面说,只要使用--query,就必须指定target-dir。 这个代码您试过了吗?
fengxuegupo 2013-05-21
  • 打赏
  • 举报
回复
sqoop import \ --connect jdbc:mysql://45.0.0.112:3306/Hadoop_Data --username root --password admin \ --query "select loginDate from loginlog_201101 where loginDate='2011-01-01' AND \$CONDITIONS" --columns loginDate --split-by loginlog_201101.username \ --hive-import -m 5 \ --hive-table loginlog \ --hive-partition-key year --hive-partition-value 2011 \ --hive-partition-key month --hive-partition-value 01 \ --hive-partition-key day --hive-partition-value 01 试试这个吧,用query的时候最好指定列名,看行不行,不行直接找我
vinkeychen 2013-05-10
  • 打赏
  • 举报
回复
楼主搞定这个问题了吗? 我也有类似的语句,无法执行,好像语法有误。
纯净水呐 2013-03-20
  • 打赏
  • 举报
回复
请上报错日志

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧