sqoop导出parquet到oracle时报错

Alroy阳 2016-11-11 08:53:15
sqoop导出普通文件时正常,导出parquet时报错,sqoop命令如下:
sqoop export -D oracle.sessionTimeZone=CST --connect jdbc:oracle:thin:@172.31.27.201:1521:orcl --username SMCS --password smcs --table tb_xx01 --export-dir /user/hive/warehouse/basic_resource.db/tb_xx01 -m 4 --columns id,top_domain,is_alive,is_cdn,ip_addr,ip_addr_value,province,city,county,house_id,house_code,operators_jyxkzbh,operators_id,idc_isp_name,isp_id,idc_isp_id,yl1,yl2,yl3,top_domain_id,update_time --map-column-hive update_time=string --fields-terminated-by '\t' --input-null-string '\\N' --input-null-non-string '\\N'
错误日志:16/11/10 17:33:30 ERROR sqoop.Sqoop: Got exception running Sqoop: org.kitesdk.data.DatasetNotFoundException: Descriptor location does not exist: hdfs://act200:8020/user/hive/warehouse/basic_resource.db/tb_xx01/.metadata
org.kitesdk.data.DatasetNotFoundException: Descriptor location does not exist: hdfs://act200:8020/user/hive/warehouse/basic_resource.db/tb_xx01/.metadata
at org.kitesdk.data.spi.filesystem.FileSystemMetadataProvider.checkExists(FileSystemMetadataProvider.java:562)
at org.kitesdk.data.spi.filesystem.FileSystemMetadataProvider.find(FileSystemMetadataProvider.java:605)
at org.kitesdk.data.spi.filesystem.FileSystemMetadataProvider.load(FileSystemMetadataProvider.java:114)
at org.kitesdk.data.spi.filesystem.FileSystemDatasetRepository.load(FileSystemDatasetRepository.java:197)
at org.kitesdk.data.Datasets.load(Datasets.java:108)
at org.kitesdk.data.Datasets.load(Datasets.java:140)
at org.kitesdk.data.mapreduce.DatasetKeyInputFormat$ConfigBuilder.readFrom(DatasetKeyInputFormat.java:92)
at org.kitesdk.data.mapreduce.DatasetKeyInputFormat$ConfigBuilder.readFrom(DatasetKeyInputFormat.java:139)
at org.apache.sqoop.mapreduce.JdbcExportJob.configureInputFormat(JdbcExportJob.java:84)
at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:432)
at org.apache.sqoop.manager.OracleManager.exportTable(OracleManager.java:455)
at org.apache.sqoop.tool.ExportTool.exportTable(ExportTool.java:81)
at org.apache.sqoop.tool.ExportTool.run(ExportTool.java:100)
at org.apache.sqoop.Sqoop.run(Sqoop.java:143)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:179)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:218)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:227)
at org.apache.sqoop.Sqoop.main(Sqoop.java:236)




哪位大神能帮忙解答下,小弟不胜感激
...全文
2567 7 打赏 收藏 转发到动态 举报
写回复
用AI写文章
7 条回复
切换为时间正序
请发表友善的回复…
发表回复
  • 打赏
  • 举报
回复
使用这两个参数 --hcatalog-database dbname \
--hcatalog-table tablename \
  • 打赏
  • 举报
回复
添加这几个参数就可以导出parquet表 --hcatalog-database dbname --hcatalog-table tablename
Xinqi_Li 2017-10-27
  • 打赏
  • 举报
回复
同问,我也遇到了这问题
xiaofengkang 2017-09-05
  • 打赏
  • 举报
回复
有解决办法吗?
baidu_37641449 2017-02-24
  • 打赏
  • 举报
回复
同问,我也遇到了这问题
qq_31170823 2017-02-20
  • 打赏
  • 举报
回复
同问,我也遇到了这个问题

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧