sqoop jdbc错误

ldw2545398 2014-05-12 05:44:24
hadoop2.2,sqoop1.4.4-cdh5
sqoop list-tables --connect jdbc:mysql://xxx.xx.xx.xx:3306/xxxx --username xxx --password xxx 可以成功执行返回结果.
但是只要执行跟数据有关的
sqoop import --connect jdbc:mysql://xxx.xx.xx.xx:3306/xxxx --username xxx --password xxx --table pure_user --hive-import --hive-table ldwtestt -m 2 --fields-terminated-by "|";
就报错误。
...全文
312 2 打赏 收藏 转发到动态 举报
写回复
用AI写文章
2 条回复
切换为时间正序
请发表友善的回复…
发表回复
houyajin 2014-05-13
  • 打赏
  • 举报
回复
不懂,帮支持,你可以去hadoop的地方问问呢。
ldw2545398 2014-05-12
  • 打赏
  • 举报
回复
等待大神帮忙呀!
大数据库系统资源数据库建设总体设计全文共16页,当前为第1页。大数据库系统资源数据库建设总体设计全文共16页,当前为第1页。大数据库系统 大数据库系统资源数据库建设总体设计全文共16页,当前为第1页。 大数据库系统资源数据库建设总体设计全文共16页,当前为第1页。 资源数据库建设 总体设计 总体架构 图 1总体架构 本资源数据库主要是汇聚各种来源的数据形成历史库、业务库、基础库、主题库来支撑前端GIS、关系图等服务,以方便各委办局、街道、社区对大数据中心数据的使用。 大数据库系统资源数据库建设总体设计全文共16页,当前为第2页。大数据库系统资源数据库建设总体设计全文共16页,当前为第2页。数据架构 大数据库系统资源数据库建设总体设计全文共16页,当前为第2页。 大数据库系统资源数据库建设总体设计全文共16页,当前为第2页。 图 2 数据架构 资源数据库将分为缓冲层、贴源层,原子层,模型层、应用集市层五层,缓冲层主要用来存储从大数据交换平台过来的数据,其数据结构和交换平台交换过来的结构基本一致,只保留一年的增量信息,目的是当数据抽取出现错误时,能快速定位出问题,快速重抽数据,保证数据处理的时效性。贴源层共分为两层贴源历史层与贴源标准层,贴源历史层将保留历史变迁数据,方便数据溯源及历史数据分析。贴源标准层只保留当前版本有效的数据,方便业务系统对原始业务数据的使用,该层会对数据做一定程度的标准化。原子层存储的是数据的原子信息,属于数据最小颗粒度的信息。模型层存储的由原子层整合而来的按人口、法人、空间等维度组合的数据,本次项目中主要有人口域、法人域、空间域、事件域。集市层存储的是主题分析需要用到的主题分析数据。如人口主题分析数据等。 大数据库系统资源数据库建设总体设计全文共16页,当前为第3页。大数据库系统资源数据库建设总体设计全文共16页,当前为第3页。技术架构 大数据库系统资源数据库建设总体设计全文共16页,当前为第3页。 大数据库系统资源数据库建设总体设计全文共16页,当前为第3页。 图 3 技术架构 结构化数据存放在Oracle中,目前采用的是Oracle 11gR2;大数据平台使用的是大数据TDH(Transwrap Data Hub);工作流设计调度监控采用中兴的iETL;数据质量稽查采用华傲数据数据DS;质量工单采用华傲数据工单系统。源数据到缓冲层如果是Oracle的采用DBLink连接源数据,如果是非Oracle的采用iETL的工作流进行数据抽取。关系数据存储到大数据平台采用Apache Sqoop进行导入;非结构化数据使用FTP的方式存储到大数据平台。 数据应用以JDBC的方式访问结构化数据, 数据服务以API的方式访问大数据平台的数据。 数据来源 目前数据库中的数据主要来源有三部分,第一部分是市交换平台订阅数据,第二部分是中兴的存量数据,第三部分是区各个业务系统的数据。 表格 1 数据来源描述 数据来源描述 业务单位 数据项 数据量 采集方式 采集频率 市交换平台数据 市流动人口和出租屋综管办 20 2691485 增量 每天 市交换平台数据 市规划国土委 3 76216 增量 每天 市交换平台数据 市监察局 2 2195256 增量 每天 市交换平台数据 市民政局 63 453722 增量 每天 市交换平台数据 市住房和建设局 60 30744916 增量 每天 大数据库系统资源数据库建设总体设计全文共16页,当前为第4页。大数据库系统资源数据库建设总体设计全文共16页,当前为第4页。市交换平台数据 大数据库系统资源数据库建设总体设计全文共16页,当前为第4页。 大数据库系统资源数据库建设总体设计全文共16页,当前为第4页。 市市场监管局 8 23120820 增量 每天 市交换平台数据 市发改委 16 15749 增量 每天 市交换平台数据 市文体旅游局 54 109242 增量 每天 市交换平台数据 市地税局 15 16715981 增量 每天 市交换平台数据 市城管局 21 2394555 增量 每天 市交换平台数据 市交通运输委员会 6 180703 增量 每天 市交换平台数据 市科技创新委员会 34 59843 增量 每天 市交换平台数据 市国税局 1 414956 增量 每天 市交换平台数据 市人居环境委 22 478859 增量 每天 市交换平台数据 市电子政务资源中心 9 13036565 增量 每天 市交换平台数据 市气象局 9 846356 增量 每天 市交换平台数据 市司法局 5 11439 增量 每天 市交换平台数据 市公安局 1 4188198 增量 每天 市交换平台数据 市水务局 20 526728 增量 每天 中兴存量数据 社会建设局 20 7200 全量 一次 中兴存量数据 城市

590

社区成员

发帖
与我相关
我的任务
社区描述
提出问题
其他 技术论坛(原bbs)
社区管理员
  • community_281
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧