sqoop寻找lib目录位置问题

[jinchenfly]

环境是Hadoop2.2+sqoop-1.4.4.bin__hadoop-2.0.4-alpha.
运行命令：sqoop import -m 1 --connect jdbc:mysql://localhost:3306/dataanalysis --username root --table visitData --target-dir /out
报错，错误是找不到jar包文件，很明显这个jar包是在/usr/local/sqoop-1.4.4.bin__hadoop-2.0.4-alpha/lib/目录下的，但是他找的时候却去hdfs上找，我尝试把sqoop目录传到hdfs上去，这里是能过去，但是后面会报找不到一个java类，因为这个java类是动态生成在/usr/local/sqoop-1.4.4.bin__hadoop-2.0.4-alpha/bin目录下的，所以在hdfs上当然找不到。
求解哪里配置有问题才会造成这个状况？还是说我弄错了sqoop本来就应该放在hdfs上工作？
14/05/23 15:17:17 INFO mapreduce.JobSubmitter: Cleaning up the staging area file:/tmp/hadoop-root/mapred/staging/root65006011/.staging/job_local65006011_0001
14/05/23 15:17:17 ERROR security.UserGroupInformation: PriviledgedActionException as:root (auth:SIMPLE) cause:java.io.FileNotFoundException: File does not exist: hdfs://localhost:9000/usr/local/sqoop-1.4.4.bin__hadoop-2.0.4-alpha/lib/avro-mapred-1.5.3.jar
14/05/23 15:17:17 ERROR tool.ImportTool: Encountered IOException running import job: java.io.FileNotFoundException: File does not exist: hdfs://localhost:9000/usr/local/sqoop-1.4.4.bin__hadoop-2.0.4-alpha/lib/avro-mapred-1.5.3.jar
at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(DistributedFileSystem.java:1110)
at org.apache.hadoop.hdfs.DistributedFileSystem$17.doCall(DistributedFileSystem.java:1102)
at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
at org.apache.hadoop.hdfs.DistributedFileSystem.getFileStatus(DistributedFileSystem.java:1102)
at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.getFileStatus(ClientDistributedCacheManager.java:288)
at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.getFileStatus(ClientDistributedCacheManager.java:224)
at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.determineTimestamps(ClientDistributedCacheManager.java:93)
at org.apache.hadoop.mapreduce.filecache.ClientDistributedCacheManager.determineTimestampsAndCacheVisibilities(ClientDistributedCacheManager.java:57)
at org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:264)
at org.apache.hadoop.mapreduce.JobSubmitter.copyAndConfigureFiles(JobSubmitter.java:300)
at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:387)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1268)
at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1265)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1491)
at org.apache.hadoop.mapreduce.Job.submit(Job.java:1265)
at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1286)
at org.apache.sqoop.mapreduce.ImportJobBase.doSubmitJob(ImportJobBase.java:186)
at org.apache.sqoop.mapreduce.ImportJobBase.runJob(ImportJobBase.java:159)
at org.apache.sqoop.mapreduce.ImportJobBase.runImport(ImportJobBase.java:239)
at org.apache.sqoop.manager.SqlManager.importTable(SqlManager.java:600)
at org.apache.sqoop.manager.MySQLManager.importTable(MySQLManager.java:118)
at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:413)
at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:502)
at org.apache.sqoop.Sqoop.run(Sqoop.java:145)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:181)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:220)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:229)
at org.apache.sqoop.Sqoop.main(Sqoop.java:238)

[jinchenfly2]

对于这类配置问题，只能说不要自己去找hadoop的组件一个一个装，直接用cloudera CDH版本直接一起装完，问题会少一点。

[五哥]

开始学习 ，路过

[五哥]

我在虚拟机上 伪集群上 hadoop-1.0.3 + sqoop-1.4.4 ,访问物理机的 mysql没有问题，不知道你的环境是 ？ sqoop import --connect jdbc:mysql://192.168.0.183:3306/sqoop --username sqoop --password sqoop --table test -m 1

[wang_dong_dong]

楼主解决没，我也是这个问题啊，搞一天了

[曾宏]

有知道的么 我也碰到了

[zengzhaozheng]

问题找到答案没有？

[dadawawaaa]

结贴了 是不是解决问题了？求解

[markyang-_-]

求答案呀，遇到同样的问题！

[markyang-_-]

终于找到解方案了，高人都在stackoverflow呀， http://stackoverflow.com/questions/24246423/sqoop-error-main-tool-importtool I solve the problem in adding in mappred-site.xml : <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>

[hjilove]

是hadoop 下的mappred-site.xml 吗

[p8098]

引用 9 楼 yangdaixing 的回复:

终于找到解方案了，高人都在stackoverflow呀， http://stackoverflow.com/questions/24246423/sqoop-error-main-tool-importtool I solve the problem in adding in mappred-site.xml : <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>

相当感谢，就是这样解决的。 我才发现我mappred-site.xml 还有yarn-site.xml 都没有配置好。你的答案完美解决了问题。

[qq_22336823]

你好，我也遇到了楼上的问题，但是我在 mappred-site.xml 加上了<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> 好像问题还是一样，还是从hdfs上读取jar包？怎么回事呀

[qq_25807047]

引用 11 楼 p8098 的回复:

[quote=引用 9 楼 yangdaixing 的回复:] 终于找到解方案了，高人都在stackoverflow呀， http://stackoverflow.com/questions/24246423/sqoop-error-main-tool-importtool I solve the problem in adding in mappred-site.xml : <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>

相当感谢，就是这样解决的。 我才发现我mappred-site.xml 还有yarn-site.xml 都没有配置好。你的答案完美解决了问题。[/quote] 你好 我按这样修改了mapred .xml，但是又出现了新的错误： org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist。整了好久还不行，请问怎么解决？谢谢！

[qq_25807047]

你好 我按9楼说的 这样修改了mapred .xml，但是又出现了新的错误： org.apache.hadoop.yarn.exceptions.InvalidAuxServiceException: The auxService:mapreduce_shuffle does not exist。整了好久还不行，请问怎么解决？谢谢！

[qq_25807047]

引用 11 楼 p8098的回复:

[quote=引用 9 楼 yangdaixing 的回复:] 终于找到解方案了，高人都在stackoverflow呀， http://stackoverflow.com/questions/24246423/sqoop-error-main-tool-importtool I solve the problem in adding in mappred-site.xml : <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>

相当感谢，就是这样解决的。 我才发现我mappred-site.xml 还有yarn-site.xml 都没有配置好。你的答案完美解决了问题。[/quote] 你好 我按照这个修改了mapred-xml，但是又出现了新的错误：org.apache.hadoop.yarn.exception.InvalidAuxServiceException:The auxService:mapreduce_shuffle does not exist。试了一天了，请问怎样解决？谢谢！