关于hadoop2.0在win7远程调试的问题

明日的明月 2015-03-30 04:01:01
本人在hadoop1.0环境下win7远程调试,只需要放入自带的插件配好端口,然后直接run就行了。
但在hadoop2.0情况下,首先是插件不好找,找到了合适的插件后,能连上hdfs。
进行远程调试,问题来了。首先是提示我Cannot run program "cygpath": CreateProcess error=2,
经过查找相关资料,说是要装cygdrive: 来模拟linux环境,好吧我安装好并配置环境变量后
后继续运行,问题又出现了。 chmod: cannot access '/cygdrive/c/***/staging/ehi1196697551/.staging/job_local1196697551_0001': No such file or directory
这个问题,研究了下cygpath找到了这个Job文件所在的目录,发现,不是没这个文件,是根本没权限创建这个文件。
我手动尝试创建文件再打开,尽然提示不能访问。那好吧,我修改权限,把所有文件的权限修改。再运行,我发现还是不行,难道是用win用户去修改文件夹权限不行?我又在cyg环境下chmod 755,但是并查看用户和权限没问题后,我继续运行发现新由cygdrive创建的文件还是 d---r-x---+ 这种权限。

我在网上搜到一个这样的方法:
3.4. Q 为什么在 Cygwin 下创建的文件,其他管理员不可写?
这是所谓的 ntsec 在起作用。通过 NTFS 的权限设置,模拟 UNIX 的权限。可以通过 CYGWIN 环境变量修改。如:
bash$ export CYGWIN="nontsec nosmbntsec"

但是我修改了cygdrive的etc/profile文件加入export CYGWIN="nontsec nosmbntsec"然后source profile和
直接命令export CYGWIN="nontsec nosmbntsec"都没用。


我后面仔细想下为什么不需要cygdrive,但2.0需要??
且这个cygdrive的权限问题到底该如何改,有大神能解答么。

难道大家hadoop2.0开发都是在Linux环境下进行,或者是打包上传运行的么??都没遇到这个问题么??
...全文
212 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
060 2015-04-01
  • 打赏
  • 举报
回复
尽量不要在Windows下调试Hadoop。
明日的明月 2015-03-31
  • 打赏
  • 举报
回复
版主,你好,你的帖子我看了,没有说到我的问题。 说设置问题?能说清楚点么,是我的设置问题造成了这个权限问题么,应该是哪个地方需要设置一下。 至于你说的插件版本问题,我现在是eclipse能连接到HDFS能上传文件,能创建文件夹,按道理这里的设置是没问题的。如果我换了别的插件eclipse中连perferences中右边的hadoop map/reduce的设置都没有,我一个同事eclipse版本与我不一样,也是winxp系统,他用我这个插件也是perferences中右边的hadoop map/reduce,换一个就好了。 我现在最想知道的是,2.0远程是不是一定要装cygdrive?? 然后如果真要装cygdrive,有没有人遇到我这样的问题。cygdrive因为权限问题无法在win7环境下创建job等文件。
海兰 2015-03-30
  • 打赏
  • 举报
回复
去我的博客里边看看吧~~ 不是插件的原因,是你的设置问题

2,245

社区成员

发帖
与我相关
我的任务
社区描述
OpenAPI
社区管理员
  • OpenAPI社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧