Java连接Hadoop集群的问题

hanger_liu 2016-09-06 11:58:45
对连接Hadoop集群产生了一点疑问:
现在就是有一个Hadoop集群:一个Master,二个slave。
当我用Java去连接它的hdfs时,使用的ip只能是Master的IP吗?是否可以使用slave的IP?
另外当我是使用java去上传文件到hdfs后,文件存储是分块到三个机器上的吗?
...全文
1089 5 打赏 收藏 转发到动态 举报
写回复
用AI写文章
5 条回复
切换为时间正序
请发表友善的回复…
发表回复
海会圣贤 2016-10-04
  • 打赏
  • 举报
回复
copyToLocalFile(src, dst); copyFromLocalFile(src, dst);
Richard123m 2016-09-23
  • 打赏
  • 举报
回复
只能是master,文件传至HDFS,集群会根据事先置定好的规则,分为三份
it_chenfanglin 2016-09-08
  • 打赏
  • 举报
回复
当然有,网上可以找一找
hanger_liu 2016-09-06
  • 打赏
  • 举报
回复
引用 1 楼 baidu_36064900 的回复:
1, java连接hdfs时只能使用namenode 地址; 2, 默认存储3份(可配置),数据存在slave节点上,如果是2台slave ,则3份数据都是存在这两台机器上。
有一个问题,hdfs 提供了cp命令,那hdfs api中有没有接口实现cp命令呢?
baidu_36064900 2016-09-06
  • 打赏
  • 举报
回复
1, java连接hdfs时只能使用namenode 地址; 2, 默认存储3份(可配置),数据存在slave节点上,如果是2台slave ,则3份数据都是存在这两台机器上。

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧