spark访问hdfs报错

lllmz123 2022-01-10 17:14:50

 

用的是阿里云ECS，在hdfs-site.xml中也加入了dfs.client.use.datanode.hostname 配置，访问不到，在云主机上访问没问题，初学者，求各位大神解惑

...全文
178 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
shiter 熟练 2022-01-12
  • 打赏
  • 举报
 回复

报错信息说明了，那你就要试试到底能不能连通

spark连接HDFS报错：8020 failed on connection exception: java.net.ConnectException: 拒绝连接 解决方法
刚开始学习spark，结果连接HDFS报错了。查了一些资料，原因找到了。 因为我配置的HDFS集群端口是9000，而spark写的是8020，结果肯定会报错啊。把8020改为9000即可。错误很低级，但写出可能给新手有帮助吧。
Spark读取主机HDFS报错解决
在本地机器使用SparkSQL读取hdfs上的文件并转换为DF的过程中出现报错 排除信息： 1.本地 Shell 可以正常操作，排除集群搭建和进程没有启动的问题 2.云主机没有设置防火墙，排除防火墙没关的问题 3.云服务器防火墙开放了 DataNode 用于数据传输服务端口 默认是 50010 4.我在本地搭建了另一台虚拟机，该虚拟机和本地在同一局域网，本地可以正常操作该虚拟机的hdfs，基本确定...
spark往hdfs写数据报错
将要输出的路径设置最大权限777（对应代码中输出的路径） hadoop fs -chmod 777 / 自己测过有效
Spark读取HDFS文件报错：java.net.ConnectException: Call From to localhost:9000 failed on connection
Spark读取HDFS文件报错：localhost:9000 failed on connection exception: java.net.ConnectException: 拒绝连接
记一次spark任务报错信息
offset=0;
Spark

1,269

社区成员

1,169

社区内容

发帖
与我相关
我的任务
社区描述
Spark由Scala写成，是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于MapReduce算法实现的分布式计算。
社区管理员
  • Spark
  • shiter
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章