Hadoop ha 下启动spark

qiaotongzxcv 2019-01-09 06:09:13

在spark-env.sh中配置了 HADOOP_CONF_DIR一节HADOOP_HOME
也把core-site.xml和hdfs-site.xml复制到了spark/conf中，在spark-defaults.conf文件中也追加了这两个文件的路径，依然报一下错误：

ERROR spark.SparkContext: Error initializing SparkContext.
java.lang.IllegalArgumentException: java.net.UnknownHostException: hdfs-server

...全文

25 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

hadoop mapreduce hive spark hbase spack storm sqoop hadoop hive spark hadoop 查看输入的文件内容 [hadoop@master ~]$ more wc.input 任务二将输入文件上传到HDFS 在master主节点，使用 root 用户登录，然后...

亲手在Centos7上安装，所用软件列表 apache-flume-1.8.0-bin.tar.gz apache-phoenix-4.13.0-HBase-1.3-bin.tar.gz hadoop-2.7.4.tar.gz ...spark-2.2.0-bin-hadoop2.7.tgz spark-2.2.0.tgz zookeeper-3.4.11.tar.gz

本节为python hadoop与spark教程，主要讲解hadoop与spark的应用。

1、内容概要：Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南（详细搭建步骤+实践过程问题总结）。 2、适合人群：大数据运维、大数据相关技术及组件初学者。 3、...

通过案例实战掌握高可用HA下的Spark集群部署

1,258

社区成员

1,168

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章