Spark测试环境搭建

oliviatian 2016-03-16 04:07:54

本人最近想接触一下Spark，开源社的开放黑客松平台刚好推出了一个线上体验环境，可以不用自己安装配置就可以体验，但是我不是很懂怎么用，能不能请教一下，如何能调出WebUI呢？地址是http://hacking.kaiyuanshe.cn/site/cloud_week_spark，原文地址是http://kaiyuanshe.org/index.php?option=com_content&view=article&id=102，多谢啦。

...全文

121 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

Spark集群及开发环境搭建，适合初学者，一步一步并配有截图。目录一、软件及下载 2 二、集群环境信息 2 三、机器安装 2 1. 安装虚拟机VirtualBox 2 2. 安装CentOs7 2 四、基础环境搭建（hadoop用户下） 6 1. 机器名HostName 6 2. 关闭防火墙 6 3. 系统更新及常用工具安装 7 4. IP配置 8 5. JDK安装 8 五、 Hadoop安装及配置 9 1. 安装 9 2. 配置 10 六、机器集群搭建 12 1. 复制机器 13 2. 设置静态IP 13 3. 设置机器名hostname 14 4. ssh免密登录 14 5. hadoop集群测试 16 七、 Spark & Scala 集群安装 18 1. scala安装 18 2. spark安装 19 3. 测试spark集群 20 八、 Scala开发 20 1、插件下载 20 2、插件安装 21 3、scala开发 22 4、程序执行 22

初学者手册一、软件及下载 2 二、集群环境信息 2 三、机器安装 3 1. 安装虚拟机VirtualBox 3 2. 安装CentOs7 3 四、基础环境搭建（hadoop用户下） 7 1. 机器名HostName 7 2. 关闭防火墙 7 3. 系统更新及常用工具安装 8 4. IP配置 8 5. JDK安装 9 五、 Hadoop安装及配置 10 1. 安装 10 2. 配置 10 六、机器集群搭建 14 1. 复制机器 14 2. 设置静态IP 15 3. 设置机器名hostname 15 4. ssh免密登录 15 5. hadoop集群测试 17 七、 Spark & Scala 集群安装 18 1. scala安装 18 2. spark安装 19 3. 测试spark集群 20 八、 Scala开发环境搭建 21 1、系统安装 21 2、安装jdk8 21 3、安装scala2.11 21 4、安装scala for eclipse 21 5、创建scala工程 21

自己整理的关于openfire与spark结合的IM即时通信系统，经过测试已经运转起来，因项目需求，正在研究Sparkweb及二次开发。若存在问题，请多多指教。

按文档搭建，安装包在云盘上，自己本人亲自测试，在安装的时候注意下如果装有多版本JDK，spark必须是1.8以上，多个JDK中java -version和javac -version看一下；修改Hadoop文件注意；我自己测试的时候用spark框架需要自己手动加入JAR包

通过VirtualBox安装多台虚拟机，实现集群环境搭建。优势：一台电脑即可。应用场景：测试，学习。注意事项：请严格按照文档操作，作者已经按照文档操作实现环境搭建。内附百度网盘下载地址，有hadoop+zookeeper+spark+kafka等等·····需要的安装包和配置文件

1,261

社区成员

1,169

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章