shell自动部署spark(免密码+ssh+scala+spark)下载

weixin_39821260 2020-08-14 06:30:39

自动化部署，spark分布式集群，全过程只需要输入密码即可，部署spark是分分钟的事。参考文章：http://blog.csdn.net/wangqi880/article/details/52875524
相关下载链接：//download.csdn.net/download/wangqi880/9659359?utm_source=bbsseo

...全文

12 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

自动化部署，spark分布式集群，全过程只需要输入密码即可，部署spark是分分钟的事。参考文章：http://blog.csdn.net/wangqi880/article/details/52875524

1 安装Linux 3 1.1 安装wmware11 3 1.1.1 待补充 3 1.2 安装centos6.5 3 1.2.1 注意安装细节 3 1.2.2 设置VIM 命令 3 1.2.3 配置仅主机连网 4 1.2.4 配置网络出现的问题 5 1.2.5 设置桥接上网 6 1.2.6 设置nat上网 12 2 安装基本工具 15 2.1 SSH免登陆配置 15 2.2 SUDO配置 15 3 单机安装Hadoop 17 3.1 hdfs和yarn单机安装 17 3.1.1 配置主机和防火墙 17 3.2 hadoop基本shell命令 19 3.3 简单JAVA实例 20 4 伪分布式部署spark 20 4.1 下载spark 20 4.2 解压安装 20 4.3 安装scala. 20 4.4 配置spark的启动参数 21 4.5 启动并验证spark是否配置 21 5 搭建zookeeper集群 23 5.1 下载解压 23 5.2 参数配置 23 5.2.1 23 5.2.2 23 5.2.3 24 5.2.4 24 5.2.5 24 5.2.6 启动验证 24 6 KAFKA安装 25 6.1 下载 25 6.2 安装 25 6.2.1 修改server.properties 25 6.2.2 配置参数说明 25 6.2.3 拷贝到其他的环境 26 6.2.4 启动 26 6.2.5 验证 26 6.2.6 基本命令 26

目录软件下载 2 安装虚拟机管理器 2 新建虚拟机，安装Ubuntu 3 锐捷校园认证下虚拟机Ubuntu 的联网设置 11 熟悉Ubuntu系统 13 安装SSH、配置SSH无密码登陆 20 安装Java环境 22 安装Hadoop 24 Hadoop伪分布式配置 25 启动Hadoop 26 运行Hadoop伪分布式实例 30 启动YARN 35 附加教程: 配置PATH环境变量 37 使用Eclipse编译运行MapReduce程序（Hadoop-Eclipse-Plugin，建议） 38 使用Eclipse打包自己的MapReduce程序 51 不用Hadoop-Eclipse-Plugin编写MapReduce程序 54 Hadoop集群安装配置教程 56 HBase安装 56 HBase伪分布式配置 57 HBase Shell编程实践 60 HBase JAVA API编程实践 64 安装MySQL 68 Hive安装 70 Redis安装和使用 74 MongoDB安装和使用 83 Neo4j安装和使用 96 安装Spark 103 使用 Spark Shell 编写代码 104 Scala独立应用编程 106 Java独立应用编程 109 使用Eclipse编写Spark应用程序（scala+sbt） 112 使用Eclipse编写Spark应用程序（scala）（建议） 121 使用Eclipse编写Spark应用程序（java+maven） 123 使用Eclipse编写Spark应用程序（java） 128 Storm安装和使用 130 使用Eclipse编写Storm程序（maven） 134 Kafka安装 142 Flume安装 151 Sqoop安装 159 Hama安装 165 使用Eclipse编写Hama应用程序 168 参考文献： 174

Apache Spark 和 Amazon EMR 研讨会这些脚本来自 Apache Spark on Amazon EMR 研讨会，由 Tetra Concepts 的首席数据科学家 JT Halbert 和 Amazon 的 Jason Morris 领导。研讨会使用的数据集是来自的 ENRON 电子邮件数据集课程大纲涵盖的主题包括：在本地安装 Spark 使用 Amazon 的 Elastic MapReduce 部署 Spark 实例弹性分布式数据集基础理论在 Spark Shell 中使用 Spark 进行数据探索在 Scala 中使用 Spark 的核心 API 使用 Spark 的 PairRDD 函数在 Spark 集群上部署作业如何访问日志和诊断正在运行的作业用法通过研讨会的粗略步骤是：如果您还没有安装awscli和ssh 运行dem

使用 Vagrant 在任何机器上建立 Apache Spark。还包括一些用于字数统计和日志文件处理的示例作业。 Vagrant 是 VirtualBox 的前端，允许在任何平台上轻松创建和启动虚拟机。此处包含的 VagrantFile 将使用 Apache Spark 创建并完全配置 Linux VM。有关 Vagrant 的更多详细信息，请参阅 Vagrant 站点。依赖项：克隆这个仓库运行vagrant up 。随着软件的下载和安装，这将需要一段时间。然后，您将拥有一个正在运行的 VM，但您还没有连接到它。运行vagrant ssh连接到你的虚拟机 cd spark-1.1.0-bin-hadoop1 （您的版本可能会有所不同，例如 spark-1.2.0-bin-hadoop1）垃圾箱/火花壳您现在处于 spark-shell 环境中 :load

下载资源悬赏专区

12,792

社区成员

12,328,251

社区内容

发帖

与我相关

我的任务

其他技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章