如何实现利用局域网中空闲资源提高hadoop集群的性能？

achilleswp2017 2017-10-09 10:48:14

已搭建的Hadoop/Spark集群服务器资源不足，是否可以实现利用空闲的办公电脑作为节点加入运算？可以是计算机屏保启动的时候触发，占用其资源进行计算；当计算机屏幕解锁后该节点退出运算。
有没有大神指导如何实现？

...全文

270 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

yutou223 2019-06-05

打赏
举报

回复

可以实现，搭建局域网集群

alinly 2017-10-10

打赏
举报

回复

不可能，任务是后台运行，解锁了，任务可能没运行完毕而且，而且运算和存储是一体的，数据存在哪里？

只用一个命令，就可以实现基于Docker容器的任意节点Hadoop集群的部署，即使是1000个节点的集群，也可以轻松运维。课程内容涉及Docker运行环境构建、Docker常用命令使用、Docker Dockerfile文件编写、Docker镜像构建...

本地搭建hadoop集群至少要三台机器，因为之后还要搭建zookeeper，kafka之类的，涉及到master选举，所以除了1以外最小的基数就是3。另外关于虚拟机内存硬盘设置，这里建议，如果日后想在本机搭建数仓，尤其是要安装...

由于写操作相对读来说要更消耗系统资源，所以这样设置可以明显提高服务器的性能。注意wtime信息仍然有效，任何时候文件被写，该信息仍被更新 ##立即生效 mount -o remount / vi /etc/fstab proc /proc proc defaults...

利用内核的硬件抽象使应用程序能够独立于底层硬件，并且提高 CPU和内存可扩展性，使每个服务器可容纳更多虚拟机。提升系统和资源管理功能。基于标准的Linux可管理性规范（SBLIM）使用基于Web的企业管理（WBEM）来...

Hadoop集群搭建完整版持续更新零基础开始，从装虚拟机开始，搭Hadoop集群，maven的配置，IDEA下创建maven项目，打包jar包等等虚拟机VMware的下载和安装 CentOS7下载及安装 Hadoop集群的搭建配置静态IP 创建共享...

1,258

社区成员

1,168

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章