关于hadoop伪分布式和全分布式的选择

zz60708320 2019-10-11 06:01:02
现在只有一台主机，16g内存。业务上暂时只需要实现wordcount类似的功能。统计mongo数据库中文档的数量，千万级别的数据量。这样伪分布式可以很快的处理吗
...全文
167 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
oh_Maxy 2019-10-11
  • 打赏
  • 举报
 回复
一台主机，可以逻辑上分成多个不？或者指定不同的磁盘、目录试试。
Hadoop集群部署和启动与关闭_启动hadoop
本文详细介绍了如何在虚拟机上部署Hadoop集群，包括独立模式、伪分布式和完全分布式的选择，以及如何配置Hadoop的高可用性，如使用ZooKeeper、NameNode、ResourceManager和DataNode的角色，以及核心配置文件的修改。
Hadoop笔记——Hadoop集群安装与部署
本文详细介绍了Hadoop的安装过程，包括Apache版和CDH版的选择，环境准备及安装步骤。阐述了Hadoop的三种运行模式：本地模式、伪分布式模式和完全分布式模式，以及如何在不同模式下进行配置和测试。
Hadoop伪分布与完全分布式的安装
本文详细介绍了如何在Centos7环境下，从基础集群环境准备到Hadoop的伪分布式和完全分布式安装步骤，包括主机名设置、JDK安装、防火墙与Selinux关闭、内网域名映射、环境变量配置、Hadoop版本选择、配置文件修改、集群启动与使用等关键操作。
探索Hadoop的三种运行模式：单机模式、伪分布式模式和完全分布式模式
Hadoop是开源框架，由HDFS和MapReduce组成，可在三种模式下运行。单机模式简单，用于开发测试；伪分布式模式在单台机器模拟集群，可测试分布式功能；完全分布式模式用于生产部署，能处理大规模数据。了解三种模式特点和适用场景，有助于选择合适模式。
Hadoop学习笔记: 入门(1)
本文详细介绍了如何在一台主机上通过VMware搭建Hadoop环境，包括配置JAVA_HOME和HADOOP_HOME环境变量，运行模式选择，主机名称修改及IP映射，以及使用scp和rsync进行数据分发的sxync脚本。重点讲解了本地模式、伪分布式和完全分布式的工作原理。
Java SE

62,621

社区成员

307,251

社区内容

发帖
与我相关
我的任务
社区描述
Java 2 Standard Edition
社区管理员
  • Java SE
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章