一般互联网公司的hadoop机器配置是怎样的？

star_dba 2017-11-07 11:58:06

一般互联网公司的hadoop机器配置是怎样的？比如说，物理内存，cpu核数，以及磁盘上怎么根据业务量和场景记性选取？

...全文

1214 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

star_dba 2018-05-18

打赏
举报

回复

谢谢大家的建议

ck59505 2018-03-28

打赏
举报

回复

一般都是128G or 256G ，2*8*2 cpu，24T 的sata

小龙在线 2018-03-12

打赏
举报

回复

关于hadoop的机器配置，有没有估算cpu、内存、存储的方法呢？

老农民挖数据 2018-02-11

打赏
举报

回复

你这个互联网有点广泛哦， BATJ？还是一般的我是搞通信的。集群规模80台，linux 6 128G +256G 24核， 20T，

摘要：随着信息化的推进，高校已经建设了很多信息化系统，积累了大量的数据。如何从海量数据中，挖掘有用、有价值的信息，支撑智慧校园的建设，成为需要迫切解决的问题。文中就高校大数据平台的关键技术和架构进行阐述，结合高校实际情况，设计高校大数据平台架构，通过搭建Hadoop集群环境，以业务系统和平台之间的数据交互验证平台设计的可行性和优势。通过研究，文中以高校建设大数据平台提出一种设计方案，为高校信息化建设提供一种新思路。关键词：大数据；Hadoop；分布式计算；高校信息化； ...

文章目录Hadoop 集群搭建学习1 Hadoop发展史2 Hadoop三大发行版本3 Hadoop的优势（4高）4 Hadoop组成（面试重点）5 HDFS架构概述6 MapReduce架构概述7 大数据技术生态体系8 推荐系统框架图一装hadoop&Java1创建文件夹2 安装JDK1.卸载现有JDK2.查看软件包3.解压安装包4 配置环境变量Grep案例WordCount案例二伪分布式运行模式启动HDFS并运行MapReduce程序配置集群*启动集群启动YARN并运行MapRedu

一、背景在目前规模比较大的互联网公司中，总数据量能达到10PB甚至几十PB数据量的公司，我认为中国已经有超过了20家了。而在这些公司中，也有很多家公司的日数据增长达到100TB+了。所以我们每天都要观察集群的数据增长，观察是否有哪一天、哪个路径增长过猛了，是否增长了很多垃圾数据；继续深挖下去，看看是不是可以删掉无用的数据。此外我们还要做“容量预估“，把未来的数据增长规划出来，主要是依靠数据增...

ASTM D4583-21(2025)

技术转移机构如何高效评估技术成果的价值？

Hadoop生态社区

20,843

社区成员

4,695

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章