一般互联网公司的hadoop机器配置是怎样的？

star_dba 2017-11-07 11:58:06

一般互联网公司的hadoop机器配置是怎样的？比如说，物理内存，cpu核数，以及磁盘上怎么根据业务量和场景记性选取？

...全文

1200 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

star_dba 2018-05-18

打赏
举报

回复

谢谢大家的建议

ck59505 2018-03-28

打赏
举报

回复

一般都是128G or 256G ，2*8*2 cpu，24T 的sata

小龙在线 2018-03-12

打赏
举报

回复

关于hadoop的机器配置，有没有估算cpu、内存、存储的方法呢？

老农民挖数据 2018-02-11

打赏
举报

回复

你这个互联网有点广泛哦， BATJ？还是一般的我是搞通信的。集群规模80台，linux 6 128G +256G 24核， 20T，

本文探讨了高校信息化建设中基于Hadoop的大数据平台设计，旨在利用Hadoop的分布式计算能力处理海量数据，提升教学管理效率。通过对Hadoop的深入研究和性能分析，验证了平台在高校大数据场景下的可行性与优势，为智慧校园建设提供新思路。

本文详细介绍了Hadoop集群的搭建步骤，包括Hadoop发展史、三大发行版本的介绍，以及如何配置Hadoop环境、运行MapReduce程序、集群同步脚本、免密配置等内容。此外，还提供了Hadoop集群的完整配置流程，包括时间同步配置，适用于初学者和有经验的开发者。

本文探讨了大规模互联网公司面临的HDFS数据管理挑战，包括数据增长观察、治理过快增长的方法、清理无用数据及管理数据存活时间。通过具体案例展示了如何有效控制集群数据增长。

IndexR是一款基于Hadoop生态的极速数据仓库系统，支持实时数据导入和毫秒级查询响应，专为大数据场景设计。具备强大的索引能力和灵活的存储模式，能够高效处理PB级数据。

本文分享了斗鱼大数据平台的发展历程，包括数据平台架构、数据仓库、个性推荐系统和风控系统等内容。介绍了斗鱼如何利用Hadoop、Spark等技术处理海量数据，并通过数据驱动业务增长。

Hadoop生态社区

20,844

社区成员

4,695

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章