谁能帮忙给一个大数据基础平台的部署说明参考一下？

yingxiaxin 2017-07-14 09:38:51

如题，领导要求写个大数据基础平台的部署说明，可是本人不懂，求助大神。多少数据量不知道，仅搭建比较基础的大数据平台的话，需要怎么怎么部署？如果数据量增大，需要增加什么内容？请帮忙写一下参考，谢谢

...全文

255 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

shiter 2017-07-14

打赏
举报

回复

对啊，首先需要估计的就是数据流，数据量，运算三个重要指标带宽，存储，处理几个网卡，光，还是电几块盘，固态，机械？什么 cpu 三个！从你的业务好好估计一下

写在前面本文隶属于专栏《100个问题搞定大数据理论体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和文献引用请见100个问题搞定大数据理论体系解答从数据在信息系统中的生命周期看，大数据从数据源开始，经过分析、挖掘到最终获得价值一般需要经过6个主要环节，包括数据收集、数据存储、资源管理与服务协调、计算引擎、数据分析和数据可视化，技术体系如图所示。补充 大数据处理的不同环节都将面临不同程度的挑战数据收集层数据收集层由直接跟数据源对接的模块构成

本文详解了分布式和大数据之间的区别

前言本文隶属于专栏《100个问题搞定大数据安装部署》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见 100个问题搞定大数据安装部署正文 1.下载CentOS7 百度搜索centos–> 点击centos官网连接–> 点击DVD ISO–> 点击http://ap.stykers.moe/centos/7.6.1810/isos/x86_64/CentOS-7-x86_64-DVD-1810.iso连接进下载. 2.安

前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系正文方案背景假设每天集群需要承载10亿数据。一天24小时，晚上12点到凌晨8点几乎没多少数据。使用二八法则估计，也就是80%的数据（8亿）会在16个小时涌入，而且8亿的80%的数据（6.4亿）会在这16个小时的20%时间（3小时）涌入。 QPS计算公式=640000000÷(36060)=6万，也就是说高

前言本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系正文根据以下两种条件将集群部署模式分为三种类型: 集群的生命周期和资源隔离; 根据程序main()方法执行在 Client 还是 JobManager Session 集群运行模式（Session Mode） JobManager 与 TaskManager 共享客户端通过 RPC 或 Rest A

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章