大数据工作的朋友，问下你们的数据量有多少，集群有多少台？

GO_BY_GO_BY_GO 2018-08-09 10:13:41

从事大数据开发工作的朋友们，问下你们的数据量有多少，用的hadoop还是storm还是spark？集群有多少台呢？老大前几天说要搞大数据，问我会不会，我想才多少用户就搞大数据。。不是PB数量级的才能称得上大数据吗？

...全文

4469 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

小羽Jary 2019-07-26

打赏
举报

回复

我们公司才几个Ｔ的数据，也上了大数据框架

是小海腾呀 2019-05-19

打赏
举报

回复

搞大数据的时候兄弟叫我

前言：近两年互联网行业动不动就喊着“大数据”的口号，大数据的诞生让很多企业节省人力物力实现精准营销获得丰厚利润。随着数据工程和数据分析技术的不断进步，大数据测试不可避免。 大数据是用于大量结构化、半结构化、非结构化数据的术语，这些数据有可能提供一些信息。谈论大数据时，具体的数据量无从告之，但通常都是拍字节(Petabytes)和艾字节(Exabytes)数量级的。如此大量的数据很难集成。大数据，活泼的快速移动数据，有助于更好地了解客户和产品，从而带动业务增长。尽管有许多技术可用，技术人员仍然很难找出从哪里开

1、何为大数据？大数据是指很多很多的数据，主要源于web2.0之后，数据库中的数据量累计起来很庞大，在对数据进行操作（主要指查询）会变得很慢，对机器的性能要求会很高，如果数据量达到足够大（如十几亿），那服务器会崩溃的2、大数据解决什么问题？大数据解决对海量数据的存储、查询、分析计算等操作，主要应用在利用庞大的数据归类分析用户的偏好，利用用户的历史信息得出相应的统计账单等，将同行业的大公司的数据进行...

什么是集群？集群是一组相互独立的、通过高速计算机网络互联的计算机，它们构成了一个组，并以单一系统的模式加以管理。一个客户与集群相互作用时，集群像是一个独立的服务器。计算机集群简称集群是一种计算机系统，它通过一组松散集成的计算机软件/硬件连接起来高度紧密地协作完成计算工作。在某种意义上，他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点，通常通过局域网连接，但也有其它的可能连接方...

声明：本文转至Big大鸟的博客下，转载的名为《什么叫大数据 大数据的概念》一文，链接地址http://blog.csdn.net/qq_36738482/article/details/728235091、大数据定义对于“大数据”（Big data）研究机构Gartner给出了定义，“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据...

CHD大数据平台搭建之集群规划前言一、集群规模二、集群规划总结前言话说无规矩不成方圆，搭建CDH大数据平台之前需要的工作很多，首先，你需要计算公司每日的数据量，来确定需要多少服务器，确定好服务器之后，需要规划集群节点的分配。由于是个人搭建，不存在数据量计算，只做集群规划即可。一、集群规模每日数据量的多少，决定了服务器的数量计算规则如下： 1、hdfs数据保存3份 2、一般文件保存3年 3、每台服务器硬盘大小8T，但会留20%左右的空闲空间所需服务器数量 = 公司每日数据量(TB) * 3 * 3

202

社区成员

446

社区内容

发帖

与我相关

我的任务

数据库数据库架构数据库开发技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章