-
本版专家分：0结帖率 91.12% -
数据源：
我们系统监控的终端设备
——————————————————
每10秒产生一条记录
每年：24*60*60*365/10 = 3153600 约315万
—————————————————
每个场站100台，每年
100*315 = 3亿
_______________
500个场站，那么就是3000亿记录，每1000条记录的大小约0.25353M，3000亿既：约36.25T
—————————————————
存储最近2年的数据
2*36.25 = 72.5 T
——————————————————
服务器端：
数据库构架？
问：1、我们应该用什么数据库存储，用什么方案/框架？
2、Hadoop说的大数据是指处理的数据量大还是存储的数据量大？适合这里吗![]()
-
本版专家分：1973
-
- 红花 2018年7月 Oracle大版内专家分月排行榜第一
-
-
你没有描述这些数据的用途，用于查询分析还是业务处理？
如果是查询分析的话，建议上数据仓库；业务处理的话，数据量应该不需要放那么多，可以备份后删除。
-
本版专家分：8845
-
- 红花 2019年6月 Oracle大版内专家分月排行榜第一
-
-
黄花
2019年5月 Oracle大版内专家分月排行榜第二
2018年1月 Oracle大版内专家分月排行榜第二
2017年10月 Oracle大版内专家分月排行榜第二
-
-
蓝花
2017年12月 Oracle大版内专家分月排行榜第三
2017年11月 Oracle大版内专家分月排行榜第三
2017年9月 Oracle大版内专家分月排行榜第三
-
-
如何存储，选择合适的数据库和物理模型，要先看你的应用如何访问数据，是OLTP类型还是OLAP类型？或者除了应用之外，是否还要考虑其他需求？比如历史数据如何存放？可能需要不止一种数据库产品来支撑你的需求。
现在有一种流行的趋势，先有数据，再拼命想在这数据上做文章，不管是数据量大还是单次处理的数据量大，现在没人管那么多，有数据的地方都标榜自己是大数据平台
-
本版专家分：10
-
监控系统，难免会有一些业务处理功能，至少会有些什么用户管理、设备管理、场站管理、权限管理、报表统计什么的
所以，建议监控数据和这些业务数据分开存储，比如监控数据存储到 mongodb里，业务数据存储到 oracle 或者 mysql 里。否则一旦对监控数据进行一次复杂查询，会把你的其它业务功能拖死。
对设备的监控数据，一般是如电压、电流、温度等量，对它的数据需求大多是画曲线图。如果用关系数据库存储这些监控数据，可以通过分区表提升数据访问效率，按设备信号的采集时间进行分区，再针对设备 Id 和时间创建索引。分区要有自动扩展功能，可以在应用程序里写一个定时器，每天统计一下分区表中的数据量，如果数据量接近11亿时，创建新分区。如果用 mysql ，可以把监控数据与业务数据分离后，用几台物理机搭个主从复制，把读数据压力分摊到几台物理机上（oracle 肯定也有类似的功能，只是我不太懂，就不扯了）
监控系统有时需要对设备数据进行汇总统计，这时可以周期性地对监控数据进行归档，计算中间结果，放到一个中间结果（归档）表中，这个表数据量比监控数据表的数据量少得多。这样后期的汇总统计可以查询归档表，可增强系统性能。比如如果你有设备是实时累加商场收银台每天的收入，有需求是画一个月里每天收入流量的曲线图，在获取数据时是取个设备每天的最后一条数据，如果定期把每天最后一条记录存储到另外一个表中，在画图时直接读取这个归档表，业务功能会快得多。
-
本版专家分：0
-
感觉问题有用
-
本版专家分：1973
-
- 红花 2018年7月 Oracle大版内专家分月排行榜第一
-
-
是的，现在大数据都滥了。
quote=引用 2 楼 minsic78 的回复:]
如何存储，选择合适的数据库和物理模型，要先看你的应用如何访问数据，是OLTP类型还是OLAP类型？或者除了应用之外，是否还要考虑其他需求？比如历史数据如何存放？可能需要不止一种数据库产品来支撑你的需求。
现在有一种流行的趋势，先有数据，再拼命想在这数据上做文章，不管是数据量大还是单次处理的数据量大，现在没人管那么多，有数据的地方都标榜自己是大数据平台
-
本版专家分：0
-
哈哈，太耿直了
-
本版专家分：0
-
不过还是想想方案解决我的需求
-
本版专家分：1973
-
- 红花 2018年7月 Oracle大版内专家分月排行榜第一
-
-
不是都回答你了吗？你先说清楚你的数据的用途是什么？光说有多少数据量是没有意义的
-
本版专家分：40
-
- 状元 2017年 总版技术专家分年内排行榜第一
-
- 榜眼 2014年 总版技术专家分年内排行榜第二
-
- 探花 2013年 总版技术专家分年内排行榜第三
-
-
进士
2018年总版新获得的技术专家分排名前十
2012年 总版技术专家分年内排行榜第七
-
-
要学会遗忘。
-
本版专家分：0
-
哈哈哈，老大，你不要那么搞笑好不
-
本版专家分：0
-
分表分库咯，要根据实际需求选择啊，哪有通解
-
本版专家分：0
-
选择合适数据库就可以了
-
本版专家分：0
-
什么数据库能存得下千亿级别的数据？恐怕是需要分布式数据库或者数据库集群的吧 ，那就需要一个方案呀，单个数据库（单机）估计不行
-
本版专家分：0
-
可以用数据库分库按照终端来。。一个终端数据存储在一个数据库，俩年也就700万，每个库文件体积大概2g，备份也无压力
。。分表都不用，每个表不分表情况下极限存储一千万数据（经验数据,实际情况根据机器性能调整），
总共伍万终端。。那就建立个伍万数据库即可。可能每个数据库实例包含的数据库数量有限制，建立多个实例即可。
-
版主本版专家分：0
-
- 状元 2018年总版新获得的技术专家分排名第一
-
-
进士
2017年 总版技术专家分年内排行榜第四
2014年 总版技术专家分年内排行榜第四
2013年 总版技术专家分年内排行榜第四
2012年 总版技术专家分年内排行榜第六
-
-
金牌
2018年3月 总版技术专家分月排行榜第一
2013年5月 总版技术专家分月排行榜第一
-
-
银牌
2018年10月 总版技术专家分月排行榜第二
2018年9月 总版技术专家分月排行榜第二
2018年8月 总版技术专家分月排行榜第二
2018年4月 总版技术专家分月排行榜第二
2016年7月 总版技术专家分月排行榜第二
2016年3月 总版技术专家分月排行榜第二
2015年12月 总版技术专家分月排行榜第二
2014年8月 总版技术专家分月排行榜第二
2014年7月 总版技术专家分月排行榜第二
2013年6月 总版技术专家分月排行榜第二
-
-
硬盘不够还有磁带
文件上T了，你的内存也上T了吗？
不还是一个片段一个片段的处理吗？
所以说问题不在存储方式，而是在调度算法
-
本版专家分：0
-
内存为什么要上T？
-
本版专家分：10
-
Oracle 一个表存千亿数据肯定没问题
但为了查询速度，要作很多其它优化处理
-
本版专家分：0
-
有没有开源的软件？暂时不考虑收费的
-
本版专家分：10
-
开源的话，关系数据库就用MySQL咯！
别看它开源、免费，但处理海量数据方面不比Oracle差太多。功能上当然没有Oracle那么强大，但基本上对一个监控系统来说是够用了。
非关系数据库，可以用 MongoDB，查询性能本人以前专为监控系统做过测试，比 MySQL 快上好几倍。
不过，你在 Oracle 论坛里引导别人推荐非 Oracle 产品，你是来踢馆、砸场子的吗？
-
本版专家分：0
-
单个 mysql 处理不了千亿级记录，特别上单表1亿的都极大影响性能。估计得集群，这就涉及到框架了，所以问的就是这个
-
本版专家分：7697
-
-
红花
2018年7月 其他数据库开发大版内专家分月排行榜第一
2018年3月 Oracle大版内专家分月排行榜第一
-
-
黄花
2018年7月 Oracle大版内专家分月排行榜第二
2018年5月 Oracle大版内专家分月排行榜第二
2018年4月 Oracle大版内专家分月排行榜第二
-
- 蓝花 2018年2月 Oracle大版内专家分月排行榜第三
-
-
对查询 实时 要求，很高的话 上hbase 不是特高 可以hive。 放Oracle 上，感觉没必要
-
本版专家分：0
-
嗯，好，我回头查一下这。我们的存储，最近一年的会经常查询，1年之前的就不经常查询
-
本版专家分：0 -
1、计算你的数据量
2、先要规划你的数据使用。
3、指定数据存储、运算及备份情况。
存储就分为线上或线下或使用nosql了。
看你的需求基本上就是 要分析相关数据。
你可以将数据入数据仓库（使用etl工具），然后指定计划任务，获取分析结果提供给web展示。。。针对过期数据进行线下备份后删除。
-
本版专家分：0
-
如果都是文件，建议上对象存储。同时搭配小文件打包等功能，能够实现很好的存储。
-
本版专家分：0
-
hadoop吗？
-
本版专家分：109 -
看具体业务需求吧，如果数据的用处是实时查询，那么还是用传统的库吧，分库分表呗，保留一年数据，以前的备份到备份磁盘上，
偏向于分析汇总的数据，就上hadoop吧，这个存储的数据量满足你的需求，计算能力也更适合你这个数据级别的计算，传统库千万级别的join就到瓶颈了。
-
本版专家分：0
-
Hadoop可不是存储结构。Hadoop主要是做计算的，存储是兼职。海量存储基本对象是专业存储中唯一适合的解决方案了。
-
本版专家分：0
-
用Hadoop当存储用是极大的资源浪费。。。
-
本版专家分：0
-
-
本版专家分：0
-
hadoop 应该还是可以用的，只不过不是直接用hadoop的 HDFS存储，用Hbase存储的吧
-
本版专家分：0
-
用肯定能用啊，但是hadoop应该关注在计算上，存储的事应该还是让存储来~~~
-
本版专家分：0
-
嗯嗯
- 在Spring+hibernate下遇到了处理大数据量的问题
- 大批量的数据插入到数据库。数量级有万级、十万级、百万级、甚至千万级别的。如此数量级别的数据用Hibernate做插入操作，就可能会发生异常，常见的异常是OutOfMemoryError（内存溢出异常）。rnrn Hibernate插入操作的机制:Hibernate要对它内部缓存进行维护，当我们执行插入操作时，就会把要操作的对象全部放到自身的内部缓存来进行管理。 rn Hiberna...
- 【物联网】NB-IoT简介
- 一、“我”是谁？nNB-IoT：基于蜂窝的窄带物联网（Narrown Band Internet of Things, NB-IoT）成为万物互联网络的一个重要分支。NB-IoT构建于蜂窝网络，只消耗大约180KHz的带宽，可直接部署于GSM网络、UMTS网络或LTE网络，以降低部署成本、实现平滑升级。n n1.1 什么是蜂窝网络？n蜂窝网络或移动网络(Cellular network)
- 一次大数据量日志存储升级改造
- 现在我们处理日志的方案，一般比较成熟了，比如kafka elasticsearch这些技术，随着时间的前进，日志量也是暴涨，那么对我们的<em>存储</em>方案就是一个挑战，今天来说下我们遇到的<em>问题</em>及方案的调整。
- Elasticsearch构建企业PB级大数据应用
- rn rn今天刚接触到Elasticsearch、在此mark一下，无意路过者，可以一睹为快。rn这几个启蒙网站还是很不错的rnhttp://www.qwolf.com/?cat=57rnhttp://es-cn.medcl.net/guide/concepts/scaling-lucene/rnhttps://github.com/medcl/elasticsearch-rtfrn rn由于同事...
- 大数据算法面试：1亿数据在有限内存上如何排序
- 相信大家或多或少都看过一些算法类的面试题，其中比较常出现的就有<em>大数据</em>排序<em>问题</em>。因为目前的内存仍无法处理TB级的数据，只能通过不同的算法优化以及I/O来进行尽可能快速的排序。对于这类题目，我总结了以下几种排序方法，同时也提出了自己的一些疑问，希望大家可以一起讨论。这里只讨论nlogn级别的算法，其他的不列入讨论范围。题型：亿级别数据(同型且有重复)，统计其中出现次数最多的前N个数据两种情况：可一次读...
- 马士兵讲解Java架构师之千亿级流量网站架构
- n n n n马士兵讲解Java架构师之<em>千亿</em>级流量网站架构_腾讯视频nn n nn
- 大数据的采集和导入
- 的<em>大数据</em>平台，一般包括以下几个过程，数据采集，数据<em>存储</em>，数据管理，数据处理，数据展现（可视化，报表和监控）数据是分散在不同的系统中的，在让数据产生价值之前，必须对数据进行采集，清洗，处理，<em>大数据</em>的数量和维度越来越多，我们必须采用<em>大数据</em>技术获得所需信息，计算机网络和信息设备的快速发展，产生的海量数据存在于各类服务器，媒介，机构，需要采取不同办法去寻找，加工数据才可以获得不同的办法去寻找，技工数据才可...
- Redis百万级别数据迁移
- 【前言】nn 我们是做的国外的项目，最开始的时候调研在国外亚马逊云在可靠性等方面还是具有很大优势，于是我们的项目都部署在亚马逊云上；nn 我们业务发展十分不错，随着项目越来越大，用到的机器越来越多，同时亚马逊的成本也在不断攀升；最近一段时间我们又针对国外市场进行了各方面（成本，可靠性等）进行调研，最终决定将所有业务及数据从亚马逊云迁移至阿里云；当然迁移也是个有挑战的事...
- 亿级用户下陌陌存储中间件架构实践
- 亿级用户下陌陌<em>存储</em>中间件架构实践
- java ----- -----假如让你设计一个百亿级别的计算器思路
- 要想实现这个功能，首先要明白计算机是通过二进制补码的方式进行运算的，二进制的表示涉及到两个字段，第一个字段是符号位，第二个字段是数值段用数组表示，所以不妨从这个方面入手，既定义一个表示超大数的类，里面包含两个成员变量，一个表示符号位，一个表示数值位，一个带参数构造方法实现把传入的字符串转换成那两个字段，然后类里面提供加减乘除的方法。class BigInteger{ int sign; ...
- 快速导入十亿数据到hugegraph图数据库
- 在前面学习了《快速入门hugegraph图数据库》和《hugegraph图数据库概念详解》之后，大家一定想导入一定规模的真实数据到hugegraph练练手，本文就以Stanford的公开数据为例，教大家<em>如何</em>快速导入10亿+的数据到hugegraph图数据库。n1. 环境准备n导入数据到hugegraph之前需要准备好一些必要环境，包括：安装服务hugegraph-server和下载导入工具huge...
- 【数据案例】每天数百亿用户行为数据，美团点评怎么实现秒级转化分析？
- 案例来源：@美团点评技术团队案例地址：https://tech.meituan.com/user-funnel-analysis-design-build.html（以下为案例的简要概述，便于之后能快速检索到相关内容。部分文字与图片可能直接来自原文，如有侵权请告知，谢谢）1. 对于分析人员常用的分析场景（如分析“首页-搜索-菜品-下单-支付”的漏斗模型），<em>如何</em>提高数据提取的速度2. <em>问题</em>：美团每天...
- 百亿流量 API 网关设计与实践
- 本次分享我们从百亿流量交易系统 API 网关（API Gateway）的现状和面临<em>问题</em>出发，阐述微服务架构与 API 网关的关系，理顺流量网关与业务网关的脉络，带来最全面的 API 网关知识与经验。内容涉及：nn百亿流量交易系统 API 网关现状和面临<em>问题</em>n分布式服务架构、微服务架构与 API 网关nAPI 网关的定义与职能、关注点nAPI 网关的分类与技术分析n流量网关的设计与应用n开源网关的分...
- PIKA.沙龙ppt
- 1，pika技术回顾展望-宋昭 2，<em>如何</em>通过集群化Pika<em>存储</em>支持环信大规模即时通讯云平台-环信-张云乾 3，Pika在微博场景下的应用案例-兰将州 4，<em>千亿</em>级访问量Pika在360内部实践-张恒
- 《亿级流量网站架构核心技术》读后感
- 大流量缓冲rn在电商大促时，系统流量会高于正常流量的几倍甚至几十倍，解决方式之一，是牺牲强一致性，保证最终一致性，如：直接在Redis中扣减，然后几率下扣减日志，然后通过worker同步到DB。rn rn在使用了消息异步机制的场景下，可能存在消息的丢失，需要考虑进行数据校对和修正来保证数据的一致性和完整性。可以通过worker定期去扫描原始表，通过对业务数据进行校对，有<em>问题</em>的要进行补偿，扫描周期根
- 京东大数据资料hdfs 存储（一）
- n rnrnrn【漫画系列】HDFS<em>存储</em>原理分析（一）rn rn提交rnrn我的评论rnnrnn加载中nrnn已评论rnrnrnrnrn rnrnrnrn【漫画系列】HDFS<em>存储</em>原理分析（一）rnn2015-05-06 京东<em>大数据</em>专家 京东<em>大数据</em>专家rnrnn京东<em>大数据</em>专家 微信号 jdjcbprn功能介绍 关注京东<em>大数据</em>专家，随时报名参加认证，即时了解培训计划，文档丰富，自助学习。rnrnnrn...
- 大数据的存储—HBase
- HBase（HadoopDataBase ）是一个高可靠性、高性能、面向列、可伸缩的分布式数据库系统，它使用类似于GFS的HDFS作为底层文件<em>存储</em>文件，在其上运行MapRduce批量处理数据。使用ZooKeeper作为协同服务组件。rn Hive在Hadoop生态环境中起到数据库仓库的作用，它通过简单的HQL调用，实现了后台利用MapReduce计算框架对大规模数据的处理，易用性和可靠
- 阿里如何实现秒级百万TPS？搜索离线大数据平台架构解读
- n n n nn nn n n 阿里妹导读：搜索离线数据处理是一个典型的海量数据批次/实时计算结合的场景，阿里搜索中台团队立足内部技术结合开源<em>大数据</em><em>存储</em>和计算系统，针对自身业务和技术特点构建了搜索离线平...
- PB级（大数据）的来源
- Big Data：Characteristics：VolumenVelocitynVariety nVeracity（精确性）nValuen…Big Data（<em>大数据</em>）更像是一个商业的用词（最早从商业应用而来），而不是科学的定义。
- 大数据存储综述
- 本文内容源自网络整理，更多详细内容请阅读参考文献的原文。1 <em>存储</em>方式1.1 块<em>存储</em>块<em>存储</em>就好比硬盘一样，直接挂载到主机，一般用于主机的直接<em>存储</em>空间和数据库应用的<em>存储</em>。它分两种形式：DAS：一台服务器一个<em>存储</em>，多机无法直接共享，需要借助操作系统的功能，如共享文件夹。SAN：金融电信级别，高成本的<em>存储</em>方式，涉及到光纤和各类高端设备，可靠性和性能都很高，除了贵和运维成本高，基本都是好处。云<em>存储</em>的块<em>存储</em>：...
- Elasticsearch搭建--适用每天增量为3亿的数据量
- Elasticsearch是一个实时分布式搜索和分析引擎。它让你以前所未有的速度处理<em>大数据</em>成为可能。它用于全文搜索、结构化搜索、分析以及将这三者混合使用。
- 如何面对大容量的数据存储
- 公司在高速发展中，总会遇到各种各样的网络<em>问题</em>，今天笔者和大家分享一个“公司网站<em>存储</em>需求”的实际案例。nn nn案例背景nn客户公司网站的<em>存储</em>需求越来越大，已有NAS<em>存储</em>服务器的空间不能满足业务日趋增长的需求，此时网站面临如下<em>问题</em>：nnn 网站<em>存储</em>扩容需要另行申请采购和做规划采购，需要一定周期才能使用，无法解决燃眉之急；n n n 网站的视频资源访问速度慢；n n n 已有<em>存储</em>NAS<em>存储</em>使用时间长，...
- 大数据离线--数据管理简介
- 本次介绍数据管理的知识，分为三个部分：nnn数据源n数据管理n数据仓库nnnnn1. 数据源nn典型的数据分析系统， 要分析的数据种类其实是比较丰富的。 依据来源可 n大体分为以下几个部分： nnnn业务系统nnn业务系统产生的数据是不可忽视的，比如电商网站，大量的订单数据看似杂乱章，实则蕴含潜在的商业价值，可以从中分析进而进行商业推广，产品推荐等。 n另一角度来看，业务系统数据获取成本低、方式容...
- 大数据技术综述
- 本文总结了最近几年<em>大数据</em>技术发展的趋势与解决的<em>问题</em>，重点阐述了<em>如何</em>解决<em>大数据</em>遇到的<em>存储</em><em>问题</em>，计算<em>问题</em>，以及当前主流的<em>大数据</em>分析模型，包括统计模型与机器学习算法，以及最新的深度学习与强化学习等。
- python大规模数据处理技巧之一：数据常用操作
- 面对读取上G的数据，python不能像做简单代码验证那样随意，必须考虑到相应的代码的实现形式将对效率的影响。如下所示，对pandas对象的行计数实现方式不同，运行的效率差别非常大。虽然时间看起来都微不足道，但一旦运行次数达到百万级别时，其运行时间就根本不可能忽略不计了：故接下来的几个文章将会整理下渣渣在关于在大规模数据实践上遇到的一些<em>问题</em>，并且给予一些技巧的总结，有错误之处望指正。一、外部csv文件
- 大数据时代医疗大数据建设，主要存在哪些问题？
- 1 医疗<em>大数据</em>平台建设存在缺陷n<em>大数据</em>环境下，医疗<em>大数据</em>平台建设存在的缺陷主要表现在以下两个方面。一是缺乏规划。我国尚未出台医疗<em>大数据</em>平台建设的相关政策，没有形成战略层面的宏观规划、产业层面的中观规划和企业层面的微观规划相互配合的系统性规划。二是发展不足。由于<em>大数据</em>背景下医院<em>大数据</em>平台建设需要多种技术配合，但这些技术水平参差不齐，还不能满足系统集成的要求。n2 信息安全意识淡薄，权限规范不合理n在...
- 10亿级人脸搜索
- 人脸检索nn 给定一张照片，与指定人脸库中的N个人脸进行比对，找出最相似的一张脸或多张人脸。 根据待识别人脸与现有人脸库中的人脸匹配程度，返回用户信息和匹配度，即1：N人脸检索。可用于用户身份识别、身份验证相关场景。nn人脸检索技术难点：nn单机由于内存和CPU性能限制，能够支持的人脸检索数始终都有上限，所以必须进行集群设计来提高容量。n 10亿级别的人脸库<em>存储</em>是一个<em>问题</em>，按每张图片50...
- 大数据离线计算Hadoop2.x 学习笔记（3）- HDFS 最小块设置
- 1 HDFS 最小块的设置nn1.1 测试读n @Testn public void testRead() throws IOException {n Configuration conf = new Configuration();n FileSystem fs = FileSystem.get(conf);nn Path path = new P...
- 优化之使用Redis (计数器 管道技术 大数据量读写)
- 为什么要用redis？nn首先讲下，是什么一个情况下促使的：项目里有个发送公司公告的功能，之前都没有<em>问题</em>，就在前几天，线上出现<em>问题</em>，查看日志，“ java.sql.SQLException: Lock wait timeout exceeded; try restarting transaction ”，参考文章nn是因为增加阅读量的代码引起，瞬时出现高并发执行update操作。nnMysql数据...
- 如何使用HBase？大数据存储的两个实战场景
- nn nn nn为何使用HBasennHBase是一个高可靠性、高性能、面向列、可伸缩的分布式<em>存储</em>系统，适用于结构化的<em>存储</em>，底层依赖于Hadoop的HDFS，利用HBase技术可在廉价PCServer上搭建起大规模结构化<em>存储</em>集群。因此HBase被广泛使用在<em>大数据</em><em>存储</em>的解决方案中。nnHBase的优点：nn- 列可以动态增加，并且列为空就不<em>存储</em>数据，节省<em>存储</em>空间。n - Hbase自动切分数据，使...
- 大数据开发面试：impala和hive的比较
- Impala:nnCloudera公司推出，提供对于hdfs，hbase数据的高性能，低延迟的交互式sql 查询功能nn基于hive，使用内存计算，兼顾数据仓库，具有实时，批处理，多并发等优点nn是CDH首选的PB级<em>大数据</em>实时查询，分析引擎。nn内存计算比I/O计算要快，内存计算不依赖于磁盘，受制于内存大小，对于磁盘的要求更高。nnHive是基于MapReduce，内存可以很小。nnMap阶段是一...
- 大数据框架中的小文件问题
- 还是总结之前的东西，因为家里有事所以推掉了北京的多个面试，因此也有了将近一个月的空闲时间来整理之前的知识和工作经验。由于之前的公司和工作性质，只能把平时的东西存到有道云笔记里面。离职以后才有机会放到博客中来。<em>大数据</em>中的小文件<em>问题</em>，是一个非常棘手的<em>问题</em>，仅次于数据倾斜<em>问题</em>，对于时间和性能能都是打击。在此整理下发生在hadoop，hive，spark上面的小文件<em>问题</em>。nHadoop里面的小文件<em>问题</em>n小...
- python处理大数据
- 通常在python里，一个字典只有支持几万到几十万数据量的时候效率最高。字典太大并不适合这种数据类型。nn列表也不是存贮效率高的一种方式，通常我们<em>大数据</em>量计算会使用array，最差也要使用blist。nn另外range也不可以的。要用xrange。xrange通常不消耗多少内存。range会用很多内存。nn你上面的文字描述也没有讲明白你的算法目标。如果你讲得清楚，可以直接帮你优化一下算法。nn整型
- 微服务实战：百万千万级数据的实时处理架构（一）
- 微服务实战：百万千万级数据的实时处理架构（一）
- 支撑千亿级流量PHP引擎HHVM在百度的实战
- 2016中国软件开发者大会，百度大神对<em>千亿</em>级流量PHP引擎的介绍
- 大数据之小文件
- 小文件nn小文件指的是远小于hdfs块大小的文件，在hdfs 上任何一个文件都有其相应的元数据信息，小文件太多，相应的元数据就会多，namenode维护起来不方便n小文件太多，相应的启动的maptask 就会很多，会增加开销nnhive小文件<em>问题</em>nn输入的小文件太多nnnsethive.input.format=org.apache.Hadoop.hive.ql.io.CombineHiveInp...
- solr亿万级索引优化实践（一）
- 海量数据的索引，第一个要解决的是数据<em>存储</em>的<em>问题</em>，solr提供数据<em>存储</em>平台有两种，第一个是本地磁盘，另一个是HDFS，我们可以通过solrhome的配置来实现。在本次实践中，我们选择的是本地磁盘，因为采用的solrcloud部署模式，本身就是多节点多机器，在<em>存储</em>上不会有<em>问题</em>，还有另一个重要的原因后面会讲到。下面讲讲具体从哪些方面做了实践。 solr版本：solr6.0.0；主机：...
- 大数据-Hadoop小文件问题解决方案
- HDFS中小文件是指文件size小于HDFS上block大小的文件。大量的小文件会hadoop的扩展性和性能带来严重的影响。nnnn小文件是<em>如何</em>产生的?nn动态分区插入数据，产生大量的小文件，从而导致map数量剧增nnreduce数量越多，小文件也越多，reduce的个数和输出文件个数一致nn数据源本身就是大量的小文件nn小文件<em>问题</em>的影响nn从Mapreduce的角度看，一个文件会启动一个map，...
- 大数据的仓库Hive学习(一)
- 我们接着之前学习的<em>大数据</em>来学习。之前说到了NoSql的HBase数据库以及Hadoop中的HDFS<em>存储</em>系统，可是我们发现这跟我们平时常用的关系型数据库有很大区别，为了使用方便，产生了针对<em>大数据</em><em>存储</em>的数据仓库Hive。n 今天我们通过对Hive的学习，对<em>大数据</em>的处理又有了一定的认识。在以后的实际操作中，我们去慢慢掌握Hive的使用方法。通过不断学习，达到自己所追求的目标。
- 记一次代码优化（大数据量处理及存储）
- 记一次代码优化过程rn --- <em>大数据</em>量的处理及<em>存储</em>rnrn1. 原始场景再现：rn 该模块主要是客户端负责上传一个包含手机号码的txt，其中一行一个手机号码。服务端读取并解析该文件，解析过程中需要做有效性验证。例如：号码位数，是有效数字及是否在有效号段之内。最后保存数据到DB。rn 该包含手机号码文件数据在20W到200W之间。rnrn2. <em>问题</em>所在rn 在客户端上传20W数据的时候，后台相...
- Mysql 生成亿级测试数据
- mysql&amp;amp;amp;amp;gt; call proc1;nQuery OK, 0 rows affected (4 min 47.15 sec)nnmysql&amp;amp;amp;amp;gt; select count('id') from card;n+-------------+n| count('id') |n+-------------+n| 10000000 |n+-------------+n1 row in set ...
- 超大数据去重的处理办法
- #! /bin/bashrnrnrnsed -i '1d' action_201602.csvrnsed -i '1d' action_201603.csvrnsed -i '1d' action_201603_extra.csvrnsed -i '1d' action_201604.csvrnrnrnawk '!a[$0]++' action_201602.csv >201602.csvrnrn
- NoSQL 与大数据
- 概览一下<em>大数据</em>项目中可以使用的数据<em>存储</em>技术，展示<em>如何</em>使用以及它们的区别。先理解一下NoSQL领域中各种不同的技术：key/value, 列<em>存储</em>，文档型和graph 图<em>存储</em>，然后聚焦于Couchbase 和 ElasticSearch，
- 360HBASE二级索引的设计与实践
- 奇虎360 HBASE 二级索引的设计与实践 pdf 完整版，支持<em>千亿</em>级数据量
- 千亿级别的联接数量•1毫秒的超低时延•10Gbps的通信速率5G定义
- <em>千亿</em>级别的联接数量•1毫秒的超低时延•10Gbps的通信速率5G定义
- 大数据日志分析系统-缓存组件kafka
- kafka简介是一种高吞吐量的分布式发布订阅消息系统，当数据量不稳定，数据量大的时候想到它就对了。zookeeper简介是一个分布式的，开放源码的分布式应用程序协调服务,很多地方用到, 最常见的是为集群提供基础的、高可用HA(High Availability)服务是kafka集群的基础依赖，同时也是hadoop系列中实现HA的基础组件。实现HDFS的NamaNode和YARN的ResourceM...
- 大数据运算
- <em>大数据</em>运算n字符串的四则运算
- mysql数据库千万级转移经验
- 1刚开始因为主键是uuid类型刚开始使用的是nnnSELECTn * nFROMn sqmple LIMIT 500000,1000nn刚开始发现在limit第一个数字较小时执行的非常快大约1秒左右，后来在运行到limit第一个数字达到800万是时间已经达到了100秒，nn此时这种方法已经不适合，然后搜索发现这种办法是搜索全表的越往后搜索的越慢。nn----limit 是进行从前往后进行查询的因为...
- hadoop大数据平台架构之DKhadoop详解
- <em>大数据</em>的时代已经来了，信息的爆炸式增长使得越来越多的行业面临这大量数据需要<em>存储</em>和分析的挑战。Hadoop作为一个开源的分布式并行处理平台，以其高拓展、高效率、高可靠等优点越来越受到欢迎。这同时也带动了hadoop商业版的发行。这里就通过大快DKhadoop为大家详细介绍一下hadoop<em>大数据</em>平台架构内容。目前国内的商业发行版hadoop除了大快DKhadoop以外还有像华为云等。虽然发行方不同，但...
- 大数据面试题—数据结构
- 1）给⼀个超过100G⼤⼩的log file, log中存着IP地址, 设计算法找到出现次数最多的IP地址？ n 2）与上题条件相同，<em>如何</em>找到top K的IP？<em>如何</em>直接⽤Linux系统命令实现？ n 3）给定100亿个整数，设计算法找到只出现⼀次的整数 n 4）给两个⽂件，分别有100亿个整数，我们只有1G内存，<em>如何</em>找到两个⽂件交集 n 5）1个⽂件有100亿个int，1G内存，设计算法找到出...
- MySQL 如何存储大数据
- 最近，在工作中遇到了MySQL中<em>如何</em><em>存储</em>长度较长的字段类型<em>问题</em>，于是花了一周多的时间抽空学习了一下，并且记录下来。rnrnMySQL大致的逻辑<em>存储</em>结构在这篇文章中有介绍，做为基本概念： InnoDB 逻辑<em>存储</em>结构rnrn注：文中所指的<em>大数据</em>指的是长度较长的数据字段，包括varchar/varbinay/text/blob。rnrnCompact行格式rnrn我们首先来看一下行格式为Compact是
- 大数据存储与备份，迫在眉睫！
- 随着互联网信息技术的发展，如今的社会和人际圈已然成为一个信息化的圈子，而基于这些信息和技术所建立起来的信息系统正改变着人们的工作和生活方式，至今，<em>大数据</em>已经逐渐开始形成。<em>大数据</em><em>存储</em>备份然而凡事都有两面性，云时代<em>大数据</em>的到来给我们的工作生活带来了无数的方便，可与之对应的是信息和网络安全的脆弱性。根据美国FBI统计，每年因为信息和网络安全<em>问题</em>所造成的损失高达75亿美元，并且还在上升。而数据作为信息的表
- Go 在万亿级大数据平台开发中的实战
- 转载请注明出处： 乐投网-Go 在万亿级<em>大数据</em>平台开发中的实战rnrnrnrn导语rnrn迅猛发展的互联网将我们带入了<em>大数据</em>时代，<em>大数据</em>已经成为发展中不可或缺的力量支撑，<em>大数据</em>挑战和机遇并存，<em>如何</em>更好合理、灵活应用<em>大数据</em>是企业的关注所在。七牛<em>大数据</em>团队研发工程师孙健波为大家带来题为Gorn 在<em>大数据</em>开发中的实战经验的技术分享。以下是此次演讲内容整理。rnrn rnrnrnrn图 1rnrn如图 1
- 延云YDB 大数据 万亿数据秒查
- 延云YDB <em>大数据</em> 万亿数据秒查
- 大数据查重去重方案及性能优化
- 最近做针对百万级别的数据的去重工作，现抽空写下笔记。nn做这个去重，是基于前同事的基础上做改造，原来是用的simHash算法做文本相似计算，上网查了下，simHash算法是相对来说，在<em>大数据</em>领域比较受欢迎的查重算法，话不多说，来一步步说下我的设计之路。nn一、先简单介绍下simHash.nn传统的Hash算法只负责将原始内容尽量均匀随机地映射为一个签名值，原理上仅相当于伪随机数产生算法。传统的ha...
- 大数据存储中的列式存储
- 待完善
- 关于千万级数量的导出成excel文件的问题？
- rn 在java里导出大量数据成excel文件，会出现内存溢出的<em>问题</em>？rn 环境：tomcat + DB2rn rn 方式一：一次性将数据库中所有的记录查询出来放到内存中，再将数据拆分后保存到几个excel文件？rn rn 方式二：采用sql分页的方式将数据导出，保存到一个excel文件。直至导出所有的数据，再将多个excel压缩成一个文件。rnrn 以上2种方式，针对10...
- 任务调度临时表保存大数据量会员
- rn任务调度quartz保存网吧会员，采用临时表保存，当会员数量达到100万级别的时候，临时表左连接只需要几秒钟，再配合任务调度，很快就能把上千万级的会员保存到数据库中，为什么用任务调度能，若单单操作一张会员表的话，那是很轻松的事情，不用任务调度直接用临时表保存即可，但是往往业务逻辑是：会员表关联了其他表如：会员证件表，角色表等，需要判断该会员名称，会员证件号码是否已存在这种<em>问题</em>的时候，直接用临时...
- 高效读取大数据文本文件（上亿行数据）
- npackage com.gqshao.file.util;rnrnimport com.google.common.collect.Lists;rnimport com.google.common.collect.Maps;rnimport com.gqshao.file.io.BufferedRandomAccessFile;rnimport org.apache.commons.io.IOU...
- 《Hadoop 权威指南 - 大数据的存储与分析》学习笔记
- 第一章 初识Hadooprn1.2 数据的<em>存储</em>与分析rn对多个硬盘中的数据并行进行读/写数据，有以下两个重要<em>问题</em>：rnrn硬件故障<em>问题</em>。解决方案：复制（replication）,系统保存数据的副本（replica）。rn以某种方式结合大部分数据来共同完成分析。MapReduce 提出一个编程模型，该模型抽象出这些硬件读/写<em>问题</em>，并且将其转换成对一个数据集（由键-值对组成）的计算。rn简而言之，Hadoop 为...
- 大数据即席查询与分析
- <em>大数据</em>的“量级”： 传统IT，业务系统多以OLTP1为主，尤其传统数据库orcle，mysql等数据量多数是几十万或几百万，数据千万就要分库，分表了，过亿了就要用到另外一种数据处理技术了OLAP2联机分析处理。 Google的三篇论文 GFS3、Bigtable、MapReduce可为<em>大数据</em>发展的基石 每一分每一秒，各个数据源通过在线、离线等各种方式导入Hadoop，这些数据就像一车车...
- 大数据项目实战之 --- 电话日志分析callLog案例（四）
- n一、修改kafka数据在主题中的贮存时间，默认是7天n-------------------------------------------------n [kafka/conf/server.properties]n log.retention.hours=1nn二、使用hive进行聚合查询n---------------------------------------------...
- memcached存储大数据的问题
- memcached<em>存储</em>单个item最<em>大数据</em>是在1MB内（redis是512M），假设数据超过1M,存取set和get是都是返回false，并且引起性能的<em>问题</em>。nn我们之前对排行榜的数据进行缓存，因为排行榜在我们全部sql select查询里面占了30%，并且我们排行榜每小时更新一次，所以必须对数据做缓存。为了清除缓存方便，把全部的用户的数据放在同一key中，因为memcached:set的时候
- PHP百万级数据导出方案（生成器直接输出单个CSV）
- 概述：rn之前写过一篇文章叫`PHP百万级数据导出方案（多csv文件压缩），发现很多朋友都很感兴趣，但是当时用的方法比较不方便，可能不太符合很多人的需求。后来想了一下<em>如何</em>优化时，了解到能用生成器来处理内存溢出更方便，所以当时文章中也补充分享了一下这想法。然而，发现更多朋友对<em>如何</em>结合生成器导出数据感兴趣，因此这篇文章，我来填下坑。rn准备：rn1、PHP设置坑：rnrnset_time_limit – 设置脚...
- ＶC++ OPC客户端程序下载
- 运用ＶＣ开发的ＯＰＣ客户端 相关下载链接：[url=//download.csdn.net/download/gu00_1/270099?utm_source=bbsseo]//download.csdn.net/download/gu00_1/270099?utm_source=bbsseo[/url]
- 批处理_最高响应比先调下载
- 批处理_最高响应比先调 相关下载链接：[url=//download.csdn.net/download/leisen2009/2880297?utm_source=bbsseo]//download.csdn.net/download/leisen2009/2880297?utm_source=bbsseo[/url]
- JAVA笔试题汇总_SUN试题集锦下载
- 比较全面的Java笔试题，内含Java各种笔试题。 相关下载链接：[url=//download.csdn.net/download/dead_cicle/3322180?utm_source=bbsseo]//download.csdn.net/download/dead_cicle/3322180?utm_source=bbsseo[/url]
我们是很有底线的