是采用分区，还是多个服务器，数据比较简单，简单表，大家有什么好的意见
-
等级
本版专家分：99结帖率 97.5% -
如果我要存2亿条数据，采用啥方法好呢？
是采用分区，还是多个服务器，数据比较简单，简单表，大家有什么好的意见展开阅读全文
-
等级
本版专家分：2921勋章
-
- 进士 2004年 总版技术专家分年内排行榜第六
-
- 银牌 2004年4月 总版技术专家分月排行榜第二
-
-
红花
2006年1月 Delphi大版内专家分月排行榜第一
2005年12月 Delphi大版内专家分月排行榜第一
2005年11月 Delphi大版内专家分月排行榜第一
2005年10月 Delphi大版内专家分月排行榜第一
2005年6月 Delphi大版内专家分月排行榜第一
2004年10月 Delphi大版内专家分月排行榜第一
2004年9月 Delphi大版内专家分月排行榜第一
2004年8月 Delphi大版内专家分月排行榜第一
2004年7月 Delphi大版内专家分月排行榜第一
2004年6月 Delphi大版内专家分月排行榜第一
2004年5月 Delphi大版内专家分月排行榜第一
2004年4月 Delphi大版内专家分月排行榜第一
2004年3月 Delphi大版内专家分月排行榜第一
2003年12月 Delphi大版内专家分月排行榜第一
2003年11月 Delphi大版内专家分月排行榜第一
-
-
黄花
2006年4月 Delphi大版内专家分月排行榜第二
2005年5月 Delphi大版内专家分月排行榜第二
2005年4月 Delphi大版内专家分月排行榜第二
2005年3月 Delphi大版内专家分月排行榜第二
2005年2月 Delphi大版内专家分月排行榜第二
2004年12月 Delphi大版内专家分月排行榜第二
2004年2月 Delphi大版内专家分月排行榜第二
-
-
条件不足，如果主要是查询，那用 采用分区存储应该就可
-
等级
本版专家分：1077 -
具备分区条件的话就分区
-
等级
本版专家分：2167勋章
-
- 黄花 2006年5月 Java大版内专家分月排行榜第二
-
-
先根据大的条件分多表,每个表分区
-
等级
本版专家分：8752勋章
-
-
黄花
2005年12月 Oracle大版内专家分月排行榜第二
2005年9月 Oracle大版内专家分月排行榜第二
-
- 蓝花 2005年10月 Oracle大版内专家分月排行榜第三
-
-
如果是查询，当然是多个服务器，做集群
-
等级
本版专家分：6142
-
分区表
-
等级
本版专家分：99
-
hi
-
等级
本版专家分：28勋章
-
-
红花
2014年3月 Linux/Unix社区大版内专家分月排行榜第一
2014年2月 Linux/Unix社区大版内专家分月排行榜第一
2013年12月 Linux/Unix社区大版内专家分月排行榜第一
2013年10月 Linux/Unix社区大版内专家分月排行榜第一
2013年6月 Linux/Unix社区大版内专家分月排行榜第一
2012年12月 Windows专区大版内专家分月排行榜第一
2009年10月 Windows专区大版内专家分月排行榜第一
2009年7月 Windows专区大版内专家分月排行榜第一
2009年6月 Windows专区大版内专家分月排行榜第一
2009年5月 Windows专区大版内专家分月排行榜第一
2008年11月 Windows专区大版内专家分月排行榜第一
2008年10月 Windows专区大版内专家分月排行榜第一
2007年5月 Windows专区大版内专家分月排行榜第一
-
-
黄花
2014年6月 Linux/Unix社区大版内专家分月排行榜第二
2014年1月 Linux/Unix社区大版内专家分月排行榜第二
2013年11月 Linux/Unix社区大版内专家分月排行榜第二
2010年6月 Windows专区大版内专家分月排行榜第二
2010年4月 Windows专区大版内专家分月排行榜第二
2010年3月 Windows专区大版内专家分月排行榜第二
2009年12月 Windows专区大版内专家分月排行榜第二
2009年11月 Windows专区大版内专家分月排行榜第二
2008年7月 Windows专区大版内专家分月排行榜第二
2008年1月 Windows专区大版内专家分月排行榜第二
2007年12月 Windows专区大版内专家分月排行榜第二
2007年11月 Windows专区大版内专家分月排行榜第二
2007年10月 Windows专区大版内专家分月排行榜第二
2007年6月 Windows专区大版内专家分月排行榜第二
-
-
蓝花
2014年7月 Linux/Unix社区大版内专家分月排行榜第三
2014年4月 Linux/Unix社区大版内专家分月排行榜第三
2013年1月 Linux/Unix社区大版内专家分月排行榜第三
2010年5月 Windows专区大版内专家分月排行榜第三
2009年9月 Windows专区大版内专家分月排行榜第三
2009年8月 Windows专区大版内专家分月排行榜第三
2008年8月 Windows专区大版内专家分月排行榜第三
2008年6月 Windows专区大版内专家分月排行榜第三
2007年9月 Windows专区大版内专家分月排行榜第三
2007年7月 Windows专区大版内专家分月排行榜第三
2007年4月 Windows专区大版内专家分月排行榜第三
-
-
分区表
-
等级
本版专家分：16304勋章
-
- 黄花 2005年1月 Oracle大版内专家分月排行榜第二
-
- 蓝花 2004年5月 Oracle大版内专家分月排行榜第三
-
-
分区最好是一日期为区别
-
等级
本版专家分：8636
-
分区表即可。
-
等级
本版专家分：10833勋章
-
-
红花
2007年2月 Oracle大版内专家分月排行榜第一
2007年1月 Oracle大版内专家分月排行榜第一
2006年12月 Oracle大版内专家分月排行榜第一
-
-
按照时间分区吧
- Java集合容器面试题（2020最新版）
文章目录集合容器概述什么是集合集合的特点集合和数组的区别使用集合框架的好处...集合框架底层数据结构哪些集合类是线程安全的？Java集合的快速失败机制 “fail-fast”？怎么确保一个集合不能被修改？Collection...
- MySQL 面试题
当年，我们记着几个一定要掌握的重心： 重点的题目添加了【重点】前缀。 索引。 锁。 事务和隔离级别。 因为 MySQL 还会有部分内容和运维相关度比较高，所以本文我们分成两部分【开发】【运维】两部分。 对于...
- 前端面试题
前端面试题汇总 ... 你做的页面在哪些流览器测试过？这些浏览器的内核分别是什么? 21 ... 21 Quirks模式是什么？它和Standards模式有什么区别 21 div+css的布局较table布局有什么优点？...img的alt与title有何异同？...
- 中台透彻讲解
01 缘起 百度指数搜索“中台”，可以发现，中台一词前几年几乎都没有搜索，反倒是今年5月21号开始蹭蹭往上涨！ 仔细搜索了一下原来5月21号腾讯召开了全球数字生态大会，会议上腾讯高级副总裁汤道生提出“开放中...
- Redis面试题集
2. Redis 支持的数据类型有哪些？合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义...
- 2019年常见Elasticsearch 面试题答案详细解析（下）
前言 1.Elasticsearch 是一个分布式的 RESTful 风格的搜索和数据分析引擎。 （1）查询 ： Elasticsearch 允许...但是如果面对的是十亿行日志，又该如何解读呢？Elasticsearch 聚合让您能够从大处着眼，探索数据...
- 消息队列
消息队列 “消息队列”是在消息的传输过程中保存消息的容器，当我们需要使用消息的时候可以取出消息供自己使用。 消息队列中间件是分布式系统中重要的组件，主要解决...为什么要用消息队列 (1) 通过异步处理...
- 分布式系统概念
国内来讲，移动互联网的爆发伴随着分布式系统的突现，移动互联网最大的特点是2(to)c的o2o产品越来越多，这跟传统2B的系统最大区别就是用户量的不同，2C系统的用户量远远要高于2b系统，这就对系统提出了各种各样的高...
- 人工智能时代，所需要了解人工智能的基本常识
国内对于人工智能的讨论大多是不成体系的碎片式，很难从中深入了解人工智能的发展脉络和技术体系，也很难有实际借鉴意义。人工智能的历史、核心技术和应用情况进行了详细说明，尤其是其中重要的认知技术。...
- 用JAVA如何实现每天1亿条记录的数据存储
60*60*24=86,400秒每天写入数据量：100,000,000条平均每秒写入数据量：100,000,000/86,400=1157.5条峰值每秒估算写入数：1157.5*10=11575条因此建议从以下几个层面处理1、数据库服务器磁盘采用高速SSD磁盘2、数据...
- 【总结】亿级数据的访问和储存，实现和优化
比如订单数据越来越多（亿级），查询越来越慢，如何处理？ 分库分表会带来哪些副作用？可能的解决方式有哪些？ 问题 目前经常使用的关系型数据库如MySQL、SQL Server等，都是以“行”为单位进行存储，为了快速...
- 用JAVA如何实现每天1亿条记录的数据存储，数据库方面怎么设计？
60*60*24=86,400秒每天写入数据量：100,000,000条平均每秒写入数据量：100,000,000/86,400=1157.5条峰值每秒估算写入数：1157.5*10=11575条因此建议从以下几个层面处理1、数据库服务器磁盘采用高速SSD磁盘2、数据库...
- 每天有1亿条记录的DB储存，MySQL数据库如何设计？
用Java怎么实现有每天有1亿条记录的DB储存？MySQL上亿记录数据量的数据库如何设计？ 1.这么大数据量首先建议 使用大数据的DB，可以用spring batch 来做类似这样的处理。定量向DB存储数据。如果需要定时，可以考虑 ...
- MongoDB数据量大于2亿后遇到的问题 及原因分析
MongoDB数据量大于2亿后遇到的问题 及原因分析 一、数据增长情况 每月增长量最大达到了1.9亿，每天增长约300W-500W （增长数据具体可看页尾） 二、遇到的情况及解决方法 1.数据量过大，...
- C语言 C语言基础
生活中常用的是十进制，基数0,1,2,3,4,5,6,7,8,9,。满10进1。 时钟60进制。基数0,1,2...57,58,59。满60进1。60秒为1分钟，60分钟为1小时。 计算机二进制，基数0,1。满2进1。高电平代表1，低电平代表0...
- 2亿数据量PostgreSQL 10.4查询调优思路分享
目录 ●背景 ●使用物理服务器 ●增加内存大小 ●使用NVMe协议的固态硬盘 ...●启用Gin (Generalized Inverted Index)索引（仅适用于非前缀模糊查询） ...●启用Gist(Generalized Search Tree)索引（仅适用于非...
- MySQL能够承受上亿万条的数据量的架构
最近做的搜索引擎的数据量是越来越大估计了下在中国可能涉及到的1Kw的数据量，就全球来说也就是1K亿而已，最初是用的数据库是MySQL现在来说要做些优化，最终使用的两个方案很好用的。 1.读写分离； 2.纵向横向拆分...
- 分布式服务框架
第2 章 分布式系统基础设施 chapter 第2 章 分布式系统基础设施 │ 59 一个大型、稳健、成熟的分布式系统的背后，往往会涉及众多的支撑系统，我们将这些支 撑系统称为分布式系统的基础设施。除了前面所介绍的分布式...
- 拉取淘宝订单服务数据mysql分表存储亿条数据
淘宝订单有每天晚上同步机制，公司有10万个淘宝卖家客户，如果每个客户平均1000个订单就达到1亿条订单的数据量，除去重复订单也会有千万买家会员数据，如果采用mysql存储查询起来性能肯定不行，这里指单台mysql...
- 如何从10亿数据中快速判断是否存在某一个元素
布隆过滤器如何删除元素
- 亿级订单数据分库分表的一些想法
公司年1亿～10亿订单，需要满足未来3～5年数据存储。所有物理或性能上的提高都无法满足业务需求。 思路： 使用多个库创建多张表，如1024张表（单库或少量库会存在TPS瓶颈），这样每张表只要保存约100万数据。 ...
- 震惊! 居然可以用python在短短几秒内处理几十亿数据！
最近一个偶然的机会，我发现了一个可以在短短几秒内处理几十亿数据的python工具包:Vaex, 处于好奇我研究了一下Vaex,下面给大家简单介绍一下Vaex及其基本使用方法。 Vaex是什么 Vaex是用于惰性核心数据框架（类似于...
- 问卷调查系统的设计与实现【源码:文档:教程】
程序下载链接： https://download.csdn.net/download/qq_30615201/11223278 河北农业大学 本科毕业设计说明书 题 目： 问卷调查系统的设计与实现 学 院： ...
- Redis 单节点千万级别数据 写入,读取 性能测试.
本文是对Redis 单节点,针对不同的数据类型,做插入行测试. 数据总条数为:10058624 ... 数据量 ： 10058624条 （大约一千零6万条数据，本地机器运行读取插入操作.） 数据大小 ： 1093.56MB （...
- MySQL千万级数据处理
除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单...
- Spark 高级数据分析（第2版）
本书由业内知名数据科学家执笔，通过丰富的示例展示了如何结合 Spark、统计方法和真实世界数据集来解决数据分析问题，既涉及模型的构建和评价，也涵盖数据清洗、数据预处理和数据探索，并描述了如何将结果变为生产...
- mongodb每天上亿数据量定期清理
一天的数据量大概1亿左右。由于数据量较大，清理数据对系统造成了较大影响，入库会出现堵塞。经过和开发多次讨论，尝试了不同的方案。最终选择了合适的清理方式，系统也开始比较稳定地运行。 除了这个m...
- 大数据——海量数据处理的基本方法总结
声明： 原文引用参考July大神的csdn博客文章 => 海量处理面试题 海量数据处理概述 所谓海量数据处理，就是数据量太大，无法在较短时间内迅速解决，无法一次性装入内存。本文在
- 数据结构算法常见面试考题
把数据结构上几种树集中的讨论一下： 1.AVLtree 定义：最先发明的自平衡二叉查找树。在AVL树中任何节点的两个子树的高度最大差别为一，所以它也被称为高度平衡树。查找、插入和删除在平均和最坏情况下都是O（log n）...
- LABVIEW入门与实战开发100例.pdf
LABVIEW入门与实战开发100例，从基础到入门的基本实例。