每半年产生几亿条数据,你会如何设计架构?

程序员一灯 2015-02-06 06:55:20
以前面试都是会问给你1千万条数据,最近面试都改成1亿条了。

各位你们一般都是如何设计这样的表?

就拿p2p吧,最近这么火。
业务场景一:比如这张表示存的是公司的所有的交易单Order(这里就是贷款出去的单子吧)
因为是最低可以1元钱投资,所以几乎人人都可以投资。也因为这样表才会非常的庞大。。。。
以至于半年不到就有1亿条数据了。


业务场景二:这个是主表,另外还需要关联合同表,每次交易都必须生成合同,现在合同就算是和交易订单表主表一对一。
一个单子有一个合同(这里很多p2p公司肯定会有其他数据关联的,暂且不考虑吧)
那么这样下来又会有很多上亿条数据了

场景暂且这样吧。

大家可以考虑考虑,现在互联网发展的这么火爆,肯定很多人出去面试都会遇到这样的问题,我一般遇到这样的问题
都是会给个解决方案什么的(反正肯定不会让我处理的,就瞎扯,直到面试官叫停。。。



...全文
499 7 打赏 收藏 转发到动态 举报
写回复
用AI写文章
7 条回复
切换为时间正序
请发表友善的回复…
发表回复
水影qq_26127601 2015-02-22
  • 打赏
  • 举报
回复
如果只是应付面试的话,用百度上的答案都够了吧,分库分表,缓存,以及查询语句的优化等方面,如果要给方案那就是空嘴说白话了,呵呵
Inhibitory 2015-02-19
  • 打赏
  • 举报
回复
这种问题问DBA更有意义
程序员一灯 2015-02-18
  • 打赏
  • 举报
回复
引用 4 楼 ticmy 的回复:
相信选择的数据库,几亿条那都不是事,重要的是,这些数据要怎么用,要和什么表关联,要拿什么条件作为条件等 像有些日志表,插进去就不查了,多少都可以插啊 所以,这问题太泛了,就拿P2P来说,要了解业务细节才能更好的设计,不然都是空话,就跟一堆人不了解12306背后的业务就在那YY架构一样
恩恩,你说的很对,不过也都是空话。
龙四 2015-02-07
  • 打赏
  • 举报
回复
相信选择的数据库,几亿条那都不是事,重要的是,这些数据要怎么用,要和什么表关联,要拿什么条件作为条件等 像有些日志表,插进去就不查了,多少都可以插啊 所以,这问题太泛了,就拿P2P来说,要了解业务细节才能更好的设计,不然都是空话,就跟一堆人不了解12306背后的业务就在那YY架构一样
RGRAZER 2015-02-07
  • 打赏
  • 举报
回复
哇 好牛叉的样子啊
程序员一灯 2015-02-06
  • 打赏
  • 举报
回复
引用 1 楼 ygycomon 的回复:
首先讨论几亿条数据有多大,一般压力不是看数量,而是看大小。 上T和几十G的解决方案是不一样的。 其次讨论需求,这么多数据是要实时查询,还是做数据挖掘的原始数据。 如果是实时查询,讨论实时查询的方案,无非是分库分表,缓存 如果是数据挖掘,那这点数据不够讨论的,随便玩玩
嗯,说的都很到位。 这个是p2p的交易数据,不是数据挖掘,暂时还没有到那一步。 主要就是CRUD了。 楼下继续
致知Fighting 2015-02-06
  • 打赏
  • 举报
回复
首先讨论几亿条数据有多大,一般压力不是看数量,而是看大小。 上T和几十G的解决方案是不一样的。 其次讨论需求,这么多数据是要实时查询,还是做数据挖掘的原始数据。 如果是实时查询,讨论实时查询的方案,无非是分库分表,缓存 如果是数据挖掘,那这点数据不够讨论的,随便玩玩
本人担任腾讯云大数据、人工智能解决方案架构师、数字化转型专家,原京东集团云计算架构师,拥有17年行业信息化工作经验,主要负责能源行业、政府单位的大数据、人工智能解决方案设计及项目落地,同时也帮助多家央企编制数字化转型方案。在京东就职期间,担任京东云计算架构师,带领私有云团队,共同设计京东云产品,并助力京东云产品在铁道部完成第一单落地。本大擅长大数据、系统分析、云计算、人工智能、数字化转型等领域,期望通过系统化整理自己所学知识和经验,形成录播课件,助力信息化工作人员更上一层楼。数据架构规划设计是根据个人的知识能力,结合在工作中的实践经验,设计出的一套数据架构规划设计方法,本方法相对比较通用,大家也可以根据自己项目的业务需求和客户要求,基于本规划设计进行裁剪,在一定程度上,能够大大节约工作时间,只需专注于个性化部分。本课程目录如下: 第一讲:知识框架介绍 第二讲:数据架构概念 第三讲:数据架构构成 第四讲:数据资产目录 第五讲:数据标准 第六讲:数据模型 第七讲:数据分布 第八讲:企业为什么要做数据架构 第九讲:数据架构规划原则、输入、输出 第十讲:数据架构规划实施步骤 第十一讲:数据资产目录L1业务域设计 第十二讲:数据资产目录L2主题域设计 第十三讲:数据资产目录L3业务对象设计 第十四讲:数据资产目录L3业务对象设计(续) 第十五讲:数据标准规划设计 第十六讲:概念数据模型规划设计 第十七讲:数据分布数据源规划设计 第十八讲:数据分布数据流规划设计 第十九讲:实践中常见问题 第二十讲:实践常见问题(续)

67,513

社区成员

发帖
与我相关
我的任务
社区描述
J2EE只是Java企业应用。我们需要一个跨J2SE/WEB/EJB的微容器,保护我们的业务核心组件(中间件),以延续它的生命力,而不是依赖J2SE/J2EE版本。
社区管理员
  • Java EE
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧