社区
Oracle
帖子详情
请问一个数据量很大的系统如何实现?
sxbug
2011-04-01 05:39:00
我只做过一些小的系统,做大系统没有经验,我想请教一下,这样一个大的系统 软件和硬件 怎么设计?
1 这个行业共有1.5万种产品
2 有100多万家销售单位
3 每个销售单位每天有1-2 万条销售记录
4 如果我想知道 在一个月内 或一年内 ,哪个产品卖得最好
5 数据要实时变化(实时的一定延迟 可以接受)
请大牛 给些建议
...全文
143
10
打赏
收藏
请问一个数据量很大的系统如何实现?
我只做过一些小的系统,做大系统没有经验,我想请教一下,这样一个大的系统 软件和硬件 怎么设计? 1 这个行业共有1.5万种产品 2 有100多万家销售单位 3 每个销售单位每天有1-2 万条销售记录 4 如果我想知道 在一个月内 或一年内 ,哪个产品卖得最好 5 数据要实时变化(实时的一定延迟 可以接受) 请大牛 给些建议
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
10 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
getmydream
2011-05-31
打赏
举报
回复
期待牛人的解答,关于大数据量,如果建立主外键的话,对查询性能的影响会比较大
hanks_gao
2011-04-08
打赏
举报
回复
[Quote=引用 4 楼 qq646748739 的回复:]
建议LZ去看些BI和数据仓库方面的资料。
你这个系统就是典型的数据仓库项目。
[/Quote]
+1
iqlife
2011-04-03
打赏
举报
回复
是OLTP系统?联机事务系统的话,需要着重考虑表设计
数据量大考虑分区表,按照业务适用频度设计分区表,
实时统计的话有多种实现,一般是业务不繁忙的时候JOB自动运行进行统计
yingtju
2011-04-03
打赏
举报
回复
硬件IBM 惠普 戴尔
系统Aix Solaris RedHat
web服务器Apache Tomcat,大型的Websphere等 跟你的技术相关
数据库Oracle Mysql
看你的预算了
具体的业务需求,看设计开发人员的功底了
li1229363
2011-04-02
打赏
举报
回复
1.5w的产品比较好处理,不是什么困难的事情,不过在建表的时候处理好索引的关系,那些是唯一的,并且作为产品排序的依据,这样弄你最后期的大量查询时,就不会出现反应慢的情况了。
2.100w家销售……这个,如果是每一家都有一个登录用户的话,那就真的要人命了……光录入就要你小命。然后是这些销售单位的信息之类的问题,并发访问的问题,等等,你得处理好的说。
3 这个不是啥问题,一天也就1~2w的数据而已,很小的说
4.这个问题……如果你做了日统计,那么恭喜你,你想这么跑都可以,速度不会有啥问题。当然了日统计得有单独的表和合适的索引关系。并且有完善的日结机制
5.实现实时查询的话,就得对表进行分割了。当天数据在一个表里面,历史数据又作为另外一个表。一天才1~2w数据,怎么统计都不会慢的说。
碧水幽幽泉
2011-04-02
打赏
举报
回复
建议LZ去看些BI和数据仓库方面的资料。
你这个系统就是典型的数据仓库项目。
humanity
2011-04-02
打赏
举报
回复
只有坐地板上等了。
唐诗三百首
2011-04-02
打赏
举报
回复
自己设计不是不可以,但毕竟需要经验的累计.
可参考一下现有的较为成熟的软件系统的设计方案.
Rotel-刘志东
2011-04-02
打赏
举报
回复
1、考虑机器硬件的配置要cpu、内存、硬盘、这都是硬件所考虑。
2、物理设计和逻辑设计,考虑以后的扩展性和可用性的需求。
3、设计表的时候对id及经常查询的列建立索引。
4、表间的关系要考虑全面主外键之间的关系、表的列约束等。
5、对于数据量大的表应该考虑多表存取。
大
数据量
的分表方法
当
一个
应用的
数据量
大的时候,我们用单表和单库来存储会严重影响操作速度,如mysql的myisam存储,我们经过测试,200w以下的时候,mysql的访问速度都很快,但是如果超过200w以上的数据,他的访问速度会急剧下降,影响...
长文图解:单张表
数据量
太大问题怎么解决?请记住这六个字
在业务发展初期单表完全可以满足业务需求,在阿里巴巴开发手册也建议:单表行数超过500万行或者单表容量超过2GB才推荐进行分库分表,如果预计三年后
数据量
根本达不到这个级别,请不要在创建表时就分库分表。...
基于大
数据量
的缓存查询
实现
方案
业务、应用
系统
最常用的就是基于数据的查询,这不同于宏观意义上的
系统
各个层面优化(应用端、服务端、DB端等等),基于数据的查询更多时候需要考虑数据的规模、用户的习惯、数据的变化性等因素,但同时数据查询的...
MySQL
数据量
太大怎么提升查询性能?
比如随着业务的发展,订单表的
数据量
越来越大,这个时候查询变慢了,我们可以采取什么措施来提升查询性能呢? 1、存档历史数据 当单表的订单数据太多,多到影响性能的时候,首选的方案是,归档历史订单。 所谓归档...
mysql数据库中,
数据量
很大
的表,完美解决方案
使用阿里云rds for MySQL数据库(就是MySQL5.6版本),有个用户上网记录表6个月的
数据量
近2000万,保留最近一年的
数据量
达到4000万,查询速度极慢,日常卡死。严重影响业务。 问题前提:老
系统
,当时设计
系统
的人...
Oracle
17,086
社区成员
55,238
社区内容
发帖
与我相关
我的任务
Oracle
Oracle开发相关技术讨论
复制链接
扫一扫
分享
社区描述
Oracle开发相关技术讨论
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章