关于大数据量的数据库设计问题

2013-03-06 09:47:23 430 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

zblaoshu1979 墨衍会员 · AI 创作全网分发关注 + 加入社区

SQLite数据库管理利器：DB Browser for SQLite使用指南 SQLite作为嵌入式数据库，以单文件、零配置的特点广泛应用于桌面、移动和嵌入式场景。然而在Windows环境下，缺乏官方图形界面使得建表、查数和SQL调试并不直观。DB Browser for SQLite（DB4S）作为开源免费的图形化管理工具，提供建表、数据编辑、SQL执行、执行计划分析等完整能力，大幅降低SQLite操作门槛。在开发实践中，通过SQL执行巧妙获取insert into后的自增主键（last_insert_rowid），可解决数据写入后的回读需求；而在涉及数据库同步和异构迁移时，借助D 阅读详情

从全国的2万个网点汇总数据到中央数据库，每天数据总量大约100亿条左右，每调数据大约为2K。
如果数据库用SQL SERVER,要考虑到以后的报表和查询问题和大数据量怎么写入数据库的问题，数据库服务器如何设计，数据库如何设计，表如何设计，是要一个网点一个表设计比较好，还是每天一个表好？是否要用到集群？请各位高手指点。

...全文

Java如何处理大数据量的数据库查询性能问题在Java应用中处理大数据量的数据库查询性能问题，优化的关键在于从多个层面入手，包括SQL查询优化、数据库索引设计、分页查询、连接池配置、缓存机制、并发控制等方面的优化。通过合理的数据库查询设计和高效的资源管理，可以显著提升系统的性能，确保应用在面对大数据量时依然能够稳定高效运行。每个应用场景的优化策略可能不同，开发者应该根据实际业务需求、数据特点以及数据库性能进行灵活的调整和优化。阅读详情

zblaoshu1979

MS-SQL Server 34,876 成员 254,635 内容

+ 关注 + 加入社区

切换为时间正序

DBA_磊仔 2013-03-07

打赏
举报

只能留下一个脚印看回复

zblaoshu1979 2013-03-07

打赏
举报

谢谢大家的回复，每个网点肯定有自己的服务器，要不没法承受这么大的数据量的。

Kilin_Zhang 2013-03-07

打赏
举报

留个脚印，坐等关注

zbdzjx 2013-03-06

打赏
举报

引用 1 楼 OrchidCat 的回复:

每天18623TB数据量，个人认为sql server 无力承担这个级别的数据量。不光是存储端的问题，传输，计算都是比较巨大的一个量。没有这么大数据量的经验，关注...

没这么大吧，100亿X2K=20T。个人感觉：应该每个网点有自己的服务器，然后再将报表所需的资料汇总传给中央数据库吧。

haitao 2013-03-06

打赏
举报

引用 1 楼 OrchidCat 的回复:

每天18623TB数据量，个人认为sql server 无力承担这个级别的数据量。不光是存储端的问题，传输，计算都是比较巨大的一个量。没有这么大数据量的经验，关注...

每天100亿条已经是2万个网点的总数了吧不过也很厉害了，中央数据库单服务器肯定不行了 100亿x2k=20T，网络恐怕都吃不消。。。。。要从业务上看看能不能分拆到多个服务器

昵称被占用了 2013-03-06

打赏
举报

如果没有确定选型，考虑下nosql 如果确定使用sql server，自己考虑分布式是必须的数据库设计在确定选型后再考虑

Leon_He2014 2013-03-06

打赏
举报

搞个集群，用hadoop

mayuanf 2013-03-06

打赏
举报

上一体机吧。微软的PDW(parallel data warehouse)目前支持dell和hp的服务器，价格便宜(相对teradata和exadata),童叟无欺，适合处理pb级的数据量。

zblaoshu1979 2013-03-06

打赏
举报

谢谢大家的回答，不是电商，是YH项目。我也在考虑用哪个数据库软件比较适合这个项目。

夜予 2013-03-06

打赏
举报

2万个网点数据量平均下来一个点也才每天100M左右，地方不一样数据量当然有出入，SQL数据库完全能应付建议分布式设计：各个点的数据汇总到中央考虑的应该是以后数据挖掘和备份吧！ 1、可以将中央与地方的数据库设计一模一样 2、不常用的表放在一个数据库里，常用的表单独一个数据库 3、数据量小的地方所有数据库可以放在一台服务器里，数据量大的地方进行负载均衡，将每个数据库放在单独的服务器上个人意见有不足之处望见谅，敢问LZ做的是电商项目？

唐诗三百首 2013-03-06

打赏
举报

个人认为这个不仅仅是数据库设计的问题,关系到整个系统的架构设计.. 请问这是什么生猛的系统喔.

昵称被占用了 2013-03-06

打赏
举报

自己先计算下，需要多少服务器，数据量大可能是事实，但是估计也需要准确，如果真有这么大数据量，首先应该考虑精简数据。 sql server没有合适的集群可以直接使用，自己设计集群还是比较困难的，也比较难以通用

Mr_Nice 2013-03-06

打赏
举报

每天18623TB数据量，个人认为sql server 无力承担这个级别的数据量。不光是存储端的问题，传输，计算都是比较巨大的一个量。没有这么大数据量的经验，关注...

关于大数据量的数据库设计问题

相关推荐