数据库设计-大数据量即使计算

LONGZHEZHILONG 2012-11-30 05:49:41
微博的用户现在号称有3亿多，在这多用户的前提之下，依然能快速检索到相关的记录。像这种这么存储这么多记录的大型的数据表，该怎么设计呢？
...全文
190 13 打赏 收藏 转发到动态 举报
写回复
用AI写文章
13 条回复
切换为时间正序
请发表友善的回复…
发表回复
-晴天 2012-12-03
  • 打赏
  • 举报
 回复
引用 11 楼 LONGZHEZHILONG 的回复:
引用 10 楼 DBA_Huangzj 的回复: 核心思想当然就是减少单表的数据，减少访问数据的开销。设计这个东西不好说，不过可以考虑减少行数，增加列数（也就是适当冗余数据）。 甚至有一种变态一点的思想，一个省份一个库。 如果抛开设计的讨论，单单就是数据计算的逻辑，怎么样可以让计算快一点呢？
太笼统了. 索引,查询的语句,预编辑,是否用临时表,缓存的大小......什么都会影响到性能.
LONGZHEZHILONG 2012-12-03
  • 打赏
  • 举报
 回复
引用 10 楼 DBA_Huangzj 的回复:
核心思想当然就是减少单表的数据，减少访问数据的开销。设计这个东西不好说，不过可以考虑减少行数，增加列数（也就是适当冗余数据）。 甚至有一种变态一点的思想，一个省份一个库。
如果抛开设计的讨论，单单就是数据计算的逻辑，怎么样可以让计算快一点呢？
發糞塗牆 2012-12-03
  • 打赏
  • 举报
 回复
优化索引，适当冗余
發糞塗牆 2012-11-30
  • 打赏
  • 举报
 回复
核心思想当然就是减少单表的数据，减少访问数据的开销。设计这个东西不好说，不过可以考虑减少行数，增加列数（也就是适当冗余数据）。 甚至有一种变态一点的思想，一个省份一个库。
SQL77 2012-11-30
  • 打赏
  • 举报
 回复
搜索引擎.......
LONGZHEZHILONG 2012-11-30
  • 打赏
  • 举报
 回复
引用 6 楼 DBA_Huangzj 的回复:
这就有点麻烦，很多处理大数据量的功能都要求企业版或者标准版。那就用分开实体表的方法来处理。按省份来分实体表，然后根据数据的注册信息把数据分到这些表里面
版主还有其他方法不？
LONGZHEZHILONG 2012-11-30
  • 打赏
  • 举报
 回复
引用 5 楼 Beirut 的回复:
淘宝不是公布了自己的一些解决方案，你去找找看看。 基础数据肯定还是要存关系型库里面的。
淘宝的好像是MYSQL 的， 我们的是SQL SERVER的
發糞塗牆 2012-11-30
  • 打赏
  • 举报
 回复
这就有点麻烦，很多处理大数据量的功能都要求企业版或者标准版。那就用分开实体表的方法来处理。按省份来分实体表，然后根据数据的注册信息把数据分到这些表里面
黄_瓜 2012-11-30
  • 打赏
  • 举报
 回复
淘宝不是公布了自己的一些解决方案，你去找找看看。 基础数据肯定还是要存关系型库里面的。
LONGZHEZHILONG 2012-11-30
  • 打赏
  • 举报
 回复
引用 3 楼 DBA_Huangzj 的回复:
嗯，这样分摊数据表的数据大小
但是要企业版啊，我们小企业买不起企业版数据库啊
發糞塗牆 2012-11-30
  • 打赏
  • 举报
 回复
嗯，这样分摊数据表的数据大小
LONGZHEZHILONG 2012-11-30
  • 打赏
  • 举报
 回复
引用 1 楼 DBA_Huangzj 的回复:
传统的关系数据模型对此有点吃力，需要做狠毒哦东西，如果能接受可以换nosql。如果不能，那么硬件首先要跟得上。然后做分区（比如按省份分区）。索引、写法要合理。设计的时候可以适当冗余数据，减少表连接。
你是说用分区表的方法吗？
發糞塗牆 2012-11-30
  • 打赏
  • 举报
 回复
传统的关系数据模型对此有点吃力，需要做狠毒哦东西，如果能接受可以换nosql。如果不能，那么硬件首先要跟得上。然后做分区（比如按省份分区）。索引、写法要合理。设计的时候可以适当冗余数据，减少表连接。
大数据企业级项目实战--Titan大型数据运营系统项目课程
用户画像系统：涉及画像标签体系设计，标签体系层级关系设计，各类标签计算实现，兴趣类标签的衰减合并，模型标签的机器学习算法应用及特征提取、模型训练等；6. OLAP即席分析平台：涉及OLAP平台的整体架构...
学生成绩管理系统数据库设计--MySQL
MySQL/SQL Server 数据库设计（学生成绩管理系统） 设计大纲 1. 项目背景及需求分析 1.1 项目背景 1.2 需求分析 1.2.1 信息需求 1.2.2 功能需求 1.2.3 安全性与完整性需求 2. 概念结构设计 2.1 抽象出系统实体 2.2 全局E-R图 3. 逻辑结构设计 3.1 关系模式 3.2 函数依赖识别 3.3 范式 4. 物理设计和实施 4.1 数据库及表创建 4.2 表数据增删改查测试 4.3 创建视图 4.4 创建函数 4.5 创建存储过程 4.6 创建触发器
邮件管理数据库设计--MySQL
邮件管理数据库设计--MySQL 友情链接 1、医疗信息管理系统数据库--MySQL 2、学生成绩管理系统数据库设计--MySQL 3、SQL Server医疗信息管理系统数据库【英文版-源码】--（Medical Management System Database） 4、SQL Server电影院数据库管理系统【英文版-源码】--（Movie Theatre Management System Database）
数据库系统-数据库设计
数据库系统-数据库设计 数据库设计概述及六步骤简介 数据库设计是指对于一个给定的应用环境，构造最优的数据库模式，建立数据库及其应用系统，使之能够有效地存储数据，满足各种用户的应用需求。 数据库设计的特点 数据库设计是一项涉及多学科的综合性技术，又是一项庞大的工程项目，具有如下特点： 数据库建设是硬件、软件和干件（技术和管理的界面）的结合 数据库设计应该和应用系统设计相结合 数据库设计方法 常用的数据库设计方法如下： 新奥尔良方法：将数据库设计分为若干阶段和步骤 基于E-R模型的设计方法：概念设计阶段广
点餐系统数据库设计--SQL Server
友情链接 1、学生成绩管理系统数据库设计–MySQL 学生成绩管理系统数据库设计–MySQL 2、医疗信息管理系统数据库–MySQL 医疗信息管理系统数据库–MySQL 3、邮件管理数据库设计–MySQL 邮件管理数据库设计–MySQL 4、SQL Server医疗信息管理系统数据库【英文版-源码】–（Medical Management System Database） SQL Server医疗信息管理系统数据库【英文版-源码】–（Medical Management System Database） 5
应用实例

27,579

社区成员

68,558

社区内容

发帖
与我相关
我的任务
社区描述
MS-SQL Server 应用实例
社区管理员
  • 应用实例社区
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章