100分求助,一个项目的数据存储方案,求经验大神指导

please_call_me_J 2013-04-22 10:20:32
有个老版本的采集数据软件,采集数据并存储数据到access数据库,采集程序为vb开发,现在我要将其移植到c#(发到java板块是因为我以前做java,觉得java区域高人多啊),并且数据库改为oracle。

原access数据存储是每个站点(站点就是采集数据的来源,每个站点位于不同的地区)都会创建一个表,并且表里的字段正好对应该站点锁需要保存的信息(也就是说每个表的字段都可能不一致)。

现在我的问题是:我到底是应该给每个站点都动态创建表、创建字段来存储数据,还是创建1个站点表保存所有站点信息,另外创建一个数据表(包含了全部采集字段,每个站点不关心的字段都保持默认值)保存所有站点的数据,用外键区分数据所属站点。

请大神指导,按以前的做法每个站点创建1个表和统一的数据表来存储所有数据,哪个好?优劣各是什么,这个采集数据大致是每个站点每3分钟存一次数据库。如果采用1张表来存储,那么oracle能否抗住每个站点每3分钟存一次数据的性能要求?
...全文
268 13 打赏 收藏 转发到动态 举报
写回复
用AI写文章
13 条回复
切换为时间正序
请发表友善的回复…
发表回复
please_call_me_J 2013-04-25
  • 打赏
  • 举报
回复
引用 12 楼 preferme 的回复:
当然是分开做表咯。 数据采集的根本目的,不是为了存储数据,而是为了处理数据。 你把所有站点的数据,都采集到一张表里面,那么,这个表的长度会变得非常大。 由于每个站点的数据格式都不相同(涉及的字段不同),所以,这些数据的处理流程也不相同。 也就意味着,同一张表,你会采用多种不同的方式,去里面统计(提取)数据。 这张表的负载就会很大。 比如,有个查询操作很费时,它正在进行时你又对这张表做另……
是在是感谢您~~~~给我这么详细的解答
冰思雨 2013-04-23
  • 打赏
  • 举报
回复
当然是分开做表咯。 数据采集的根本目的,不是为了存储数据,而是为了处理数据。 你把所有站点的数据,都采集到一张表里面,那么,这个表的长度会变得非常大。 由于每个站点的数据格式都不相同(涉及的字段不同),所以,这些数据的处理流程也不相同。 也就意味着,同一张表,你会采用多种不同的方式,去里面统计(提取)数据。 这张表的负载就会很大。 比如,有个查询操作很费时,它正在进行时你又对这张表做另一个查询操作,就造成两个操作都会很慢。 分开做,有几个优点: 1. 由于每个站点,数据结构不同(表结构不同),数据的处理,思路会更加清晰。 不同站点,采用不同的处理流程即可,不存在什么容易混淆的字段,产生bug。 2. 风险隔离。如果有个误操作,把一个站点的数据搞乱了,不影响其他站点的原始数据。 比如:delete语句,忘了加where条件,或者少加了几个where条件之类的事情。 3. 负载均衡。这个只是相对的均衡,因为,每个站点的操作,要找对应的表去操作。 数据库会针对每个表的查询操作,进行优化,这个效率一定比多个查询一张表要高。 4. 升级、添加站点的代价较低。只需要添加对应的数据表,添加对应的处理流程即可。 当然,缺点也有一些: 1. 数据处理,缺少统一处理的过程。每个站点都要有对应的不同的处理过程,这个过程难于统一管理。 当然,这个问题,类似Java里面的多态,我们只要转变思路,还是能够较好的解决这个问题的。 2. 数据过于分散,难于维护。每个站点一张表,站点过多,涉及的表就会很多。 可能会产生,数据复杂、难于管理的感觉。这个方面,可以通过提取共有部分,抽象处理方法等,尝试优化。 其他缺点,我还没有想太多,应该还有不少缺点。 但是,分开表的优点,我很欣赏,所以,推荐楼主采用。 下面说说关于性能的问题: 楼主问,动态SQL会不会费性能? 首先,动态生成SQL语句不会耗费什么时间,费时间的是执行语句; 其次,我们可以针对每个站点表,编写不同SQL语句,这些语句就不用动态生成了,它们都是常量字符串; (当然,有人不太喜欢用常量SQL配合数据参数进行数据的插入,我也没有办法, 就如同PreparedStatement,很多人都不太喜欢调用setParameter方法设置参数, 而把参数写到SQL里面,引起SQL注入这种隐含漏洞。我也是没办法的事情。) Oracle能否扛得住3分钟一次的数据录入? 这个要看具体的场景: 多少个并发录入、每个录入的数据量、每个录入的要求的最大录入时间。 这些参数都确定的情况下,再来考虑问题的瓶颈。 问题瓶颈往往都在数据传输、数据解压上面。 楼主说的数据库由于录入压力过大,产生过载的现象,一般不会发生。 如果楼主能够确切掌握上面说的几个数据,可以通过调整Oracle缓存的方式,优化他们。 应该没有什么大问题的。
skywoodsky 2013-04-22
  • 打赏
  • 举报
回复
原先可以用access放,说明数据量不大 所以,无论单表还是多表都没什么问题 但是考虑扩展性,还是多表比较好 比方将来又多个站点,又一些特殊字段,单表的话,你怎么办,去改表结构么? 而且既然移植到oracle就是有可能会有数据量的增加,那更是多表性能更佳
please_call_me_J 2013-04-22
  • 打赏
  • 举报
回复
求帮助!~~~~
please_call_me_J 2013-04-22
  • 打赏
  • 举报
回复
引用 2 楼 zxhcloth 的回复:
1、单从频率来看,没有你所说的性能压力问题 2、就从你给的方案里选,我建议你分开,一直都不提倡大表制 3、如果你做的这个存储只是做备份,还可以考虑写到文件里去;如果你做的这个存储是用来统计分析用的,也可以用数据仓库的思想去做它
请教一下,可否给个“数据仓库的思想去做它”的方向?
zxhcloth 2013-04-22
  • 打赏
  • 举报
回复
1、单从频率来看,没有你所说的性能压力问题 2、就从你给的方案里选,我建议你分开,一直都不提倡大表制 3、如果你做的这个存储只是做备份,还可以考虑写到文件里去;如果你做的这个存储是用来统计分析用的,也可以用数据仓库的思想去做它
钢筋裤衩蛋 2013-04-22
  • 打赏
  • 举报
回复
帮顶 求大神
please_call_me_J 2013-04-22
  • 打赏
  • 举报
回复
再顶起来~~~~
tianma630 2013-04-22
  • 打赏
  • 举报
回复
引用 9 楼 juyangjia 的回复:
引用 7 楼 tianma630 的回复:数据挖掘的角度 当然是分开好了 数据挖掘是根据业务对数据进行分析和抽取 分开以后不是更容易进行分析嘛 突然想到一个问题,如果说我用了“分开”,我另外的程序在统计的时候,那就只能是动态sql,这效率会不会低了点?
编译个sql占得了多少时间?
please_call_me_J 2013-04-22
  • 打赏
  • 举报
回复
引用 7 楼 tianma630 的回复:
数据挖掘的角度 当然是分开好了 数据挖掘是根据业务对数据进行分析和抽取 分开以后不是更容易进行分析嘛
突然想到一个问题,如果说我用了“分开”,我另外的程序在统计的时候,那就只能是动态sql,这效率会不会低了点?
七神之光 2013-04-22
  • 打赏
  • 举报
回复
分布式数据库 感觉你这个和百叶箱有点像
tianma630 2013-04-22
  • 打赏
  • 举报
回复
数据挖掘的角度 当然是分开好了 数据挖掘是根据业务对数据进行分析和抽取 分开以后不是更容易进行分析嘛
please_call_me_J 2013-04-22
  • 打赏
  • 举报
回复
求帮助~~~~~~~

67,512

社区成员

发帖
与我相关
我的任务
社区描述
J2EE只是Java企业应用。我们需要一个跨J2SE/WEB/EJB的微容器,保护我们的业务核心组件(中间件),以延续它的生命力,而不是依赖J2SE/J2EE版本。
社区管理员
  • Java EE
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧