100分求助，一个项目的数据存储方案，求经验大神指导

2013-04-22 10:20:32 327 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

please_call_me_J 墨衍会员 · AI 创作全网分发关注 + 加入社区

python爬虫100个入门项目断点续爬并存入MySQL 秒爬，python爬虫中的多线程，多进程，协程抓取百度图片唯美意境模块抓取百度贴吧某话题下的所有图片淘宝模拟登录天猫商品数据爬虫爬取淘宝我已购买的宝贝数据每天不同时间段通过微信发消息提醒女友爬取5K分辨率超清唯美壁纸爬取豆瓣排行榜电影数据(含GUI界面版) 多线程+代理池爬取天天基金网、股票数据(无需使用爬虫框架) 一键生成微信个人专属数据报告(了解你的微信社交历史) 一键生成QQ个人历史报告微信公众号文章爬虫新浪微博爬虫分享（一天可阅读详情

有个老版本的采集数据软件，采集数据并存储数据到access数据库，采集程序为vb开发，现在我要将其移植到c#（发到java板块是因为我以前做java，觉得java区域高人多啊），并且数据库改为oracle。

原access数据存储是每个站点（站点就是采集数据的来源，每个站点位于不同的地区）都会创建一个表，并且表里的字段正好对应该站点锁需要保存的信息（也就是说每个表的字段都可能不一致）。

现在我的问题是：我到底是应该给每个站点都动态创建表、创建字段来存储数据，还是创建1个站点表保存所有站点信息，另外创建一个数据表（包含了全部采集字段，每个站点不关心的字段都保持默认值）保存所有站点的数据，用外键区分数据所属站点。

请大神指导，按以前的做法每个站点创建1个表和统一的数据表来存储所有数据，哪个好？优劣各是什么，这个采集数据大致是每个站点每3分钟存一次数据库。如果采用1张表来存储，那么oracle能否抗住每个站点每3分钟存一次数据的性能要求？

...全文

关于超分数据库的一个总结表格 1 数据集数量格式 resolution Average-pixels 描述分类下载链接补充介绍 DIV2K 1000 png 2K 2,793,250 有100... 阅读详情

please_call_me_J

Java EE 67,535 成员 225,843 内容

+ 关注 + 加入社区

切换为时间正序

please_call_me_J 2013-04-25

打赏
举报

引用 12 楼 preferme 的回复:

当然是分开做表咯。数据采集的根本目的，不是为了存储数据，而是为了处理数据。你把所有站点的数据，都采集到一张表里面，那么，这个表的长度会变得非常大。由于每个站点的数据格式都不相同（涉及的字段不同），所以，这些数据的处理流程也不相同。也就意味着，同一张表，你会采用多种不同的方式，去里面统计（提取）数据。这张表的负载就会很大。比如，有个查询操作很费时，它正在进行时你又对这张表做另……

是在是感谢您~~~~给我这么详细的解答

冰思雨 2013-04-23

打赏
举报

当然是分开做表咯。数据采集的根本目的，不是为了存储数据，而是为了处理数据。你把所有站点的数据，都采集到一张表里面，那么，这个表的长度会变得非常大。由于每个站点的数据格式都不相同（涉及的字段不同），所以，这些数据的处理流程也不相同。也就意味着，同一张表，你会采用多种不同的方式，去里面统计（提取）数据。这张表的负载就会很大。比如，有个查询操作很费时，它正在进行时你又对这张表做另一个查询操作，就造成两个操作都会很慢。分开做，有几个优点： 1. 由于每个站点，数据结构不同（表结构不同），数据的处理，思路会更加清晰。不同站点，采用不同的处理流程即可，不存在什么容易混淆的字段，产生bug。 2. 风险隔离。如果有个误操作，把一个站点的数据搞乱了，不影响其他站点的原始数据。比如：delete语句，忘了加where条件，或者少加了几个where条件之类的事情。 3. 负载均衡。这个只是相对的均衡，因为，每个站点的操作，要找对应的表去操作。数据库会针对每个表的查询操作，进行优化，这个效率一定比多个查询一张表要高。 4. 升级、添加站点的代价较低。只需要添加对应的数据表，添加对应的处理流程即可。当然，缺点也有一些： 1. 数据处理，缺少统一处理的过程。每个站点都要有对应的不同的处理过程，这个过程难于统一管理。当然，这个问题，类似Java里面的多态，我们只要转变思路，还是能够较好的解决这个问题的。 2. 数据过于分散，难于维护。每个站点一张表，站点过多，涉及的表就会很多。可能会产生，数据复杂、难于管理的感觉。这个方面，可以通过提取共有部分，抽象处理方法等，尝试优化。其他缺点，我还没有想太多，应该还有不少缺点。但是，分开表的优点，我很欣赏，所以，推荐楼主采用。下面说说关于性能的问题：楼主问，动态SQL会不会费性能？首先，动态生成SQL语句不会耗费什么时间，费时间的是执行语句；其次，我们可以针对每个站点表，编写不同SQL语句，这些语句就不用动态生成了，它们都是常量字符串；（当然，有人不太喜欢用常量SQL配合数据参数进行数据的插入，我也没有办法，就如同PreparedStatement，很多人都不太喜欢调用setParameter方法设置参数，而把参数写到SQL里面，引起SQL注入这种隐含漏洞。我也是没办法的事情。） Oracle能否扛得住3分钟一次的数据录入？这个要看具体的场景：多少个并发录入、每个录入的数据量、每个录入的要求的最大录入时间。这些参数都确定的情况下，再来考虑问题的瓶颈。问题瓶颈往往都在数据传输、数据解压上面。楼主说的数据库由于录入压力过大，产生过载的现象，一般不会发生。如果楼主能够确切掌握上面说的几个数据，可以通过调整Oracle缓存的方式，优化他们。应该没有什么大问题的。