sql 2008 如何建立多库查询?

mengsuo 2009-12-25 04:21:39
如:一台服务器上放置了10个数据库(10年的数据,一年一个数据库),10个数据库的结构完全相同。现在要做的是,需要从这10个数据库中取数进行再加工,和根据给定的条件,从这个10个库中取出对应的数据。

求教:
如何从这十个数据库中取数,能否在建第11个库,在这个库中,将10个库中10个相同的表建成视图,以供检索查询使用,如果这样做的话,查询的效率是不是很低,也就是说,一旦建成试图,所有的索引是不是都将失效????
ps:数据流很大,最大的一个表 中的数据一年大概有8千万条。

...全文
171 16 打赏 收藏 转发到动态 举报
写回复
用AI写文章
16 条回复
切换为时间正序
请发表友善的回复…
发表回复
mengsuo 2012-08-10
  • 打赏
  • 举报
回复
沉到底了
tianyuanliu 2012-08-10
  • 打赏
  • 举报
回复
建立多个连接,依次轮询,取数,用多线程或异步来实现。
Mr_Nice 2009-12-28
  • 打赏
  • 举报
回复
[Quote=引用楼主 mengsuo 的回复:]
如:一台服务器上放置了10个数据库(10年的数据,一年一个数据库),10个数据库的结构完全相同。现在要做的是,需要从这10个数据库中取数进行再加工,和根据给定的条件,从这个10个库中取出对应的数据。

求教:
如何从这十个数据库中取数,能否在建第11个库,在这个库中,将10个库中10个相同的表建成视图,以供检索查询使用,如果这样做的话,查询的效率是不是很低,也就是说,一旦建成试图,所有的索引是不是都将失效????
ps:数据流很大,最大的一个表 中的数据一年大概有8千万条。


[/Quote]


1年8千万的话,10年数据要联合查询,效率!!! 汗....

建议引入发布机制,把需求细分化,别做一个大而全的报表。
做一个一个有针对性的报表。另外,资金允许的话,买一台服务器专门对应报表处理吧。
毕竟好几亿的数据。存档啥的还是要跟现用的分离比较好!
mengsuo 2009-12-28
  • 打赏
  • 举报
回复
大虾们停脚关注下!!!
mengsuo 2009-12-25
  • 打赏
  • 举报
回复
[Quote=引用 10 楼 netcup 的回复:]
用视图或者SSAS。
[/Quote]

加了视图后 是不是 索引都没了吗?
netcup 2009-12-25
  • 打赏
  • 举报
回复
用视图或者SSAS。
mengsuo 2009-12-25
  • 打赏
  • 举报
回复
赶紧 顶 ,不然沉到底了
mengsuo 2009-12-25
  • 打赏
  • 举报
回复
难道真的没有方法了吗?那种大型网站都是怎么检索数据库的?
mengsuo 2009-12-25
  • 打赏
  • 举报
回复
还有 方法吗?
NetColorWolf 2009-12-25
  • 打赏
  • 举报
回复
建议修改系统架构,改拉取为推送
mengsuo 2009-12-25
  • 打赏
  • 举报
回复
一贴 沉大海了吗?
mengsuo 2009-12-25
  • 打赏
  • 举报
回复
大虾们,不吝赐教呀,给点思路呀
mengsuo 2009-12-25
  • 打赏
  • 举报
回复
敢问 什么解决方法 最好?
--小F-- 2009-12-25
  • 打赏
  • 举报
回复
效率肯定不会太高
SQL77 2009-12-25
  • 打赏
  • 举报
回复
SELECT * FROM A..A ,B..B
1.项目代码均经过功能验证ok,确保稳定可靠运行。欢迎下载体验!下载完使用问题请私信沟通。 2.主要针对各个计算机相关专业,包括计算机科学、信息安全、数据科学与大数据技术、人工智能、通信、物联网等领域的在校学生、专业教师、企业员工。 3.项目具有丰富的拓展空间,不仅可作为入门进阶,也可直接作为毕设、课程设计、大作业、初期项目立项演示等用途。 4.当然也鼓励大家基于此进行二次开发。在使用过程中,如有问题或建议,请及时沟通。 5.期待你能在项目中找到乐趣和灵感,也欢迎你的分享和反馈! 【资源说明】 C#开发基于FreeSql多库分布式事务、跨库查询、跨库分页查询、跨库增删改等功能实现源码+项目说明+sln.zip **前言** 话说2021年开始了一个基于ASP.NET Core 微服务的项目,谈到微服务 多库环境下 分布式事务、分库分表这些问题都是逃不开的,于是首先从ORM开始调研,需要考虑到一些重要的因素 **功能强大、支持多种数据库(并且行为一致,防止出现换库的情况)、支持分库分表** 等等,这时候第一时间就想到了 [FreeSql](https://github.com/dotnetcore/FreeSql) ,FreeSql的架构设计非常好,每一种支持的数据库都有对应的Provider实现 做到行为一致,而且支持CodeFirst和DbFirst,分库分表FreeSql也有比较简单切有效的方案,本人也经常向FreeSql的作者叶老板请教学习,非常佩服他的技术与人品,也非常感谢他能做出这么好的ORM框架。 **分布式事务** 既然分库了 分布式事务怎么处理,说到分布式事务 常见的解决方案有TCC/SAGA/消息队列最终一致性,在.NET生态中有基于消息队列实现的分布式事务 [CAP](https://github.com/dotnetcore/CAP) ,TCC和SAGA调研了很久没有发现有比较成熟的实现,那么就决定使用`CAP(最终一致性事务)` 由于项目持续的改版,业务的实时性变得越来越高,基于消息队列的这种最终一致性或者说异步事务的方案 越来越不适合我们的项目,这时候就需要同步的事务方案,TCC/SAGE又没有太好的解决方案(我真的没有找到。。),于是想着自己设计一个,基于FreeSql实现事务管理器。 想要的效果:和单库事务一样,出现错误回滚 但是问题来了 多库呢?不同的数据库呢? * 在多库事务的开启时,每个库管理开启自己的事务 * 如果某一个库事务开启后的操作出现异常,则回滚全部数据库事务 * 在多库事务提交时,每个库的事务统一提交 * 记录日志,第一个执行Common的数据库称之为主库,会自动创建一个日志表,用于记录多库事务的信息、执行的SQL、业务模块 用于人工介入或者事务补偿 * 如果主库(第一个库)Common成功后,其他某一个库可能由于网络原因、数据库宕机 无法Common事务,导致数据不一致,这时候要根据日志进行事务补偿或者人工介入,例如 存在三个库(订单库、物流库、商品库) 订单库就是主库(会记录日志) 在Common事务时,如果订单库(主库)Common失败,则(订单库、物流库、商品库)事务全部回滚,如果`订单库`(主库)Common成功,但是`物流库`由于其他原因无法Common成功 则会被日志记录并跳过,然后再去Common `商品库` 以及其他库.. **跨库查询/跨库分页查询** 通过时间分片定位、事件委托、分页算法实现跨库分页查询 1.appsettings.json配置 2.初始化数据库 3.获取IFreeSql操作对象 5.跨库分页查询 6. 跨库增删改 7.跨库并行查询(不分页) 8.跨库ToOne查询 9.跨库Any查询 10.分布式事务、多库事务

22,210

社区成员

发帖
与我相关
我的任务
社区描述
MS-SQL Server 疑难问题
社区管理员
  • 疑难问题社区
  • 尘觉
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧