2.1w+
社区成员
Sql server实时数据采集的难题？？？急！！！
本人正在用VB做一个工业数据实时采集的题目，打算采用Sql server数据库，由于数据量非常大，大约每天有上百万条记录，并且系统要求常年运行，因此遇到难题：
1 如果所有采集到的数据都写入到一个表之中，那么是不是表的容量有限，到一定时间后系统出错。即使系统不出错，大量的数据是不是也会造成查询效率的降低？
2 于是本人考虑到：当数据达到一定数量后或是以每一天为单位，建立一个新表，可是由于系统需要长年运行，这样得话，数据库中的表的数量也会不断的增多，这也不是办法？
3 本人又考虑到是不是可以用数据备份/恢复或是导入导出的方式，但是不知应导出成什么格式比较好，方案又应该怎么选择？并且该数据库还要给远程共享，如果数据被导出成其他格式（比如Access格式）远程又如何访问的到呢？
1 如果所有采集到的数据都写入到一个表之中，那么是不是表的容量有限，到一定时间后系统出错。即使系统不出错，大量的数据是不是也会造成查询效率的降低？
2 于是本人考虑到：当数据达到一定数量后或是以每一天为单位，建立一个新表，可是由于系统需要长年运行，这样得话，数据库中的表的数量也会不断的增多，这也不是办法？
3 本人又考虑到是不是可以用数据备份/恢复或是导入导出的方式，但是不知应导出成什么格式比较好，方案又应该怎么选择？并且该数据库还要给远程共享，如果数据被导出成其他格式（比如Access格式）远程又如何访问的到呢？
...全文
当前发帖距今超过3年，不再开放新的回复
发表回复
huahuahai 2006-03-07
我的建议是建两个结构类似的表，一个用于每天日常采集数据录入，晚上再将数据导入到另一个表。日常查询和远程共享的给第二个表。数据导入在每天晚上不再向第一个表写数据时执行，导入完毕后再清空用于第二天录入数据。
Flink SQL CDC 上线！我们总结了 13 条生产实践经验 摘要：7月，Flink 1.11 新版发布，在生态及易用性上有大幅提升，其中 Table & SQL 开始支持 Change Data Capture（CDC）。CDC 被广泛使...
单日课程超10万节！VIPKID 如何通过实时计算提升上课体验？ 摘要：对于以互联网形式的在线教育来说，实时计算应用的场景非常之多，如何通过数据计算来更快、更高效地反馈学习效果保证课程质量是在线教育领域不断探索的主题。本文将从以下四个部分分享，与大家探...
何为 Serverless 架构模式？这 5 大场景来告诉你！ 一个数据流水线包括数据采集、处理、分析等多个环节。这样的服务如果从头搭建虽然是可行的，但是也是复杂的，我们这里讨论的业务是电商，而不是去提供一个数据流水线服务。有了这样一个目标，我们做选择时就会变得...
非Flink不可？构建实时数据集成平台，这4个因素怎能不注意！ 随着企业应用复杂性的上升和微服务架构的流行，数据正变得越来越以应用为中心。 服务之间仅在必要时以接口或者消息队列方式进行数据交互，从而避免了构建单一数据库集群来支撑不断增长的业务需要。以应用为中心的...
互联网企业：如何建设数据安全体系？ Facebook数据泄露事件一度成为互联网行业的焦点，几百亿美元市值瞬间蒸发，这个代价足以在地球上养活一支绝对庞大的安全团队，甚至可以直接收购几家规模比较大的安全公司了。 虽然媒体上发表了很多谴责的言论，但...
这些传统数据集成的痛，你还在经历几种？ 今年，随着数据驱动决策的理念逐渐深入人心，越来越多的企业开始逐步对存量的数据资产进行消费，在数据消费过程中引入各种数据集成的工具，来解决数据打通的问题，并用于后端数据消费：如分析报表、数据...
数据运营时代，如何基于AnalyticDB构建企业实时数仓？ 摘要：万事万物每时每刻都在产生大量的数据，数据无处不在，数据化运营在今天的物流、零售、电商、金融等等行业中都有诸多成功的实践，但是如何降低企业大数据的建设门槛，使得大数据分析成为一种人人都可以获得的...
spark 数据框 删除列_如何用好云原生数据湖？ 阿里云从2018年起就开始布局数据湖，推出了云原生数据湖分析Data Lake Analytics(DLA)，从数据湖管理(帮助客户高效管理构建数据湖)，Serverless Spark(提供高性价比的大规模计算)，Serverless SQL(提供高性价比的...
如何用好云原生数据湖？ 从数据湖管理（帮助客户高效管理构建数据湖），Serverless Spark（提供高性价比的大规模计算），Serverless SQL（提供高性价比的在线交互式分析）三个方面帮助客户挖掘数据价值。本文分享相关技术挑战及解决方案。一...
SQL server 海量数据库查询优化及分页算法 (一) 海量数据库的查询优化及分页算法方案(1) 随着“金盾工程”建设的逐步深入和公安信息化的高速发展，公安...那么，如何实现快速地从这些超大容量的数据库中提取数据（查询）、分析、统计以及提取数据后进行...
MS SQL SERVER 海量数据的查询优化及分页算法 引自：http://www.delphibbs.com/keylife/iblog_show.asp?xid=12065作者 : 田耕标题 : 海量数据库的查询优化及分页算法方案关键字:分类 : 个人专区密级 : 公开...与此同时，应用系统体系的核心、系统数据的存放地―
sqlserver 优化 与此同时，应用系统体系的核心、系统数据的存放地――数据库也随着实际应用而急剧膨胀，一些大规模的系统，如人口系统的数据甚至超过了1000万条，可谓海量。那么，如何实现快速地从这些超大容量的数据库中提取数据...
SQLServer海量数据库的查询优化及分页算法方案 随着“金盾工程”建设的逐步深入和公安信息化的高速...那么，如何实现快速地从这些超大容量的数据库中提取数据（查询）、分析、统计以及提取数据后进行数据分页已成为各地系统管理员和数据库管理员亟待解决的难题。
25k~50k,比特大陆招人啦!这次会是你吗? 5.熟悉数据库如oracle/mysql/sql server/mongoDB等，具备一定数据库脚本开发能力； 6.搭建过自动化测试框架，熟悉jmeter、Selenium测试工具； 7.善于学习和运用新知识，有很强的分析能力和定位问题的能力； 8.具有...
构建实时数据集成平台时，在技术选型上的考量点 随着企业应用复杂性的上升和微服务架构的流行，数据正变得越来越以应用为中心。 服务之间仅在必要时以接口或者消息队列方式进行数据交互，从而避免了构建单一数据库集群来支撑不断增长的业务需要。以应用为中心的...
