Sql server实时数据采集的难题???急!!!

sungeng 2006-03-07 06:19:07
本人正在用VB做一个工业数据实时采集的题目,打算采用Sql server数据库,由于数据量非常大,大约每天有上百万条记录,并且系统要求常年运行,因此遇到难题:
1 如果所有采集到的数据都写入到一个表之中,那么是不是表的容量有限,到一定时间后系统出错。即使系统不出错,大量的数据是不是也会造成查询效率的降低?
2 于是本人考虑到:当数据达到一定数量后或是以每一天为单位,建立一个新表,可是由于系统需要长年运行,这样得话,数据库中的表的数量也会不断的增多,这也不是办法?
3 本人又考虑到是不是可以用数据备份/恢复或是导入导出的方式,但是不知应导出成什么格式比较好,方案又应该怎么选择?并且该数据库还要给远程共享,如果数据被导出成其他格式(比如Access格式)远程又如何访问的到呢?
...全文
156 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
huahuahai 2006-03-07
  • 打赏
  • 举报
回复
我的建议是建两个结构类似的表,一个用于每天日常采集数据录入,晚上再将数据导入到另一个表。日常查询和远程共享的给第二个表。数据导入在每天晚上不再向第一个表写数据时执行,导入完毕后再清空用于第二天录入数据。
视频点播系统的设计与实现 摘 要 随着计算机技术和 Internet 的日新月异,宽带VOD视频点播技术因其良好的人机交互性和流媒体传输技术倍受教育、 娱乐等行业青睐。本文阐述了基于WEB的交互式视频点播系统的协议原理、软件结构和设 计实现。 本视频点播系统根据流媒体传输原理,在校园局域网的基础上模拟基于Web的视频点 播系统,实现用户信息管理、视频文件的添加、删除、修改及在线播放和搜索功能。本 系统是一个小型系统,我们采用基本的SQL Server数据库。具体实现中将HTML、ASP.net及C#相结合,力求界面美观、操作流畅。 本文主要论述服务器端视频服务平台的搭建、流媒体的相关原理及管理功能的具体实 现。 关键词:流媒体;ASP.net;视频点播 Video on demand design and implement Abstract Broadband VOD (video on demand technology) get the favour of profession such as education and amusement because of its good human-computer interaction and streaming media transmission technic. In this paper, I elaborate systematic principle of the protocol, software structure and design implement based on Web interactive video on demand. According to the streaming media transmission principle, this video on demand system imitates video on demand system based on the Web, implement that users' information management and the functions of adding, deleting and modifying, online playing and searching for video files on the basic upper local area network of the campus. Since this system is a small-sized system, we use the basic SQL database. In specific implement, I fuse HTML, ASP.net and C# perfectly, try my best to make the interface beautiful, operate smoothly. This paper discuss mainly about the video service platform building, the related principle of streaming media and the specific implement of management function. Key words: Streaming media; ASP.net; video on demand 引 言 1. 课题背景 随着宽带网络系统的建成和发展,视频点播(Video On Demand,简称V0D)系统被广泛应用于在线电影点播、多媒体课件点播、图书馆视频资料 查询等用途。视频点播是综合了计算机技术、通讯技术、电视技术而迅速兴起的一门综 合性技术。它涉及到信息量巨大的音频和视频在网上传播的问题,网络是硬件条件,而 流媒体技术则解决了如何在网络上传输动态的音视频节目的难题。 2. 流媒体简介 流媒体是指传输及播放的流媒体文件,经过特殊的压缩方式分成一个个压缩包,由视 频服务器向用户计算机连接、实时地传送,用户机不必等到整个文件全部下载完毕,仅 需将起始几秒的数据先下载到本地的缓冲区中就可以开始播放,采用一边播放、一边下 载、一边丢弃的方式,客户端的缓冲区建在内存中,不占用硬盘空间,不会在用户端留 下任何拷贝,保护了知识产权,同时提高带宽利用率。流媒体技术是一个综合的技术, 它包括采集、编码、传输、储存、解码等多技术。 3. 本课题研究的意义 视频点播的本质是信息的使用者根据自己的需求主动获得多媒体信息,它区别于信息 发布的最大不同:一是主动性、二是选择性。从某种意义上说这是信息的接受者根据自身 需要进行自我完善和自我发展的方式,这种方式在当今的信息社会中
主要特性: 1、基于ASP+ACCESS/SQL SERVER的技术构建,支持全生成静态文件,加速你的网站访问速度,增强搜索引擎优化; 2、系统全模块化设计,用户可根据自己的实际需要选用相应的模块组建自己的网站即可,快速有效,拆装方便; 3、系统由文章、图片、下载、影视、留言等频道模块,以及友情链接等独立模块组成,用户可根据自己需要选择和安装所需模块,系统同时还提供了模块自定义功能和统一接口,帮助用户进一步扩展现有模块来满足个性化需求,甚至二次开发模块与大家分享; 4、界面和程序分离,模板全部使用文件形式保存,对用户设计模板、网站升级转移均提供很大的便利。高效率页面与标签缓存机制:所有模板样式以缓存文件形式预先加载,有利于提高系统反应速度,降低系统消耗的资源; 5、模板自由化设计,系统通过所提供的模板标签与控制标签的结合使用,可为用户提供完全自由的界面设计平台,用户无须了解ASP程序代码,只要会设计HTML网页就能设计出属于自己风格的系统界面来,可以说做到真正意义上的自由发挥空间; 6、支持独立子域名功能,频道、评论、用户中心等模块可绑定子域名,而且文件独立保存在各自的文件夹下,彻底实现大站点内的独立子站与轻松转移功能,让用户实现建立大型站点的梦想成为可能; 7、强大的多级管理权限控制,让网站多人维护更加轻松。权限分为超级管理员、总管、频道管理员、栏目管理员四种,完全适应各种中小型政府网站、个人网站和普通企业网站的应用; 8、无限频道创建功能,可根据模块无限制创建和复制频道,完全独立设置,独立模版界面; 9、提供API整合接口,可整合主流论坛、博客等软件,轻松实现多个程序紧密结合; 10、支持RSS 2.0; 11、完美的数据备份方案; 12、系统安全,程序代码中设计周密,可自动屏蔽恶意攻击代码,更集成防SQL注入程序。从而可全面防止各种SQL注入攻击手段,并进行记录在案,保证了系统的安全和稳定运行; 13、强大的(信息)采集系统,可采集文章、图片、软件、影视等信息,方便用户系统性的收集信息,使用简单,只需懂点html基础代码即可;支持内容、列表分页采集、多重过滤和内容字符替换:支持远程保存图片、批量入库操作、可预览采集结果; 14、超强的站内评论功能,BBS方式的评论机制,网站的互动性能更加鲜明; 15、方便多样的广告类型,图片广告、FLASH广告、文字广告、JS代码广告多类型提供选择,强力的广告统计支持,可查询展示,被点击的统计数据,同时系统还提供生成JS方式方便用户多站点调用广告; 16、后台操作日志管理,完整记录所有后台操作,可通过日志查出非法操作记录提供证据 17、各频道可JS跨频道,跨站点调用,同时支持生成站点地图,方便搜索引擎搜索; 18、强大的XML缓存机制,不仅运行速度更快、郊率更高,更方便统计查阅; 19、模板引擎简单、易用,采用了XML标记风格,只要懂HTML就可以修改制作模板,只要灵活掌握系统所提供的模板标签和控制标签,让网站设计不再难,网站界面想换就换; 20、为用户提供了方便快捷的用户自定义模块功能,你可以使用该功能量身打造属于自己的功能模块,如招聘、产品展示等; 21、为用户提供开放的开发平台,如果您了解部分二次开发知识,根据系统提供的开发平台和统一接口,即能开发出符合自己需求的功能模块来,并与创易一同来分享你的模块; 22、高效的动态静态页面部署,用户可以在后台栏目中进行统一的设置,也可以对单独某一篇内容进行静态部署。这种静态部署最大的优势在于:1.减少数据库负担、降低人力维护成本;2.利于搜索引擎对网站的友好程度,提高搜索引擎对网站收录量;3.很大程度上提高了用户访问的效率; 23、强健的模块、频道、栏目、专题、信息的权限分配,利用本系统可实现多种用户类型的浏览、发布、管理等权限,让打造多管理模式的大型网站不再成为难题。 新增及升级功能列表: 1.修补用户中心和后台管理中部分文件的注入漏洞; 2.修正用户中心及处理子域名功能时的安全过滤问题; 3.修正后台删除文件时部分出现未正常解析地址情况; 4.增强信息签收功能,使管理,前台显示能直观反映签收的效果
主要特性: 1、基于ASP ACCESS/SQLSERVER的技术构建,支持全生成静态文件,加速你的网站访问速度,增强搜索引擎优化; 2、系统全模块化设计,用户可根据自己的实际需要选用相应的模块组建自己的网站即可,快速有效,拆装方便; 3、系统由文章、图片、下载、影视、留言等频道模块,以及友情链接等独立模块组成,用户可根据自己需要选择和安装所需模块,系统同时还提供了模块自定义功能和统一接口,帮助用户进一步扩展现有模块来满足个性化需求,甚至二次开发模块与大家分享; 4、界面和程序分离,模板全部使用文件形式保存,对用户设计模板、网站升级转移均提供很大的便利。高效率页面与标签缓存机制:所有模板样式以缓存文件形式预先加载,有利于提高系统反应速度,降低系统消耗的资源; 5、模板自由化设计,系统通过所提供的模板标签与控制标签的结合使用,可为用户提供完全自由的界面设计平台,用户无须了解ASP程序代码,只要会设计HTML网页就能设计出属于自己风格的系统界面来,可以说做到真正意义上的自由发挥空间; 6、支持独立子域名功能,频道、评论、用户中心等模块可绑定子域名,而且文件独立保存在各自的文件夹下,彻底实现大站点内的独立子站与轻松转移功能,让用户实现建立大型站点的梦想成为可能; 7、强大的多级管理权限控制,让网站多人维护更加轻松。权限分为超级管理员、总管、频道管理员、栏目管理员四种,完全适应各种中小型政府网站、个人网站和普通企业网站的应用; 8、无限频道创建功能,可根据模块无限制创建和复制频道,完全独立设置,独立模版界面; 9、提供API整合接口,可整合主流论坛、博客等软件,轻松实现多个程序紧密结合; 10、支持RSS2.0; 11、完美的数据备份方案; 12、系统安全,程序代码中设计周密,可自动屏蔽恶意攻击代码,更集成防SQL注入程序。从而可全面防止各种SQL注入攻击手段,并进行记录在案,保证了系统的安全和稳定运行; 13、强大的(信息)采集系统,可采集文章、图片、软件、影视等信息,方便用户系统性的收集信息,使用简单,只需懂点html基础代码即可;支持内容、列表分页采集、多重过滤和内容字符替换:支持远程保存图片、批量入库操作、可预览采集结果; 14、超强的站内评论系统,BBS方式的评论机制,网站的互动性能更加鲜明; 15、方便多样的广告类型,图片广告、FLASH广告、文字广告、JS代码广告多类型提供选择,强力的广告统计支持,可查询展示,被点击的统计数据,同时系统还提供生成JS方式方便用户多站点调用广告; 16、后台操作日志管理,完整记录所有后台操作,可通过日志查出非法操作记录提供证据 17、各频道可JS跨频道,跨站点调用,同时支持生成站点地图,方便搜索引擎搜索; 18、强大的XML缓存机制,不仅运行速度更快、郊率更高,更方便统计查阅; 19、模板引擎简单、易用,采用了XML标记风格,只要懂HTML就可以修改制作模板,只要灵活掌握系统所提供的模板标签和控制标签,让网站设计不再难,网站界面想换就换; 20、为用户提供了方便快捷的用户自定义模块功能,你可以使用该功能量身打造属于自己的功能模块,如招聘、产品展示等; 21、为用户提供开放的开发平台,如果您了解部分二次开发知识,根据系统提供的开发平台和统一接口,即能开发出符合自己需求的功能模块来,并与创易一同来分享你的模块; 22、高效的动态静态页面部署,用户可以在后台栏目中进行统一的设置,也可以对单独某一篇内容进行静态部署。这种静态部署最大的优势在于:1.减少数据库负担、降低人力维护成本;2.利于搜索引擎对网站的友好程度,提高搜索引擎对网站收录量;3.很大程度上提高了用户访问的效率; 23、强健的模块、频道、栏目、专题、信息的权限分配,利用本系统可实现多种用户类型的浏览、发布、管理等权限,让打造多管理模式的大型网站不再成为难题。 默认管理员(前/后台):admin 密码:admin888 初始认证码为:8888 新增及升级功能列表:   使用说明: 针对创易CreateEasy CMS V1.0 SP6版系统的补丁程序,修正Bug及改进功能如下: 1、修正频道、栏目管理员名称标签被解析成了用户ID的标签解析错误; 2、修正留言频道收费模式下支付成功后转向地址错误的问题; 3、修正栏目生成静态后,栏目导航在生成的静态文件与标签替换的结果不匹配; 4、修正编辑器在处理右键图片属性中JS报错现象; 5、修正广告标签中的上传路径干扰问题; 6、改进上传设置中有关文件大小设置没有对精度类型数据的溢出做预处理; 7、修正自定义页面处理当前路径标签的解析错误; 8、修正用户上传头像路径在前台留言模块等特殊频道上的显示问题; 9、修正后台用户组权限设置中的详细设置有关栏目权限分配没最终保存入库的错误; 10、修正用户登陆过程中偶尔出现在线统计ID干扰问题; 11、增加会员登陆标签中会员信息的收件箱信息的标签调用; 12、修正后台管理首页系统信息管理导航升级后的个别链接错误; 13、修正各频道、栏目、专题的Logo或Banner存在上传路径识别干扰问题; 14、增强广告中使用代码方式时添加js代码的处理能力; 15、增强创易CMS系统与动网论坛的进一步整合能力。 使用方法: 1、将原系统文件备份,数据库请一定要做好备份 2、解本补丁压缩包至原系统安装文件夹覆盖原文件,如果您修改过源码,请对照修改。 3、运行Upgrade.asp文件,例如:http://localhost/Upgrade.asp 4、为了系统安全升级完成后一定要删除Upgrade.asp文件。 5、升级成功后,请务必登陆系统后台更新各频道及系统缓存 注意事项: 该补丁针对的是创易CreateEasy CMS V1.0 SP6版系统用户,其他版本用户请升级至SP6系统后使用该补丁!

22,209

社区成员

发帖
与我相关
我的任务
社区描述
MS-SQL Server 疑难问题
社区管理员
  • 疑难问题社区
  • 尘觉
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧