数据采集

paul2002 2006-03-15 11:02:31
请教各位：
有这么一张表：
TIME,DATA1,DATA2,.....
这张表有某个程序在不停的往里插数据，但是不一定按时间顺序，就是说有可能插第二条数据的TIME比插第一条数据的TIME要早。
请问，另外一个程序要采集这张表里的数据，怎样设计程序能保证采集到数据的完整性并且要求实时性也要好？
3x
...全文
118 13 打赏 收藏 转发到动态 举报
写回复
用AI写文章
13 条回复
切换为时间正序
请发表友善的回复…
发表回复
paul2002 2006-03-17
  • 打赏
  • 举报
 回复
原来的表我不可能动的
paul2002 2006-03-16
  • 打赏
  • 举报
 回复
TIME,DATA1,DATA2,.....
wing_er 2006-03-16
  • 打赏
  • 举报
 回复
表中最好有ID字段 这是数据库设计的问题
然后insert into tableA (col....) SELECT (col...) from tableB where tableB.idCol not in (select tableA.Col from tableA)
paul2002 2006-03-16
  • 打赏
  • 举报
 回复
用解发器的话会影响原来数据库的插入的速度
paul2002 2006-03-15
  • 打赏
  • 举报
 回复
up
paul2002 2006-03-15
  • 打赏
  • 举报
 回复
这里的TIME是数据本身带的时间，不是插入时间
elite01 2006-03-15
  • 打赏
  • 举报
 回复
你可以把表结构贴出来，让各位看看
paul2002 2006-03-15
  • 打赏
  • 举报
 回复
我目前只能根据LASTIME和CURRENTIME进行时间段递增，并且把LASTIME往前一段放来保证不漏数据，但这样会有重复，就要判断，影响了实时性
paul2002 2006-03-15
  • 打赏
  • 举报
 回复
to hxshaou(晓子):
问题是读过来的数据我还要做很多过滤
paul2002 2006-03-15
  • 打赏
  • 举报
 回复
谢谢elite01(极度)，
我说的完整性是指采集的时候不漏掉纪录。
这张表和第一个程序是我无法控制的，只能读
hxshaou 2006-03-15
  • 打赏
  • 举报
 回复
用解发器比较好一些
elite01 2006-03-15
  • 打赏
  • 举报
 回复
数据完整性是数据库自己保证的事。
实时性，你可按TIME排序在采集前。
paul2002 2006-03-15
  • 打赏
  • 举报
 回复
是我没说清楚吗？
BackTrader从数据采集到实盘交易
《从编程小白到量化宗师之路》系列课程是一套综合性实战课程，涵盖股票，期货，虚拟货币等的交易方法和策略手段。 《BackTrader从数据采集到实盘交易》是本系列的第一个中级课程。本网站的课程宗旨是缩短个人或小型投资者与大型机构投资者之间的的差距。 课程内容从python环境的安装开始使用，到股票数据采集，BackTrader开源回测软件的应用，并包含一套机构常用策略的讲解和实现。与市面上的其他理论课程不同，本课程注重实战，学员上课后，将可以达到自动化更新每日股票数据，自动化选股，自动化提示股票交易的的时机的目标。在3000种股票的中国市场，您将有获得现代化高科技力量的强力支持。
ZDH大数据采集平台-采集mysql数据到hdfs
目录 项目源码 创建mysql数据源 创建本地hdfs数据源 配置采集任务 配置调度 点击执行记录查看具体日志 高级使用 项目源码 数据采集平台管理端 https://github.com/zhaoyachao/zdh_web 数据采集平台服务 https://github.com/zhaoyachao/zdh_server web端在线查看 http://zycblog.cn:8081/login 用户名：zyc 密码：123456 界面只是为了参考功能,底层的数据.
数据采集—数据采集技术
数据采集技术 综述 数据采集是大数据产业的基石。 数据采集的重点不在于数据本身，而在于如何才能解决数据运营中的实际商业问题。通过对数据采集技术获取的高质量数据的分析和挖掘，得到的结果对决策行为具有较高的指导性作用 数据采集的定义 数据采集，又称数据获取，是利用一种程序或装置从系统外部采集数据，经过数据清洗，最终输入到存储系统中。 数据采集的特点 自动化：以高自动化的方式采集并存入 全面化：涵盖了全量采集和增量采集，不对数据采样 多样化：采集方式不单一 丰富化：采集的数据丰富，不只有基本的数据 数据的类型
3.1数据采集（一） - 数据采集的步骤与方法
简介数据采集就是搜集符合数据挖掘研究要求的原始数据（Raw Data）。原始数据是研究者拿到的一手或者二手资源。数据采集既可以从现有、可用的无尽数据中搜集提取你想要的二手数据，也可以经过问卷调查、采访、沟通等方式获得一手资料。不管用哪种方法得到数据的过程，都可以叫做数据采集。一句话解释版本：数据采集就是怎么获得原始数据，如果把数据采集看成吃饭，自己撸起袖子做饭就是用一手数据，点外卖就是用二手数据。...
数据采集学习心得
通过数据采集，我们可以获取到各种各样的数据，包括市场数据、用户数据、竞争对手数据等等。通过数据采集，我们可以获取到各种各样的数据，包括文献数据、实验数据等等。爬虫技术可以应用于各种各样的数据采集场景，包括网页数据采集、图片数据采集、视频数据采集等等。第三方数据采集工具的优点是可以提高数据采集的效率，但是需要付费使用。比如，在采集用户数据的时候，需要遵守相关的隐私政策。在进行数据采集的过程中，需要保证数据的准确性。数据采集的方法有很多种，下面我将介绍几种常见的数据采集方法。三、数据采集的注意事项。
数据库相关

2,498

社区成员

88,445

社区内容

发帖
与我相关
我的任务
社区描述
Delphi 数据库相关
社区管理员
  • 数据库相关社区
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章