★★★寻求思路,数据增量下载★★★

zsgbox 2007-07-20 11:09:54
本地缓存一表,数据库中原表如果有人变动,需要把变动的更新到本地,不知该如何实现,想为每一条记录添加一更新时间,但添加与编辑都好说,可对方删除了,我就没法判断了,郁闷,请做过的指点一下。还有时间戳是什么,是否可用?
...全文
189 10 打赏 收藏 转发到动态 举报
写回复
用AI写文章
10 条回复
切换为时间正序
请发表友善的回复…
发表回复
zsgbox 2007-07-23
  • 打赏
  • 举报
回复
多谢楼上大侠指点,可我现在数据库是Oracle,我想在本地缓存一个表,用户启动程序时为减少服务器负核,只把更新的数据取过来,变更到本地,您说的我不是太明白,不知道Oracle是否有这种功能?
zsgbox 2007-07-23
  • 打赏
  • 举报
回复
多谢寒雪。
lovesnow1573 2007-07-23
  • 打赏
  • 举报
回复

============Oracle 我不是 很懂!!

这个帖子 都 沉下去了 .再发 一帖吧
zsgbox 2007-07-20
  • 打赏
  • 举报
回复
我的数据库是oracle,那怎么办啊?
yan63 2007-07-20
  • 打赏
  • 举报
回复
如果源表和目的表在同一网络内,可以使用触发器
xuan.ye 2007-07-20
  • 打赏
  • 举报
回复
恩,同上,在web.config配置一下很简单
<caching>

<sqlCacheDependency enabled="true"></sqlCacheDependency>
</caching>
BearRui 2007-07-20
  • 打赏
  • 举报
回复
用2005自带的依赖数据库表的缓存就可以了啊。
lovesnow1573 2007-07-20
  • 打赏
  • 举报
回复

问题 : 客户端尝试更新或删除数据库中的数据,而这些数据自该客户端对他们处理以来,其他客户端已更改了这些数据,或者这些数据早已经被删除了.根本不存在

解决办法 : 关注原始数据的变更,发现与原始数据不同后,通常会触发错误并询问用户希望如何处理, 用户可以选择放弃更改,或是覆盖已更改的数据.

SQL Server 已经处理好在数据库一端的并发处理. 你只需要考虑在程序当中并发处理就行了]

在程序当中 SqlDataAdapter da=......... DataSet ds=........
da.RowUpdate += new SqlRowUpdateEventHandler(this.Issue_rowUpdate);
如果数据集不为空,就开始更新


private void Issue_rowUpdate()
{
//当更新出错 表明有冲突发生
if()
{
//记下冲突
//继续更新
}
}

===========================
你的思路 是 :不关心数据的变更,而只是把数据库中的数据用最后更新的数据重写,这是一种极不负责的表现...

本地有一个数据库..
然后 有一个 ID 表. 用来与 服务器上的 表对应, 保持 数据的一致性

每一个表 都有一个 时间 ..而且还有一个 是否删除字段...
zsgbox 2007-07-20
  • 打赏
  • 举报
回复
楼上的兄弟,我只想要知道怎样获取一个表中变化的数据
lovesnow1573 2007-07-20
  • 打赏
  • 举报
回复
==========
★★★寻求思路,数据增量下载★★★
==========
本地缓存一表,数据库中原表如果有人变动,需要把变动的更新到本地,不知该如何实现,想为每一条记录添加一更新时间,但添加与编辑都好说,可对方删除了,我就没法判断了,郁闷,请做过的指点一=================题目和描述 的不一样啊

.1111111111111数据增量下载: 记住 线程辅助类 BakcGroundWorker
.NET 框架已经提供了一个统一的 异步调用机制,但是在 Windows窗体开发中去不能用.NET 框架2.0 提供了一个新的 控件专门用于异步的 Windows 窗体应用.代码为 Whidbey;
在 .NET 1.1 中 正规使用异步的方法 是使用委托..
222222222222

处理并发: 主要是针对 编辑 和删除.

在.NET 框架中,可以使用数据集(DataSet)和适配器(Adapter)来实现开放式并发.
基于大数据数据分析系统架构 作者:李超宇 来源:《中国新通信》2020年第01期 摘 要:随着"互联网+"时代的发展,人们已经从各种信息数据的使用和接收方变为数据的发 送方,基于大数据的应用日渐成熟,各种行业类型的数据时刻都在产生着,基于大数据 的应用系统就是在如此庞大的数据量的基础上建立的应用系统,系统应当具备强大的数 据处理和分析能力,才能够在海量的数据当中寻求出有价值的数据,为行业发展提供洞 察力和优化行业流程,为决策层提供精准决策,从而使得用户能够掌握庞大的数据信息 资产。基于大数据的应用技术核心优势就是对有价值的数据进行处理和分析,本课题研 究介绍了基于大数据应用技术的数据分析系统架构的实现过程。 关键词:大数据;数据分析;系统架构 在信息时代的今天,各个行业领域都有大量的数据,善于分析利用这些数据, 能够为行业带来巨大的发展空间,甚至能够引起行业的变革,因此基于大数据的应用的 关键技术就是数据分析的系统的架构。 基于大数据的应用的出现,给传统的数据分析系统架构带来了新的挑战,数据 分析是隐藏在应用系统的背后,对于应用分析结果有举足轻重的作用,随着数据挖掘、 探索等技术的发展,基于大数据数据分析系统架构应该侧重解决传统数据分析的三个 瓶颈问题:第一,分布式计算,分布式计算的设计思路是多个节点并行计算,强调的是 数据本地化,数据尽可能少传输。第二,分布式存储,所谓分布式存储就是将一个大文 件拆分为多个小文件分别存储到不同的主机,通过分片式管理技术对文件进行管理。第 三,数据的检索和存储相结合,基于大数据数据分析面临着海量的数据和多种数据类 型,在不规范的数据中进行数据检索。 一、基于大数据的应用系统架构 在Hadoop体系的分布式应用中,基于大数据数据分析应用架构已经和大数据 信息架构互相结合,为各个行业领域在大数据的应用中带来了许多经济价值和数据信息 资产,Hadoop体系采用云计算和分布式的应用技术,能够对大数据进行处理和分析,对 未来大数据的信息中更大价值的数据源进行进一步的数据挖掘,会获得更大的数据潜在 价值。 (一)Hadoop对日志数据处理 目前互联网站点的数量在呈指数级别增长,Web服务器会因为业务量的剧增而生 成庞大的数据日志文件數据,其中包括了网址访问和业务数据流程处理的相关数据,这 些日志文件数据会通过一系列的云计算算法处理后,上传到云端,通过分析处理这些数 据能够反映给整个应用系统的实时运行状态,同时也可以反馈遇到的一系列系统异常问 题。 (二)Hadoop并行处理系统架构 在Hadoop体系的分布式大数据应用中,数据采集模块会将采集到的各种类型的 数据传送到Hadoop的并行处理系统架构中,然后信息数据被保存到HDFS中,传送的数据 会被Hadoop体系中的MapReduce并行计算编程模型作为框架来进行系统化处理,MapRedu ce分布式的并行计算编程模型能够有效地解决数据分布范围大并且零散导致采集难的问 题,这些信息数据会在分析前被分散到各个分节点,然后系统会利用就近原则读取相邻 节点的数据,然后映射数据进行处理分析,经过处理分析后的数据会被再进行数据汇聚 合并,所以基于Hadoop体系的大数据分析应用具备高速、可靠的特点,能够满足大数据数据处理和分析的需求。 二、基于大数据数据分析系统架构 (一)传统的大数据数据分析架构 传统的大数据数据分析架构,传统的BI数据分析,由于数据量和系统性能不能 满足大数据,所以基于此类的数据分析技术上是使用了大数据数据分析组件替换传统 的BI系统组件,保留了大数据的ETL操作,相对解决基于大数据的BI数据分析。整个架构 相对简单易懂,缺点就是缺乏对实时数据分析的支持。 (二)流式数据分析架构 数据在应用过程中全部以流的形式进行分析处理,直接去掉了数据批处理,用 数据通道替换了ETL操作,经过流式数据分析处理加工后的数据,以信息推送的方式推送 给用户,相对于其他数据分析架构,流式架构由于取消ETL操作,所以数据的处理效率非 常高,但是由于没有了数据批处理,没有很好的支撑数据统计和重播,不利于离线进行 数据分析。 (三)Lambda数据分析结构 在大数据分析系统中Lambda架构是比较重要的一种数据分析架构方式,大多数 的架构都是基于这种架构,Lambda架构的数据通道分为两个:实时数据流分析和离线数 据分析,实时数据流的分析架构是流式架构,多数采用增量式计算,保障了数据处理分 析的实时性,离线数据分析就以全量运算的数据批处理为主,保证了数据的一致性。在 Lambda架构的最外层是一个实时和离线的数据分析合并层,这个合并层是Lambda架构的 关键,既集合了实时数据分析和离线数据分析的优点,对于数据分析的应用比较广泛, 适合于对实时数据分析和离

110,570

社区成员

发帖
与我相关
我的任务
社区描述
.NET技术 C#
社区管理员
  • C#
  • Web++
  • by_封爱
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧