如何区分存量数据和增量数据，是通过主键ID，还是通过时间？
这个接口是对外的，外部客户调用该接口，不定期的把增量数据同步到我们的数据库中，要保证新插入的数据记录既不能多也不能少，既不能重复，也不能遗漏。
最好能给出示例代码，谢谢大家！
-
等级
本版专家分：0结帖率 85.71% -
使用Java语言开发一个接口程序，用来获取增量数据，请问这个接口应该如何设计，输入参数和输出参数分别是什么？
如何区分存量数据和增量数据，是通过主键ID，还是通过时间？
这个接口是对外的，外部客户调用该接口，不定期的把增量数据同步到我们的数据库中，要保证新插入的数据记录既不能多也不能少，既不能重复，也不能遗漏。
最好能给出示例代码，谢谢大家！展开阅读全文
-
等级
本版专家分：27108 -
这个得根据实际情况，如果数据只有插入操作，类似于日志那种的，用id就可以了。如果数据还存在修改、删除等操作，那建议加一个版本字段，每次获取的时候带上版本号，版本号每次都自动往上递增，当有修改或者删除（逻辑删除）的时候记录版本号。这样可以根据版本号进行查询。
-
等级
本版专家分：5703 -
/**
* 合并数据，insert和update，主键可以多个
*
* @param dbset 数据库配置
* @param table 表名
* @param list 数据源
* @param targetMain 表的主键
* @param targetColumn 表的所有列(包含主键)
* @param sourceMain 数据源的主键
* @param sourceColumn 数据源中所有列(包含主键)
* @throws Exception 捕获异常
*/
public static void merge(DatabaseSet dbset, String table, List<Map<String, Object>> list, List<String> targetMain, List<String> targetColumn,
List<String> sourceMain, List<String> sourceColumn) throws Exception {
if (Database.saphana.equals(dbset.database())) {
String sql = SqlUtil.insert(dbset, table, targetColumn).replaceAll("insert into", "upsert") + SqlUtil.joinMain(dbset, targetMain);
sourceColumn.addAll(sourceMain);
BatchUtil.manage(dbset.connect(), sql, list, sourceColumn);
return;
}
List<String> sourceUpdateColumn = new ArrayList<String>();
for (String s : sourceColumn) {
if (!sourceMain.contains(s)) {
sourceUpdateColumn.add(s);
}
}
sourceUpdateColumn.addAll(sourceMain);
String insert = SqlUtil.insert(dbset, table, targetColumn), update = SqlUtil.update(dbset, table, targetColumn, targetMain);
List<Map<String, Object>> inserts = new ArrayList<Map<String, Object>>(),
updates = split(dbset, list, inserts, table, targetMain, sourceMain);
Object[] values = { inserts.size(), updates.size() };
log.info(EntityUtil.toJson(EntityUtil.create(Map.class, new String[] { "insert", "update" }, values, false)));
if (updates.size() > 0) {
manage(dbset.connect(), update, updates, sourceUpdateColumn);
}
if (inserts.size() > 0) {
manage(dbset.connect(), insert, inserts, sourceColumn);
}
}
-
等级
本版专家分：89238勋章
-
- 签到王者 累计签到获取，不积跬步，无以至千里，继续坚持！
-
- GitHub 绑定GitHub第三方账户获取
-
- 进士 2019年总版新获得的技术专家分排名前十
-
-
金牌
2020年8月 总版技术专家分月排行榜第一
2020年7月 总版技术专家分月排行榜第一
2020年6月 总版技术专家分月排行榜第一
2020年5月 总版技术专家分月排行榜第一
2020年4月 总版技术专家分月排行榜第一
2020年3月 总版技术专家分月排行榜第一
-
-
这个就要看你是想用什么方式来同步数据（主要是跟外部客户协调好）
我这边刚完成的一个on-premise到cloud的移植项目是以文件的方式（因为考虑到数据量可能很大）来同步增量数据的。也就是客户不定期的抽取增量数据（以时间戳为准，当然，如果你的主键ID是自动递增，用主键ID也可以）做成文件，上传到我这边的服务器，服务器监视到新文件就触发batch执行，把文件数据插入数据库。
新插入的数据记录既不能多也不能少，既不能重复，也不能遗漏，要保证这点，主要还是看你的实现方式了。我这边的做法是客户抽取数据的时间戳比上次抽取结束的时间戳稍往前一点（即抽出的数据做成的文件会有少量重复数据），batch的这边插入的时候过滤掉重复的数据。
-
等级
本版专家分：3715 -
如果楼主没表达错误，并且我也没理解错的话，情况应该是：
1、你开发一个接口，给客户调用
2、数据本来是在客户那里，他定期通过调用接口，把增量数据传到你的平台上来
3、你保存增量数据
这种需求，建议：
1、开放一个 http 接口，让对方用 http 协议，以 json 的方式把数据发给你，当然也要考虑身份认证之类的问题
2、数据要有主键，如果客户不肯给主键，那也至少要有一个或者几个字段能够唯一确定一条记录，也就是候选键，这样才能确定发过来的数据，你是要进行更新还是进行插入
3、你收到数据时，最好给客户平台的充足的响应信息，比如对方发了100条过来，每条记录处理结果，如插入、更新、失败，这样便于对方重发。如果这样处理不方便，那么至少这100条数据的整体处理结果要响应给对方。
4、要考虑意外情况，比如客户发数据给你时，正好你的服务器当机，或者路由器死机、机房停电之类的非可抗因素造成的数据接收不了。这时你应该要求对方要有失败重发机制。
-
等级
本版专家分：3715
-
还有简单点的办法是，你们订个数据格式，然后你开个 ftp 服务器，对方把数据传到你的FTP服务器上来，然后你定期扫描有没有新文件
-
等级
本版专家分：23504
-
一般会建几张表来存放相关数据。
1. 接口请求表，每次调用接口都要进行记录，客户端的id，调用时间，传输的数据量（数据记录的条数），传输批次号（可以取自增主键的值，也可以自定义），传输的数据类型（用于不同类型的数据，服务端进行不同方式的处理，也就是多态）等等。
2. 接口数据表，存放每次接口传输的数据以及数据的处理状态，是做批量插入操作的，将1表中的批次号也带上，方便数据追踪，当每条数据处理完成后，更新数据状态。随着时间的推移，表长度会增加，后期考虑数据迁移，或者数据销毁。
接口设计思路。
1. 要确定一次请求是传输一条记录，还是一次请求传输多条记录（多条记录时要设置最大传输条数）。
2. 请求的数据中需要一个唯一标识一条记录的字段（也可以是多个字段组合形成的，业务逻辑上能够标明一条数据的ID值），用于区分是否是重复传输的数据。
3. 请求数据是否有认证的需求，防止外来其他目的的数据进行非法提交。一般是通过融入tocken来进行认证。
4. 请求数据是否有验证的需求，以防数据在传输过程中被别人拦截，更改后再传入服务器。一般是通过对数据和客户端ID之类的数据进行MD5（数字签名）后放入请求记录中，服务端采用相同算法进行验证。
5. 请求的数据是否有加密的需求，防止数据传输过程中，被第三方机构或者程序查看，造成数据泄露。
6. 上述接口的设计思路是采用推送的方式，由客户端不定时的推送的，所以，会要求客户端对推送的数据，采用失败重传的机制，方式数据丢失，服务端接收数据，要区分出哪些是重传的数据才行。
7. 推送方式的接收数据，会有一个服务端过载的问题，如果同时接收的数据过大，服务端有时候会处理不过来，造成客户端推送任务的超时等异常，所以，如果可能，服务端最好是有一个判断服务端负载状况的方案，当服务端过载时，不做数据处理，直接告诉客户端，稍后再试。
8. 应答数据内容，一般情况下会包含错误代码和文字解释。在接口协议的文档里面，会有一个附录，里面有错误代码表，说明，什么样的错误代码，表示什么场景下的错误。客户端可以根据错误代码，完善业务流程。
以上是楼主说的推送的方式进行数据传递。
其实，还可以拉取的方式，就是，服务器定时轮询各个数据源，如果它们有增量数据就顺便传输过来，如果没有，就应答一个没有的代码给你。
-
等级
本版专家分：1463勋章
-
- 技术圈认证 用户完成年度认证，即可获得
-
- 签到达人 累计签到获取，不积跬步，无以至千里，继续坚持！
-
-
这个肯定要通过ID来区分，时间的话不靠谱，可能某段时间传来的是几天前漏传的数据
-
等级
本版专家分：0勋章
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
-
我感觉楼主最大的问题是如何定义增量，不是什么如何定义接口，什么数据库，什么json，什么http等。所以如何定义增量才是前提。这些要根据实际业务情况才能定义什么是增量数据。
-
等级
本版专家分：5703
-
既然是别人调用接口推送数据过来做增量，就定义一个String类型的参数，接收一个JSONArray格式的字符串，再把这个JSONArray格式的字符串转成List<Map<String, Object>>，这不就是增量数据么，再调用我那个方法把数据合并到数据库，就搞定了
全量也是一样，无非就是数据多一点，如果数据量特别大，就让对方多调几次接口
如果源数据删除也要同步，就再定义一个String类型的参数，接收一个JSONArray格式的字符串，再根据这个参数值做delete就行
出于安全考虑，接口最好做验签
-
等级
本版专家分：16494勋章
-
- GitHub 绑定GitHub第三方账户获取
-
-
红花
2018年5月 Java大版内专家分月排行榜第一
2018年4月 Java大版内专家分月排行榜第一
-
-
黄花
2019年8月 Java大版内专家分月排行榜第二
2019年6月 Java大版内专家分月排行榜第二
2019年1月 Java大版内专家分月排行榜第二
2018年11月 Java大版内专家分月排行榜第二
2018年7月 Java大版内专家分月排行榜第二
2018年6月 Java大版内专家分月排行榜第二
-
-
蓝花
2018年3月 Java大版内专家分月排行榜第三
2018年2月 Java大版内专家分月排行榜第三
2018年1月 Java大版内专家分月排行榜第三
-
-
新增修改有保存最新时间的话,可以传时间戳,但这个得客户端自己维护时间戳,这样才是最稳妥的,毕竟是否同步成功也就客户端清楚,而不是服务端,也保证了灵活度和容错空间
- 积分墙广告平台接入指路
我主要是接入过积分墙，用过20多家广告平台的sdk，各家各有特点，总结起来就3家广告平台的积分墙比较好，分别是有米、多盟、点乐。 有米的积分墙任务比较多，游戏广告基本激活单价是1元，试用时间到达后有sdk提醒，...
- 通过百度定位sdk获取实时位置
之前有一片关于基站定位的文章，当时的测试环境是小米+移动，比较顺利。 但在实际运用中就出现问题了-联通和电信的号完全没办法定位！ 最好的解决方法就是用第三方sdk来定位了。 百度的定位sdk还是很不错的，可以...
- Android SDK根目录中的SDK Manager.exe双击打不开，为什么？
本文记录一个小问题，就是“双击Android SDK根目录中的SDK Manager.exe文件后没反应，打不开SDK下载管理界面”。这个问题曾经坑绕我很久，总以为是更新SDK时损坏或缺少了什么，而导致我删除整个SDK目录，重新下载。...
- unable to access android sdk add-on list
你也可以查看我的其他同类...造成这个问题的原因可能有多种，下面两种方法，我亲自测试后可用，如果都不行，请在评论里告诉我，我会尽快帮你分析解决。左侧的文章分类中，Android Studio编译构建错误记录了我开发中遇
- sdk manager打不开闪退问题完美解决2017年最新方法
这几天更新了android studio和sdk，结果sdk manager怎么也打不开，eclipse也不能用了，这个很郁闷，于是到网上找到了以下方法，结果都失败了，具体看看哪些方法，我尝试了 (1)重新安装jdk，让路径没中文没有空格，...
- Android关于sdk 版本不兼容解决方案
首先看小效果，我编译一下，突然就这样了好慌 ，吓得我出了一身冷汗，然后冷静下来 看了 message 原来是本版本不一致 开始是这样的然后看了下build.gradle 好吧我绝望了 ，怎么办 ，宝宝不会弄啊！然后截图发群里，...
- [JCoreGlobal] Get sdk version fail![获取sdk版本失败!]
android studio集成...[获取sdk版本失败!]错误原因：.so加载错误解决方法：android studio打包加载.so 两种方式。 第一种，把so放在 module/src/main/jniLibs里面，在gradle配置中不用指定。 第二种，在gradle配置中
- 微信接入js-sdk-获取地理位置，打开微信内置地图
2. 引用微信js-sdk, http://res.wx.qq.com/open/js/jweixin-1.0.0.js，然后通过config接口注入权限验证配置。先在自己的服务器上写个获取数据的接口： /** * 获取页面需要的配置信息的参数 *
- Android Studio配置环境不成功（SDK相关文件下载不下来）！！！
AS软件安装并不困难，但是在配置SDK环境的时候，由于相关文件都是从Google服务中获取，而国内又有限速的问题，导致文件（整个SDK文件相当大）下载不下来，AS软件一直报错，安装不成功，真的很烦！！！ 由本人亲身...
- Android SDK无法下载，ADT官网无法打开解决方法
SDK 问题建议移步：http://www.androiddevtools.cn/ -------------------------------------------------------------
- Android：极光推送集成注意要点——解决：Get sdk version fail![获取sdk版本失败!]解决方案
SDK集成步骤 导入 SDK 开发包到你自己的应用程序项目 解压缩 jpush-android-release-2.x.y.zip 集成压缩包。复制 libs/jpush-sdk-2.x.y.jar 到工程 libs/ 目录下。复制 libs/(cpu-type)/libjpush2xy.so 到你的...
- VS 2017新建项目编译时出现 找不到 ...请安装所需的版本的 Windows SDK 或者在项目属性页的问题解决方案
遇到这个问题，通常要安装所需的版本的 Windows SDK 或者在项目属性页中或通过右键单击解决方案并选择“重定解决方案目标”来更改 SDK 版本。 首先，可以点击项目解决方案更改 SDK 版本来解决。 如果上面步骤...
- iOS集成微信支付问题, 友盟SDK有干扰或者说是冲突的解决
原因描述: 由于前期的app开发由外包完成, 所以并不清楚项目中用的友盟SDK的版本. 导致在集成微信支付时, 调起微信app并没有反应, 或者说是调起失败. 解决办法: 使用微信支付SDK1.6.2重新导入项目, 但是这里由于...
- SDK对接遇到的问题与解决
了解接入sdk的需求，然后把文档上说明的需要添加的资源文件，依赖库，jar包等添加到接入项目中，修改Manifest清单文件（根据需求添加权限，api最低版本号，application内容与继承，注册activity等） 然后我们主要做...
- sdk manager 打不开
解决方法1： 提示 [SDK Manager] Failed to convert path to a short DOS path: C:\windows\system32\java.exe 打开tools\lib\find_java.bat文件,找到 for /f %%a in ('%~dps0\find_java.exe -s') do set java_...
- Android 手机app三种方法获取定位地址（自带API，外接SDK，获取外网IP）
一、手机App定位在我看来有三种方法：1.通过Android自带的API:LocationManager获取到经纬度，再通过Geocoder反地理位置查询到所在的地址。2.外接SDK，如高德SDK，百度SDK直接获得到经纬度和地址3.通过外部接口获取到...
- 【Android环境】SDK Platform Tools component is missing!
今天没事升级了一下ADT 8.0.0工具， ...其实这是由于 ADT工具版本 与 Android SDK Platform-tools Version不匹配造成的， 解决办法就是升级ADT插件的同时， 升级Android SDK Platform-tools Version。(不是Andro
- Android 获取应用当前 targetSdkVersion
有时候会根据targetSdkVersion 来处理不同版本的逻辑问题，获取当前的targetSdkVersion 如下： int sdkVersion = this.getApplicationInfo().targetSdkVersion;
- Android Studio配置本地SDK
Android Studio配置本地SDK 问题一：Android Studio报错：SDK does not contain any platforms. 解决方法：本地SDK应放到名为platforms的外层文件夹内。 例子：D:\SDK\platforms… （选择路径时选取到SDK文件夹...
- Android中广告渠道SDK接入方法
其实这些广告渠道的接入都是大同小异的，基本上都有广告条、有积分无积分墙、插播广告等，通过多种形式来让开发者展示广告 。国内的移动开发者都知道，做收费软件是不可行的，因为国内普遍的用户都不太愿意掏钱去买...
- 解决部分sdk manager打不开的的问题
解决部分sdk manager打不开的的问题有时候遇到sdk manager打不开的问题，或者点击一闪就没有反应了， 解决办法： 大部分是因为tool文件夹内文件损伤导致。重现下载一个too文件夹复制覆盖原有文件。 或者从之前...
- Android Studio安装与SDK配置
Android Studio安装和sdk配置！
- 百度定位SDK实现获取当前经纬度及位置
经常会有获取的location为null的情况，并且操作起来也不是很方便，在这个Demo里我使用了百度地图API中的定位SDK，可以一次性获取当前位置经纬度以及详细地址信息，还可以获取周边POI信息，同时可以设定位置通知点，...
- 解决Android studio安装过程中出现SDK tool Directory is missing 的问题
楼主在安装android studio结束后仍无法开始创建一个新的项目，提示没有配置sdk tool，于是点进来，在盘里建一个空的文件夹AndroidSdk，选择此文件夹后弹出SDK tool Directory is missing。如下图解决步骤1.安装sdk ...
- 集成百川SDK遇到的问题及解决过程
个SDK合并起来，期间花了两三天功夫才把所有问题解决完，趁今晚把问题总结一下问题总结由于我是问题解决完了才总结的，期间很多问题都忘了，翻自己上网历史记录才找到的，所以很多都忘了，只能想起来再加。...
- 安装 Windows SDK for Windows 7 时遇到的一个问题及解决办法
最近试着用 VS2010 + Qt 开发程序，发现 VS2010 里面没有提供单独的调试器 cdb，这样用 Qt Creator 时就无法设置断点调试，很不方便。想起 Windows SDK for Windows 7 中是有cdb。因此就将 Windows...
- Android SDK下载失败的解决方法
Android SDK下载失败的解决方法 图1 在下载过程中，Android SDK Manager Log中出现下面出错信息： Preparing toinstall archives DownloadingAndroid SDK Platform-tools, revision 20 ...
- 【Android】解决微信调起支付接口没反应，调不起来微信的问题
前言吐槽一下，微信支付的sdk真难用，文档混乱，坑不少。可能引起这种情况的问题1. 最不能出现的你的APPID和商户号写错了。appid是你open.weixin.qq.com里你设置的应用的id。2. 最可能出现的你应用的签名弄错了，...
- android使用高德地图SDK获取定位信息
高德地图获取定位信息配置要比百度地图简单多了，这是我比较喜欢的一点，而且之前用百度地图嵌入一个应用时，有的手机可以定位成功，有的却无法启动定位。言归正传，第一步，我们需要下载SDK：...
- Windows SDK与Platform SDK的区别
原文URL: http://forums.microsoft.com/MSDN/ShowPost.aspx?PostID=1986681&SiteID=1概述：Windows SDK已经取代了Platform SDK。...问题1：什么是Windows SDK？Windows SDK是用来支持32位和64位Windows平台以及.NET