java在断网时操作时使用的是本地的数据库,连网时更新到云端数据库

[java程序员0.0]

最近遇到了一个奇葩的需求,用springboot做的一个javaweb项目后面老板说要在断网时也能使用,并且还要将数据传到云端的数据库里做,不知道各位大佬有什么办法可以解决一下,最好使用java实现能够带源码,解决后私聊我可微信支付宝谢谢!

[小灰狼]

引用 43 楼 ITjavaman 的回复:

这位兄台，难道我就不能在客户端服务端部署一个服务么？？ 而且人家场景大概说明了是店铺 ？？？？ 有问题？？？

OK！ It's a good idea! 但是如此一来，工作量会蛮大的，复杂度也高了很多，客户端的部署、版本发布、版本更新也很麻烦！ 刚开始听楼主说的，以为这是老板脑袋一拍提出来的需求。不过，既然是门店的项目，这个功能还真不能少！ 按兄台的思路，本人感觉客户端的Web服务应尽量简单，以减少客户端服务的版本更新次数。客户端浏览器全部直接访问本地服务，然后由本地服务进行转发，即所谓的透明传输。如果转发并且重试失败，认为断网，转为进行本地逻辑处理。必须确定有些服务断网后不能处理，比如门店无货，需要从其他门店调货，断网后不可能知道其它哪些门店的库存情况。

[78]

哎。。 客户端做一个web服务，不管有网没网，先写到本地数据库里。然后再做一个计划任务，负责更新和同步就行了

[砖头Z]

参考现在的手游模式吧，还有要考虑的数据校验真实完整性

[dv_zheng]

感谢分享！！

[java程序员0.0]

引用 49 楼 78 的回复:

哎。。
客户端做一个web服务，不管有网没网，先写到本地数据库里。然后再做一个计划任务，负责更新和同步就行了

就是这么个理念,现在就是不知道该怎么实现这个本地数据库更新到云端

[java程序员0.0]

引用 38 楼 liaosnet 的回复:

其实这个是数据库同步功能。。
所有操作都在本地进行，然后数据库数据在有网的情况下，同步到云。。
这个需求，你需要问的是数据库解决方案。

是的不知道大哥有什么解决的方案没有

[java程序员0.0]

引用 45 楼 不知有熊 的回复:

请先厘清需求

根据我的经验, 老板想做的应该是, 断腕以后依然能使用系统

这种需求不是没有, 常见的超市的收银系统都会有这种离线销售的概念, 这个是有历史背景的: 0几年的时候那时候网络设施还没现在那么好, 断网概率比较高

另外, 提一下, 离线并没有那么好做, 开发成本非常高

是的,关键是一般能实现本地大部分都是不需要传输数据到云端的

[dmankill]

引用 59 楼 java程序员0.0 的回复:

[quote=引用 36 楼 Farmermark993 的回复:] [quote=引用 35 楼 java程序员0.0 的回复:] [quote=引用 33 楼 Farmermark993 的回复:] 数据需要一致，设计好同步机制就好了，总部查询下面的店铺，每个店铺只需要管理好自己的数据就行，可以分为两步，一是每笔交易按店铺按规则生成唯一id，考虑离线，建议使用雪花算法，按一定规则划分，方便后期做统计。二是实现数据同步逻辑，需要考虑两个问题，一是网络异常处理，重试，可以参考rocketmq的重试机制，二是数据一致性保证，可以设计简单的对账逻辑，批次对账。仅供参考，不确定是都对业务理解有偏差

现在的问题就是断网后本地的数据跟云端的无法达成相同 [/quote]本地肯定要独立部署或内嵌数据库，断网才能使用，联网再同步数据[/quote] 关键就是联网后该怎么做才能保持数据的同步,而且门店不止有一个,四五个门店在上传一个的时候还不能出现脏数据[/quote]

引用 53 楼 java程序员0.0 的回复:

[quote=引用 49 楼 78 的回复:] 哎。。 客户端做一个web服务，不管有网没网，先写到本地数据库里。然后再做一个计划任务，负责更新和同步就行了

就是这么个理念,现在就是不知道该怎么实现这个本地数据库更新到云端[/quote] 我原来做设备的,当设备在没有网络的情况下本地记录采集到的信息等有网后再批量提交到服务器,服务器进行解析与保存

[java程序员0.0]

引用 62 楼 dmankill 的回复:

[quote=引用 59 楼 java程序员0.0 的回复:]
[quote=引用 36 楼 Farmermark993 的回复:]
[quote=引用 35 楼 java程序员0.0 的回复:]
[quote=引用 33 楼 Farmermark993 的回复:]
数据需要一致，设计好同步机制就好了，总部查询下面的店铺，每个店铺只需要管理好自己的数据就行，可以分为两步，一是每笔交易按店铺按规则生成唯一id，考虑离线，建议使用雪花算法，按一定规则划分，方便后期做统计。二是实现数据同步逻辑，需要考虑两个问题，一是网络异常处理，重试，可以参考rocketmq的重试机制，二是数据一致性保证，可以设计简单的对账逻辑，批次对账。仅供参考，不确定是都对业务理解有偏差

现在的问题就是断网后本地的数据跟云端的无法达成相同
[/quote]本地肯定要独立部署或内嵌数据库，断网才能使用，联网再同步数据[/quote]
关键就是联网后该怎么做才能保持数据的同步,而且门店不止有一个,四五个门店在上传一个的时候还不能出现脏数据[/quote]

引用 53 楼 java程序员0.0 的回复:

[quote=引用 49 楼 78 的回复:]
哎。。
客户端做一个web服务，不管有网没网，先写到本地数据库里。然后再做一个计划任务，负责更新和同步就行了

就是这么个理念,现在就是不知道该怎么实现这个本地数据库更新到云端[/quote]
我原来做设备的,当设备在没有网络的情况下本地记录采集到的信息等有网后再批量提交到服务器,服务器进行解析与保存[/quote]
不知道当时是用的是吗技术做的?

[java程序员0.0]

引用 61 楼 ocean_aa 的回复:

怎么做不了？很简单的一个事，你虚拟一个数据库连接层，每过一秒向运端库发送一个心跳，判断是否连通，直正连接时根据刚才那个判断就行了。如果还解决不了加q394767204

在断网的过程中所操作的数据保存在那,该怎么上传到云端

[dmankill]

引用 63 楼 java程序员0.0 的回复:

[quote=引用 62 楼 dmankill 的回复:] [quote=引用 59 楼 java程序员0.0 的回复:] [quote=引用 36 楼 Farmermark993 的回复:] [quote=引用 35 楼 java程序员0.0 的回复:] [quote=引用 33 楼 Farmermark993 的回复:] 数据需要一致，设计好同步机制就好了，总部查询下面的店铺，每个店铺只需要管理好自己的数据就行，可以分为两步，一是每笔交易按店铺按规则生成唯一id，考虑离线，建议使用雪花算法，按一定规则划分，方便后期做统计。二是实现数据同步逻辑，需要考虑两个问题，一是网络异常处理，重试，可以参考rocketmq的重试机制，二是数据一致性保证，可以设计简单的对账逻辑，批次对账。仅供参考，不确定是都对业务理解有偏差

现在的问题就是断网后本地的数据跟云端的无法达成相同 [/quote]本地肯定要独立部署或内嵌数据库，断网才能使用，联网再同步数据[/quote] 关键就是联网后该怎么做才能保持数据的同步,而且门店不止有一个,四五个门店在上传一个的时候还不能出现脏数据[/quote]

引用 53 楼 java程序员0.0 的回复:

[quote=引用 49 楼 78 的回复:] 哎。。 客户端做一个web服务，不管有网没网，先写到本地数据库里。然后再做一个计划任务，负责更新和同步就行了

就是这么个理念,现在就是不知道该怎么实现这个本地数据库更新到云端[/quote] 我原来做设备的,当设备在没有网络的情况下本地记录采集到的信息等有网后再批量提交到服务器,服务器进行解析与保存[/quote] 不知道当时是用的是吗技术做的?[/quote] 你要记录你发送失败的数据很简单吧,如果发送服务器失败就把发送失败的数据记录到本地数据库,后台开个job检查网络状态,当与云端是联通的状态就把存储在本地的发送失败过的数据批量发送过去 如果碰到是抽奖这种按照实际情况来做比如强制要求门店联网

[RockeyCui]

引用 39 楼 dmankill 的回复:

同时开发本地端跟服务端,各自连接自己的库
本地记录要同步的数据,等有网时打包推送到服务端服务端接收后保存到云数据库

如果门店的操作全都是自己的本地数据，这种没有问题，如果用到了云数据库的信息，那就麻烦了。比如简单的抽奖，如果是限制所有门店抽奖人数100人，这时候如果一个门店断网了，他如何拿到剩余获奖人数呢？如果没有这样的场景，写线程同步任务也够麻烦的，断网的那一刻就得记录系统作了哪些操作了，推荐你记录断网时间和恢复网的时间点，记录这段时间的 bindlog，然后发送到云数据库执行。但是呢，如果同时有1个以上的门店断网，你就不能保证这多段 bindlog 执行后会不会产生脏数据咯。总之，奇怪的需求。

[java程序员0.0]

引用 56 楼 RockeyCui 的回复:

[quote=引用 39 楼 dmankill 的回复:]
同时开发本地端跟服务端,各自连接自己的库
本地记录要同步的数据,等有网时打包推送到服务端服务端接收后保存到云数据库

如果门店的操作全都是自己的本地数据，这种没有问题，如果用到了云数据库的信息，那就麻烦了。比如简单的抽奖，如果是限制所有门店抽奖人数100人，这时候如果一个门店断网了，他如何拿到剩余获奖人数呢？如果没有这样的场景，写线程同步任务也够麻烦的，断网的那一刻就得记录系统作了哪些操作了，推荐你记录断网时间和恢复网的时间点，记录这段时间的 bindlog，然后发送到云数据库执行。但是呢，如果同时有1个以上的门店断网，你就不能保证这多段 bindlog 执行后会不会产生脏数据咯。总之，奇怪的需求。[/quote]
怎么说的话还是没办法解决这个问题,哪怕是万分之一的可能性真的出现了一个以上的门店断网那样的话光是数据就够头疼的了

[java程序员0.0]

引用 40 楼 唐明黎 的回复:

你问问老板，他家不联网能打开网页吗。

这个例子个老板举过了没用,人家就是要这效果

[java程序员0.0]

引用 36 楼 Farmermark993 的回复:

[quote=引用 35 楼 java程序员0.0 的回复:]
[quote=引用 33 楼 Farmermark993 的回复:]
数据需要一致，设计好同步机制就好了，总部查询下面的店铺，每个店铺只需要管理好自己的数据就行，可以分为两步，一是每笔交易按店铺按规则生成唯一id，考虑离线，建议使用雪花算法，按一定规则划分，方便后期做统计。二是实现数据同步逻辑，需要考虑两个问题，一是网络异常处理，重试，可以参考rocketmq的重试机制，二是数据一致性保证，可以设计简单的对账逻辑，批次对账。仅供参考，不确定是都对业务理解有偏差

现在的问题就是断网后本地的数据跟云端的无法达成相同
[/quote]本地肯定要独立部署或内嵌数据库，断网才能使用，联网再同步数据[/quote]
关键就是联网后该怎么做才能保持数据的同步,而且门店不止有一个,四五个门店在上传一个的时候还不能出现脏数据

[Forevermark993]

引用 59 楼 java程序员0.0 的回复:

[quote=引用 36 楼 Farmermark993 的回复:] [quote=引用 35 楼 java程序员0.0 的回复:] [quote=引用 33 楼 Farmermark993 的回复:] 数据需要一致，设计好同步机制就好了，总部查询下面的店铺，每个店铺只需要管理好自己的数据就行，可以分为两步，一是每笔交易按店铺按规则生成唯一id，考虑离线，建议使用雪花算法，按一定规则划分，方便后期做统计。二是实现数据同步逻辑，需要考虑两个问题，一是网络异常处理，重试，可以参考rocketmq的重试机制，二是数据一致性保证，可以设计简单的对账逻辑，批次对账。仅供参考，不确定是都对业务理解有偏差

现在的问题就是断网后本地的数据跟云端的无法达成相同 [/quote]本地肯定要独立部署或内嵌数据库，断网才能使用，联网再同步数据[/quote] 关键就是联网后该怎么做才能保持数据的同步,而且门店不止有一个,四五个门店在上传一个的时候还不能出现脏数据[/quote]每笔数据的唯一性，用分布式id生成唯一推荐雪花算法，或者自定义规则，通过唯一id来设计总部接收接口的幂等，这样就可以保证不会有脏数据了，还可以通过数据对账机制，保证数据最终一致

[吃米的猫]

怎么做不了？很简单的一个事，你虚拟一个数据库连接层，每过一秒向运端库发送一个心跳，判断是否连通，直正连接时根据刚才那个判断就行了。如果还解决不了加q394767204

[不知有熊]

引用 55 楼 java程序员0.0 的回复:

[quote=引用 45 楼 不知有熊 的回复:] 请先厘清需求 根据我的经验, 老板想做的应该是, 断腕以后依然能使用系统 这种需求不是没有, 常见的超市的收银系统都会有这种离线销售的概念, 这个是有历史背景的: 0几年的时候那时候网络设施还没现在那么好, 断网概率比较高 另外, 提一下, 离线并没有那么好做, 开发成本非常高

是的,关键是一般能实现本地大部分都是不需要传输数据到云端的[/quote] 不一定, 要做权衡, 比如上面的离线销售就不得不做(销售完数据是要上传到服务器的), 因为当时的情况就是断网概率高, 你不支持离线销售, 难道让结账的客户等你么

[qingyuan18]

功能上要实现是没问题的，只是需要考虑实现的成本: 方案1: 业务双写，复杂度在于怎么保障到云数据库的数据不丢失？ 同步还是异步？ 同步需要实现tx事务,业务是否可以接受？异步方式数据肯定是有gap的 方案2: 单写本地，定期离线同步，条件触发切换并追到最新的本地数据，成本在于什么时机触发同步?离线全量还是增量同步，切换到云数据库时追加部分数据如何获得（HA存储设备/S3...)，以及记录offset断点

[哈希塞特]

你跟老板说，都特么断网了，应用都挂了，数据库在哪还重要么