社区
Java EE
帖子详情
JAVA同步第三方数据库数据到自有数据库
m0_48665929
2020-06-22 03:39:40
JAVA实现定时任务接口,定时按时间增量去同步第三方系统的数据,第三方接口有数据量限制(1000),请问在某次调用第三方接口时获取到了1000条记录,在存储到自有数据库时,比如第200条记录出现异常存储失败,这时候你们是怎么处理的呀?请各位指点指点!
...全文
4583
5
打赏
收藏
JAVA同步第三方数据库数据到自有数据库
JAVA实现定时任务接口,定时按时间增量去同步第三方系统的数据,第三方接口有数据量限制(1000),请问在某次调用第三方接口时获取到了1000条记录,在存储到自有数据库时,比如第200条记录出现异常存储失败,这时候你们是怎么处理的呀?请各位指点指点!
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
5 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
冰思雨
2020-06-24
打赏
举报
回复
一般情况下是批量读取,然后,逐条处理。 如果某条记录在处理的时候出现异常,通常的做法是将错误信息保存下来(数据库或者写硬盘日志)。 错误信息尽量完整,也就是说,关键的上下文数据,最好是同时保存下来,当然,也包括异常信息。 这样有助于排查问题。 之后,编写一个针对错误信息的处理程序,针对各种异常情况进行错误信息的处理,逐渐修复和完善程序。 重试机制,一般情况下,并不能容错所有的异常情况,并且,要设定最大重试次数。
s478853630
2020-06-23
打赏
举报
回复
假如3000条数据,批处理1000,分3批,第一批没问题其余报错,有三种常见错误: 1,主键冲突数据重复,解决方案:把数据分成两波,一波insert,一波update 2,数据类型不匹配,解决方案:做好数据类型转换,字符串/日期时间/整型/浮点型四种类型足矣 3,字段长度不够,解决方案:根据异常信息找到相应字段,执行alter table xxx change ....语句 我们自主研发的ETL遇到这三种情况由程序自动解决,不用人工干预,并且有网页版操作界面 如果出现第四种情况,就发邮件预警
咦哟~~~
2020-06-23
打赏
举报
回复
那你定义一个机制呗 错误几次后 存到异常表中
m0_48665929
2020-06-23
打赏
举报
回复
引用 1 楼 青海棠的回复:
批量存储,加事务,报错回滚,重试
重试还是失败怎么办?不能一直重试吧。
沁海棠
2020-06-22
打赏
举报
回复
批量存储,加事务,报错回滚,重试
ESK
数据
交换平台常见业务功能介绍V1.0.doc
ESK
数据
交换平台的使用场景介绍 一:
数据
库
同步
处理 二:当作一个简单的ETL抽取工具 三:常见的
数据
导入处理 四:与淘宝网,拍拍网的
数据
同步
五:淘宝工具,拍拍工具使用 六:简化授权,充当一个中间件的功能,统一各大线上平台的SDK
SAP ADM225
SAP ADM225 SAP software logistics for
java
Java
开发者专属 -
第三方
支付集成工具包
第三方
支付作为现代金融系统的重要组成部分,在电子商务、移动应用以及传统行业中扮演着核心角色。随着互联网技术的快速发展,消费者对于在线交易的便捷性和安全性的要求不断提高,
第三方
支付平台通过提供多元化的支付解决方案,满足了这些需求。然而,对接
第三方
支付平台并非一项简单的任务,它涉及到众多的技术细节和业务规则,包括但不限于支付流程设计、用户鉴权、
数据
加密、风险控制等方面。退款政策是支付系统中至关重要的一个环节,它直接关系到用户的支付体验和商户的资金流转。
今天我们来聊聊,如何做好
第三方
系统对接
作者:laker,喜欢LOL滴神faker,又是NBA湖人队(laker)粉丝儿(主要是老詹的粉丝儿),本人又姓李,取名:laker,喜欢分享自己工作中需要的问题和解决方案,以及一些读书笔记和心得分享。 文章目录前言What 是什么Why 为什么How 怎么做对接前对接中对接后对接风险总结与思考 前言 无论你是做面向ToB、ToC还是ToG的业务,开发业务系统,永远也逃脱不了与
第三方
系统对接的命运,例如:常见的支付宝、微信支付平台对接、短信平台对接,还有单点登录对接,以及与友商的
数据
接口对接等等,大..
关系型
数据
库
优化
网站的用户并发性非常高,往往达到每秒上万次读写请求,对于传统关系型
数据
库
来说,硬盘I/O是一个很大的瓶颈。例如:双十一购物双十一购物节,号称优惠比较多。所以很多人都在那天购物,特别是11.11凌晨的时候,成千上万或上亿,一起查询、浏览商品,下单购物。实质上,商品订单等信息是保存到
数据
库
中的,那是不是很多人同时获取
数据
库
连接,同时操作
数据
(读写),操作完成后关闭连接。那,是不是要同时支持很多连接,并且读写。那,现状我们一台
数据
库
最大连接数是不是有限的。不能满足很多人同时读写,是有瓶颈的。
Java EE
67,549
社区成员
225,863
社区内容
发帖
与我相关
我的任务
Java EE
J2EE只是Java企业应用。我们需要一个跨J2SE/WEB/EJB的微容器,保护我们的业务核心组件(中间件),以延续它的生命力,而不是依赖J2SE/J2EE版本。
复制链接
扫一扫
分享
社区描述
J2EE只是Java企业应用。我们需要一个跨J2SE/WEB/EJB的微容器,保护我们的业务核心组件(中间件),以延续它的生命力,而不是依赖J2SE/J2EE版本。
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章