求助：同步数据

小黄鱼不是大黄鱼 2020-09-10 05:21:41

现在的方案是定时任务通过sql查询将数据从pg库查出来增量同步到elastic search中。应该怎样设计比较合理呢，每次查询多少数据，下一次从哪查起呢，求助走过路过的大神指点指点，不胜感激，谢谢

...全文

3384 3 打赏收藏转发到动态举报

写回复

用AI写文章

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

a863922230 2020-09-25

打赏
举报

很好的解决方法就是 logstash 或者说 elk

s478853630 2020-09-15

打赏
举报

用ETL试试

亦夜 2020-09-10

打赏
举报

第一次肯定是要将所有数据同步到es的，虽然可能比较慢但这是必须的，后面就直接操作es就行了，然后只需要关心的就是什么时候再次触发同步，一般都是增删改的情况下会再次触发同步，但是只需要同步最新修改的数据，不需要再次全表同步

高德导航版本：5.4.8828.0027 大小：7 MB 语言：中文适用固件：Android 2.0.1及以上分享日期：2013-08-13 游戏题材：导航开发商：高德软件内容介绍高德导航雅安版连夜上线客户端四大救援功能：雅安救助点图层、雅安行车公告、位置分享、救助通道。并使用2013年最新地图数据。PC端下载数据登陆官网c.autonavi.com。 2013年4月29日8时02分之前可免费申请序列号： 1:移动手机用户发送“高德、导航、地图、地震、雅安、灾区、救灾、加油、救援、救助、救命、求助、位置、安卓、公众版、Amap、Autonavi”中任意一词到1065 7502 0963 666或1065 7502 0963 668即可获取高德导航序列号； 2:用户可通过在新浪微博发布“高德导航序列号”并@高德导航或拨打高德客服电话400-810-0080免费获取高德导航序列号；【雅安救助点】：在地图界面进入图层选择【雅安救助点】后选确认，返回地图可看到所有救助点的位置，长按其中某点可进入该救助点的详情界面。【雅安行车公告】：搜索界面下方有目前最新的行车公告信息。帮助前往救助的志愿者更快更安全的到达灾区一线。【位置分享】：点击界面的当前点，选择通过短信方式分享位置，收信方无需网络即可打开导航快速锁定目标地点。【问题反馈】：通过当前点的问题反馈，向我们发起求助，我们将会帮您尽快将信息同步给救援单位。下载--安装提示： 1.兼容的操作系统安卓2.1以上，主屏分辨率:320x240以上（不包含320x240）。 2.地图数据客户端下载建议使用WIFI或电脑登录高德导航官网下载。 3.下载全国地图数据请确认手机存储空间大于3G。最新地图数据包下载(解压后将autonavidata2c复制到sd卡根目录)：点这儿

本帖最后由 hbm1985 于 2012-5-10 07:39 编辑本人在搭建oracle goldengate　双向同步时，遇到一个问题：当两边同时更新同一条记录时，会出现两边数据不一致的问题。A库最终拿到的是B库数据更新的数据。B库最终拿到的是A库数据更新的数据。拓扑如下：A(test) <=======>B(dest)均为oracle 10GR2表VIP结构如下：id ...

1.华为企业云API使用讲解该课程介绍如何通过华为企业云API进行二次开发，并选取一个实战案例。后把遇到问题的求助渠道介绍给大家。

同步阻塞、同步非阻塞、异步阻塞、异步非阻塞之间的区别先验知识此处的异步指的是什么同步、异步、阻塞、非阻塞同步阻塞、同步非阻塞、异步阻塞、异步非阻塞一个生动的例子总结与补充先验知识在解释这几个概念之前，需要注意的是：首先需要知道操作系统层面的同步、异步、阻塞这几个概念的含义。关于这方面的内容，可见笔者的另一篇博客：同步与异步、并行与并发、阻塞与挂起：https://blog.csdn.net/wangpaiblog/article/details/116114098 本文解释的概念至少适

求助！为什么我设置了mysql主从复制以后从数据库只会复制表结构不会复制表里的数据当我在主数据库新建一个user表时从数据库会复制出一个user表格，但是当我在主数据库user表添加数据并保存后，从数据库并不会同步对应user表中数据，下面是我主数据库和从数据库的配置文件，各位大佬帮我看看问题在哪里万分感谢！主数据库配置文件（主数据库在windows系统上） [mysqld] #设置主从复制（主） server-id=1 log-bin=mysql-bin #binlog日志只记录指定库的更新 bin

Java EE

67,513

社区成员

225,879

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章