求助怎么对一个视图进行快速的全量查询

[qq_40164181]

现在遇到的要求是对一个 Oracle的视图进行一个表的同步.
测试了一下,只有查询的权限
由于数据了很大,现在就想着也就把原来的表truncate掉,全量插入.
但是现在发现,每次 select * from table 使用 rownum 分页 5万条 得去取, 每次平均需要2 分钟.
400w条用了2个多小时,发现这方法太烂了.

可能我搜索功力不足,没发现什么更好的方法,不知道有没有大神知道更好的方法.....

[卖水果的net]

查询慢，跟你的同步没多大关系。400W全量查询速度快不了。 PS：全量查询的目的是什么？

[qq_40164181]

引用 1 楼 wmxcn2000 的回复:

查询慢，跟你的同步没多大关系。400W全量查询速度快不了。 PS：全量查询的目的是什么？

因为mysql 端要同步oracle 的数据, 每天都去清空数据库,然后插入数据

[wandier]

把oracle视图数据保存为文件，再导入mysql，用shell后台做

[jdsnhan]

既然是全部插入，为什么要做分页呢？

[qq_40164181]

引用 3 楼 wandier 的回复:

把oracle视图数据保存为文件，再导入mysql，用shell后台做

字段类型不一样,不好处理吧

[KingZChina]

引用 6 楼 qq_40164181 的回复:

[quote=引用 4 楼 jdsnhan 的回复:] 既然是全部插入，为什么要做分页呢？

还能一次全搜出来??[/quote] 你用啥插入啊？ java程序啊？

[qq_40164181]

引用 4 楼 jdsnhan 的回复:

既然是全部插入，为什么要做分页呢？

还能一次全搜出来??

[ZHOU西口]

1、楼主的语境应该是这样的：从mysql同步数据到oracle上，发现数据量太大、同步太慢所以... 2、那么楼主现在是怎么做到从mysql同步数据到oracle上的？ 3、通过etl工具或者导入导出命令是否可以？再或者借助脚本是否可行?

[ZHOU西口]

LZ，上面那条回复，说反了数据同步的方向哈，见谅啊 思路可鉴，楼主深思哈~~

[qq_40164181]

引用 7 楼 KingZChina 的回复:

[quote=引用 6 楼 qq_40164181 的回复:] [quote=引用 4 楼 jdsnhan 的回复:] 既然是全部插入，为什么要做分页呢？

还能一次全搜出来??[/quote] 你用啥插入啊？ java程序啊？[/quote] 对,通过拼接value后,一次插入1000条,数据还可以

[qq_40164181]

引用 9 楼 splendid_java 的回复:

LZ，上面那条回复，说反了数据同步的方向哈，见谅啊 思路可鉴，楼主深思哈~~

需要每天定时去同步, 而且oracle 那边只有查询的权限 用软件的话,可能可以吧,不过没了解过,这个也不是我能决定的... 关键是oracle那边无法入插手,也没有相应的字段,我目前的技术来说,比较无奈之举了 如果没法优化的话,就只能结贴吧,

[scott0203]

学习一下!!!

[KingZChina]

引用 10 楼 qq_40164181 的回复:

[quote=引用 7 楼 KingZChina 的回复:] [quote=引用 6 楼 qq_40164181 的回复:] [quote=引用 4 楼 jdsnhan 的回复:] 既然是全部插入，为什么要做分页呢？

还能一次全搜出来??[/quote] 你用啥插入啊？ java程序啊？[/quote] 对,通过拼接value后,一次插入1000条,数据还可以[/quote] 全查出来不太可能很快，要不就做只传输更新过的数据，不能每天都清表， 那样太慢