批量大数据写入Oracle,集群性能慢的原因?
基于Spring Batch框架和kettle框架,做了两个ETL测试的应用,批量往oracle数据库中插入数据,数据每40000条(可调,目前40000效率最高)提交一次。发现在数据量较小时,单个应用执行的效率要远远低于多个节点集群执行的效率;而在数据量较大时,多个节点集群的效率远远低于单个应用的执行效率。
想找到数据量大时,多个节点执行效率差的原因?并想知道什么情况下用集群的方式合适,什么情况下用单个应用的方式合适?求各位同仁高手指点,不胜感激。