★.NET/J2EE/winform 千万数据分页技术讨论
对于信息管理系统,主要操作对象就是数据库
当数据达到千万或上亿级别时,把数据全部显示在页面上可能唯一的办法就是分批取出了
我采用的办法就是按自增列每次读取10000条,并放在同一个缓存空间里面,当用户浏览的数据在10000条之前,就直接呈现缓存中的数据;当数据在10000条后,用同样的方法,将新数据插入缓存空间覆盖掉旧数据。经过测试,发现这种方法的效率要远远高于网上流传的一些分页技术。
可是之后,我又发现了一些明显的缺陷,比如排序
用这种方法只能对缓存中的10000条数据进行排序,也就是说,会循环出现A-Z的排序情况,这显然不符合用户的使用习惯。
不知道各位是怎样处理大数据的显示问题的,如果有好的方案,请不吝赐教!!