16,748
社区成员
发帖
与我相关
我的任务
分享请发表友善的回复…
发表回复
suton 2008-11-30
- 打赏
- 举报
大文件操作,没搞过.
以前都是用TFileMemory
4G,超过地址空间了...
估计只能用createfile,readfile,writefile那一组的api了.
临时能想到的办法,也只有这样:
以10个byte为单位,循环读文件.
循环内部:
用两分法,查找读出来的10个byte应该放在那个位置. 然后插入.
以前都是用TFileMemory
4G,超过地址空间了...
估计只能用createfile,readfile,writefile那一组的api了.
临时能想到的办法,也只有这样:
以10个byte为单位,循环读文件.
循环内部:
用两分法,查找读出来的10个byte应该放在那个位置. 然后插入.
喝口水 2008-11-30
- 打赏
- 举报
多个线程分段排序,排N次
keyz 2008-11-30
- 打赏
- 举报
谢谢3楼。自己查到应该用外排序。主要是分段－内排序－归并。使用堆排序可能效率高些。
to：4楼，数据量太多，估计超过10亿，数据库效率恐怕太低，是否能完成也不一定。
to：4楼，数据量太多，估计超过10亿，数据库效率恐怕太低，是否能完成也不一定。
willflyz 2008-11-30
- 打赏
- 举报
能不能通过数据库来实现..
僵哥 2008-11-30
- 打赏
- 举报
分段，堆排
keyz 2008-11-30
- 打赏
- 举报
读到内存不现实，因为内存容量不够4G。而且32位系统不支持超过4G的空间寻址。
Storm2008 2008-11-30
- 打赏
- 举报
学习~
自己写算法排序好像比较慢吧
能不能读到数据库中，排好序在读出来
或者利用TStringList
没写过，也没什么好的建议:)
自己写算法排序好像比较慢吧
能不能读到数据库中，排好序在读出来
或者利用TStringList
没写过，也没什么好的建议:)
当使用hive或spark对超大数据量（几十亿）数据进行排序的时候，直接使用row_number函数会导致数据严重倾斜，都在一个reduce任务上执行，导致很难跑出来，一定要排序的还可以参考如下sql
