问一个性能问题,求思路

DishBirder 2013-05-23 06:20:43
比如,我有一文本文件,差不多有10T大小的数据量,电脑内存大小有2G,每次读取3万条数据(假如3万条数据差不多有1G),请问如何保证每次读取耗费电脑的资源基本相同,请大牛讲讲这方面的经验,不一定是文本文件,其它存储介质也行,非常感谢
...全文
173 4 打赏 收藏 转发到动态 举报
写回复
用AI写文章
4 条回复
切换为时间正序
请发表友善的回复…
发表回复
u010878186 2013-05-29
  • 打赏
  • 举报
回复
也没有看明白!
andy_linky 2013-05-29
  • 打赏
  • 举报
回复
是个好思路啊。1楼的
DishBirder 2013-05-24
  • 打赏
  • 举报
回复
引用 1 楼 tntzbzc 的回复:
如果要保证每次占用的内存相等,不能用行读,应该换成固定的BUFFER 每次迭代释放前一次的内存,再按照BUFFER SIZE跳转的文件的偏移地址(seek)继续固定的BUFFER内容到内存
看的不是很明白,汗啊!!意思是分配内存的时候,固定内存大小?
撸大湿 2013-05-24
  • 打赏
  • 举报
回复
如果要保证每次占用的内存相等,不能用行读,应该换成固定的BUFFER 每次迭代释放前一次的内存,再按照BUFFER SIZE跳转的文件的偏移地址(seek)继续固定的BUFFER内容到内存

7,394

社区成员

发帖
与我相关
我的任务
社区描述
其他数据库开发 数据仓库
社区管理员
  • 数据仓库
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧