文件数据的快速读取

rsbase2008 2008-11-04 09:52:43

我有一个二进制数据文件，2千多万的整型数据，查找的时候我已经计算出该数据是第几个整型数据，我发现用seekg（n， pos）函数每次都是从文件头一个一个字节的数到该位置的，这对我反复的随机查找数据浪费很多时间，能否有快捷的办法迅速读出该位置的数据？

...全文

102 6 打赏收藏转发到动态举报

写回复

用AI写文章

6 条回复

切换为时间正序

请发表友善的回复…

发表回复

rsbase2008 2008-11-05

打赏
举报

谢谢各位，我用QT库函数基本解决，从文件到内存就是速度慢，但暂时可以承受

lily604 2008-11-04

打赏
举报

[Quote=引用楼主 xiaoqi2007 的帖子:]

查找的时候我已经计算出该数据是第几个整型数据[/Quote]

那就用HASH表吧

killbug2004 2008-11-04

打赏
举报

内存映射文件访问文件
CreateFile
CreateFileMapping
MapViewOfFile
使用以上三个API,具体可以MSDN或google,网上很多

rsbase2008 2008-11-04

打赏
举报

大哥能简单介绍一下mmap文件内存映射的原理不？

redleaves 2008-11-04

打赏
举报

最直接的办法,就是把文件全读进来,在内在里找...内存映射文件就是这种形式..
如果文件太大,可以分段读取...根据读写频度做缓冲.
如果文件大到上面的方式都不能处理或是性能无法满足...你可以做分页机制.
如果分页都不行,那只有改用可以使用更多内存的系统了...

xhs_lh04 2008-11-04

打赏
举报

mmap文件内存映射吧

最近写的一个项目中，有需要读取数据量很大（有10个sheet，每个sheet有65535行11列的数据）的Excel文件，用了COM和QODBC两种方法读取，速度很慢。你可能会问，为啥不把数据放在数据库里，那样读取的速度更快？当然，需求要求是可以从数据库或者从Excel中读取数据这两种方式，所以没办法还是要操作Excel。回归正题，在操作Excel上，QT有两种方式，一是通过COM

public static void main(String[] args) throws Exception {File file = new File("E:/a.txt"); // 100Mlong start = System.currentTimeMillis();String lastLine = readLastLine(file, "gbk");long delt = System...

Qt快速读取Excel文件解决方案：提升数据处理效率去发现同类优质开源项目:https://gitcode.com/ 在当今信息时代，数据处理能力成为衡量软件开发效率的关键因素之一。特别是在面对大量Excel文件处理需求时，如何高效地读取数据显得尤为重要。本文将向您推荐一个Qt环境下快速读取Excel文件的解决方案，帮助您提升数据处理效率。项目介绍 Qt快速读取Excel文件解决方案是一个专门...

如下所示：# -*- coding:utf-8 -*-# auth:ckf# date:20170703import pandas as pdimport cStringIOimport warningsfrom sqlalchemy import create_engineimport sysreload(sys)sys.setdefaultencoding('utf8')warnings.fi...

C++ 语言

65,211

社区成员

250,514

社区内容

发帖

与我相关

我的任务

c++ 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

请不要发布与C++技术无关的贴子
请不要发布与技术无关的招聘、广告的帖子
请尽可能的描述清楚你的问题，如果涉及到代码请尽可能的格式化一下

试试用AI创作助手写篇文章吧

+ 用AI写文章