c++如何快速读取文件并获取其中的数据

2015-07-09 12:07:23 946 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

C++读取txt文本中的矩阵数据【问题描述】机器学习中，常需要处理输入数据为矩阵的txt文档，形如： 1 3 3 -1 1 1 1 4 3 一行表示一个样本，Xi为D维向量，i=1,2,...N，Yi取值{+1,-1}。其中，不同样本间用换行隔开；第一列表示数据标签Yi，后面几列表示数据的各维度取值Xi。需要实现程序，将txt中的文件读取到数组X和Y中，其中X为N*D维数组，Y为N维数组。【主要知识点】文件读阅读详情

float x = 0;
float y = 0;
float z = 0;
float r = 0;
float g = 0;
float b = 0;
//analyse(buf, len, 5);
while (file.getline(buf, n + num))
{
sscanf_s(buf, "%f%f%f%f%f%f", &x, &y, &z, &r, &g, &b);
Point3D xx(x, y, z, RGB(&r, &g, &b));
Sample->push_back(xx);
}
这样读取文件要两秒多，怎么提高速度呢

...全文

C++读取文本文件的最后一行，倒数第N行，倒数后N行，以及根据指定字符串在文本文件里逐行匹配并读取该行数据我们知道文件的从头到尾按行读取是非常方便的。但是，有的时候我们只需要文件的最后一行数据来进行分析处理。最近因项目需要，所以我找了许多关于文件读取的相关资料尤其是针对于获取文件的最后一行或者后N行。把我最近的成果分享给大家。可以拿来直接用，也可以用来参考学习。也欢迎大家一起讨论。。。 C++直接获取文本文件的最后一行 #include <fstream> #include <... 阅读详情

qianheshang

C++ 语言 65,214 成员 250,514 内容

+ 关注 + 加入社区

切换为时间正序

幻夢之葉 2015-07-09

打赏
举报

引用 6 楼 qianheshang 的回复:

[quote=引用 5 楼 jianwen0529 的回复:] [quote=引用 3 楼 qianheshang 的回复:] [quote=引用 1 楼 jianwen0529 的回复:] 不是读取的问题 while (file.getline(buf, n + num)) { sscanf_s(buf, "%f%f%f%f%f%f", &x, &y, &z, &r, &g, &b); Point3D xx(x, y, z, RGB(&r, &g, &b)); Sample->push_back(xx); } 主要耗时在这两句我猜预先分配vector大小，然后再push会快很多

我把那两句注释掉之后还是要1.5秒[/quote] 10多w行的数据不应该那么久啊，你是release下测试的时间吗？！[/quote] 不是，release下是1秒，这个时间可以接受吗？我觉得还是略慢[/quote] 如果单单只是这句话的读文件，也不需要1秒吧，除非你的电脑是老古董

ztenv 版主 2015-07-09

打赏
举报

先解决纯粹读文件的问题，然后再解决push_back()的问题

ztenv 版主 2015-07-09

打赏
举报

引用 4 楼 qianheshang 的回复:

[quote=引用 2 楼 lianshaohua 的回复:] 如是楼上所讲，

有木有别的方法[/quote] 10W数据，不应该这么久，release下1秒也太久了，可以使用映射文件试试

qianheshang 2015-07-09

打赏
举报

引用 5 楼 jianwen0529 的回复:

[quote=引用 3 楼 qianheshang 的回复:] [quote=引用 1 楼 jianwen0529 的回复:] 不是读取的问题 while (file.getline(buf, n + num)) { sscanf_s(buf, "%f%f%f%f%f%f", &x, &y, &z, &r, &g, &b); Point3D xx(x, y, z, RGB(&r, &g, &b)); Sample->push_back(xx); } 主要耗时在这两句我猜预先分配vector大小，然后再push会快很多

我把那两句注释掉之后还是要1.5秒[/quote] 10多w行的数据不应该那么久啊，你是release下测试的时间吗？！[/quote] 不是，release下是1秒，这个时间可以接受吗？我觉得还是略慢

幻夢之葉 2015-07-09

打赏
举报

引用 3 楼 qianheshang 的回复:

[quote=引用 1 楼 jianwen0529 的回复:] 不是读取的问题 while (file.getline(buf, n + num)) { sscanf_s(buf, "%f%f%f%f%f%f", &x, &y, &z, &r, &g, &b); Point3D xx(x, y, z, RGB(&r, &g, &b)); Sample->push_back(xx); } 主要耗时在这两句我猜预先分配vector大小，然后再push会快很多

我把那两句注释掉之后还是要1.5秒[/quote] 10多w行的数据不应该那么久啊，你是release下测试的时间吗？！

qianheshang 2015-07-09

打赏
举报

引用 2 楼 lianshaohua 的回复:

如是楼上所讲，

有木有别的方法

qianheshang 2015-07-09

打赏
举报

引用 1 楼 jianwen0529 的回复:

不是读取的问题 while (file.getline(buf, n + num)) { sscanf_s(buf, "%f%f%f%f%f%f", &x, &y, &z, &r, &g, &b); Point3D xx(x, y, z, RGB(&r, &g, &b)); Sample->push_back(xx); } 主要耗时在这两句我猜预先分配vector大小，然后再push会快很多

我把那两句注释掉之后还是要1.5秒

ztenv 版主 2015-07-09

打赏
举报

如是楼上所讲，

幻夢之葉 2015-07-09

打赏
举报

不是读取的问题 while (file.getline(buf, n + num)) { sscanf_s(buf, "%f%f%f%f%f%f", &x, &y, &z, &r, &g, &b); Point3D xx(x, y, z, RGB(&r, &g, &b)); Sample->push_back(xx); } 主要耗时在这两句我猜预先分配vector大小，然后再push会快很多

c++如何快速读取文件并获取其中的数据

相关推荐