VC 里面处理30多万行的txt文件时，速度为什么这么慢？-CSDN论坛

VC 里面处理30多万行的txt文件时，速度为什么这么慢？

VC/MFC > 基础类

收藏回复

[问题点数：20分，结帖人TandyT]

⋅纠结，咋滴头像又不能换了，想低调点换个头像都不行。。。 ⋅微软 strcat()函数实现的疑问、、、 ⋅中兴实习=一道编程题的疑问。。。。 更多帖子 关注私信空间博客 TandyT 等级 本版专家分：22627 勋章 铜牌 2011年4月总版技术专家分月排行榜第三 黄花 2011年4月 VC/MFC大版内专家分月排行榜第二 蓝花 2011年3月 VC/MFC大版内专家分月排行榜第三 结帖率 100%: 我用 CStdioFile 来打开文件，一次性把文件的内容读到内存中，然后对内存中的字符串进行处理。

原txt文件里面，是按行存储一些中文、英文字符，每行都有一个以上的 ‘|’ 字符，一共有30多万行。我想按照所在行的内容里面的 ‘|’字符个数来排序，也就是，把所有行中，每行只有一个 '|' 字符的，排在前面，每行有2个的，排在其次，其它的以此类推。

有点像“畸形”的金字塔，少的在上面，多的在下面，堆积起来。

我在VC 里面的做法是，把前面读取进来的(以文本方式读取进来)字符串，以换行符 CRLF 为标志，逐行读取到一个临时字符串 tem 中，然后，判断这个临时字符串tem 里面有 n 个 '|'字符，然后把它存储到专门存储 n 个 ‘|’字符的字符串里，当把内存中的30多万行都读取完后，也就分析完毕了，然后，依次把存储一个‘|’字符、存储两个‘|’字符、存储三个 ‘|’字符、、、的字符串内容写入到一个新的 txt文件里面。

但是，发现这样做，速度很慢，我试过不用线程、用单线程、用多线程来分析，效果都一样，非常慢。(如果要分析的 txt 内容比较小，比如几百KB，当然没问题)。

各位大侠，应该用什么方法来实现我的这个功能呢？

谢谢指点！

2011-01-05 13:22:29

点赞只看楼主引用举报楼主收起

展开阅读全文

⋅Eleven的留言板

⋅如何通过Gas gauge读取电池相关信息？

⋅Win10+VS2015 双机调试 WDF驱动无法单步Debug问题？

更多帖子

关注私信空间博客

版主

Eleven

等级

本版专家分：363015

勋章

签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！

名人 2019年荣获名人称号
2013年荣获名人称号

探花 2011年总版技术专家分年内排行榜第三
2010年总版技术专家分年内排行榜第三

进士 2012年总版技术专家分年内排行榜第五: 文件大的话，就用内存映射文件去做吧

2011-01-05 13:24:35

点赞只看TA 引用举报 #1得分 1

⋅神马情况？ ⋅开始潜水，散分。 ⋅为什么上传了这个头像被转成了jpg，求大神现身说法。 更多帖子 关注私信空间博客 手机写程序 等级 本版专家分：9857 勋章 蓝花 2011年2月 VC/MFC大版内专家分月排行榜第三: 有多慢?慢在哪里?是不是计算太多了,的确需要这么多CPU时间.

2011-01-05 13:28:59

点赞只看TA 引用举报 #2得分 0

⋅kernel.org重新上线，开心 ⋅php向客户端传送文件被中止 ⋅svn中，如何分离其中一部分建立新项目 更多帖子 关注私信空间博客 lisunlin0 等级 本版专家分：16801: 将文件映射到内存中，建立一个文本行索引（指针）数组，根据索引来排序。

2011-01-05 13:30:52

点赞只看TA 引用举报 #3得分 0

⋅开个会发发牢骚再散分~：） ⋅散分 ⋅快当叔叔了，散分求祝福~ 更多帖子 关注私信空间博客 m_tornado 等级 本版专家分：13019: 引用 1 楼 visualeleven 的回复:
文件大的话，就用内存映射文件去做吧

一次读入内存数据太多，处理起来当然慢了~

2011-01-05 13:32:37

点赞只看TA 引用举报 #4得分 0

⋅Rust挺不错的，对C++不满的兄弟们可以看看了 ⋅【悲剧？】 ⋅哪位能介绍一下C++14, 我顺便就给未来7OR9天长假散粉了 更多帖子 关注私信空间博客 healer_kx 等级 本版专家分：30266 勋章 黄花 2006年2月 C/C++大版内专家分月排行榜第二: 那Java有多快？Python呢？

2011-01-05 13:36:22

点赞只看TA 引用举报 #5得分 0

⋅纠结，咋滴头像又不能换了，想低调点换个头像都不行。。。 ⋅微软 strcat()函数实现的疑问、、、 ⋅中兴实习=一道编程题的疑问。。。。 更多帖子 关注私信空间博客 TandyT 等级 本版专家分：22627 勋章 铜牌 2011年4月总版技术专家分月排行榜第三 黄花 2011年4月 VC/MFC大版内专家分月排行榜第二 蓝花 2011年3月 VC/MFC大版内专家分月排行榜第三: 引用 1 楼 visualeleven 的回复:
文件大的话，就用内存映射文件去做吧

我的程序里面，一开始打开文件后，就把文件所有内容以文本模式读取到内存中了，然后关闭了文件流。后面的操作都是针对内存中存储的数据了。

这个，如果用内存映射文件方法，有什么不同？

2011-01-05 13:48:12

点赞只看TA 引用举报 #6得分 0

⋅纠结，咋滴头像又不能换了，想低调点换个头像都不行。。。 ⋅微软 strcat()函数实现的疑问、、、 ⋅中兴实习=一道编程题的疑问。。。。 更多帖子 关注私信空间博客 TandyT 等级 本版专家分：22627 勋章 铜牌 2011年4月总版技术专家分月排行榜第三 黄花 2011年4月 VC/MFC大版内专家分月排行榜第二 蓝花 2011年3月 VC/MFC大版内专家分月排行榜第三: 引用 5 楼 healer_kx 的回复:
那Java有多快？Python呢？

我是个文盲，不懂其他的语言。。。

2011-01-05 13:49:02

点赞只看TA 引用举报 #7得分 0

⋅闪分 更多帖子 关注私信空间博客 jhayumu 等级 本版专家分：1119: 用内存映射文件来处理

2011-01-05 13:57:22

点赞只看TA 引用举报 #8得分 0

⋅纠结，咋滴头像又不能换了，想低调点换个头像都不行。。。 ⋅微软 strcat()函数实现的疑问、、、 ⋅中兴实习=一道编程题的疑问。。。。 更多帖子 关注私信空间博客 TandyT 等级 本版专家分：22627 勋章 铜牌 2011年4月总版技术专家分月排行榜第三 黄花 2011年4月 VC/MFC大版内专家分月排行榜第二 蓝花 2011年3月 VC/MFC大版内专家分月排行榜第三: 我的问题是，不是打开文件和写数据到文件里面时慢，而是中间的处理部分，比较慢，就是把文件的内容读取到内存中后，对内存中的数据进行分析时，速度比较慢
不知道有没有其他方法来实现，效率能高点

2011-01-05 13:57:42

点赞只看TA 引用举报 #9得分 0

⋅纠结，咋滴头像又不能换了，想低调点换个头像都不行。。。 ⋅微软 strcat()函数实现的疑问、、、 ⋅中兴实习=一道编程题的疑问。。。。 更多帖子 关注私信空间博客 TandyT 等级 本版专家分：22627 勋章 铜牌 2011年4月总版技术专家分月排行榜第三 黄花 2011年4月 VC/MFC大版内专家分月排行榜第二 蓝花 2011年3月 VC/MFC大版内专家分月排行榜第三: 引用 3 楼 lisunlin0 的回复:
将文件映射到内存中，建立一个文本行索引（指针）数组，根据索引来排序。

那这个索引建立的过程，不也要对每一行的字符 ‘|’ 进行统计么，我现在就是对每一行进行统计，虽然最后能处理完毕，但是需要很长时间。

每行的特征只有字符 ‘|’的个数，而不是这一行的总字符数什么的

2011-01-05 14:00:58

点赞只看TA 引用举报 #10得分 0

1 2 3 ... 8

收起

收藏回复

TandyT

等级：

: 铜牌 2011年4月总版技术专家分月排行榜第三

: 黄花 2011年4月 VC/MFC大版内专家分月排行榜第二

: 蓝花 2011年3月 VC/MFC大版内专家分月排行榜第三

关注私信 TA的帖子

数据库编程总结: 数据库编程总结当前各种主流数据库有很多，包括Oracle, MS SQL Server, Sybase, Informix, MySQL, DB2, Interbase / Firebird, PostgreSQL, SQLite, SAP/DB, TimesTen, MS ACCESS等等。数据库编程是对数据库的创建、...

SQLite使用小结: SQLite 使用小结

C语言面试题汇编: 对于有些编译器而言，在同一个函数内可以定义多个同名的局部变量，比如在两个循环体内都定义一个同名的局部变量，而那个局部变量的作用域就在那个循环体内。 2.如何引用一个已经定义过的全局变量？

VC数据库编程总结(二): 非常详尽地介绍了VC中数据库编程的各种方法，大侠们长期经验的总结，不可多得的文章。

linux_study_1: Linux系统下.ko文件是什么文件？.so文件是什么文件... 5 我有一个文件abc.txt，我想用bunzip2压缩工具进行压缩！... 5 insmod(installmodule)5 记mount NFS遇到的一个问题(-o nolock)6 关于C语言结构体赋值...

mysql 事务、索引、锁、分区/分表、sql优化、查询优化: mysql 安装、sql语法一条sql语句完成MySQL去重留一 mysql 事务、索引、锁、分区/分表、sql优化、查询优化 mysql 安装配置使用、sql语法 MySQL主键、创建索引、UNION 和 UNION ALL mysql 索引类型以及创建 ...

[转]高负载并发网站架构分析: 由于自己正在做一个高性能大用户量的论坛程序，对高性能高并发服务器架构比较感兴趣，于是在网上收集了不少这方面的资料和大家分享。... 初创网站与开源软件 6 ? 谈谈大型高负载网站服务器的优化心得!...

高负载高并发网站架构分析: 由于自己正在做一个高性能大用户量的论坛程序，对高性能高并发服务器架构比较感兴趣，于是在网上收集了不少这方面的资料和大家分享。希望能和大家交流 ... ——————————————————————————...

优秀程序员分析提高能力程序进阶: 我出生在南方的一个农村。还记得小时候家里是很穷的，那时候上学也很便宜，我已记不清初中以前的学费是多少了。反正从小在家里玩泥巴，... 说是上学，其实就是在村里的一座小庙，庙里面似乎就剩个大菩萨。摆几张桌子椅

只有程序员可以看懂的笑话大全集（1）: 中国的法律都是.txt文件，不是.exe文件。程序员：三年前，当我写下这个的时候，只有上帝和我能够看懂。现在，只有上帝能看懂了。同事说，他在写i++的时候总觉的自己写的是我艹.........有木有同感？？...

编程修养: 编程修养什么是好的程序员？是不是懂得很多技术细节？还是懂底层编程？还是编程速度比较快？我觉得都不是。对于一些技术细节来说和底层的技术，只要看帮助，查资料就能找到，对于速度快，只要编得多也就熟能生巧了...

单片机软件设计架构(C语言): C语言嵌入式系统编程修炼之一:背景篇不同于一般形式的软件编程，嵌入式系统编程建立在特定的硬件平台上，势必要求其编程语言具备较强的硬件直接操作能力。无疑，汇编语言具备这样的特质。但是，归因于汇编语言开发...

C++笔试题目大全: 1 c++ c++ c++ c++ 笔试题汇总 ① 链表反转单向链表的反转是一个经常被问到的一个面试题，也是一个非常基础的问题。比如一个链表是这样的： 1->2->3->4->5 通过反转后成为 5->4->3->2->1 。...

【分享】下辈子我还做一个快乐的程序员: 中国的法律都是.txt文件，不是.exe文件。同事说，他在写i++的时候总觉的自己写的是我艹.........有木有同感？？？？程序员，年二十有二，始从文，连考而不中。遂习武，练武场上发一矢，中鼓吏，逐之出。改学...

c++: 有人认为后期的C++趋向学院派风格,走进了一味追求技术和难度的误区,逐渐脱离主流的Programmers. 有人认为C++由于复杂度导致在现代软件工程中的地盘不断缩水. 也有人认为,C++无任对特定领域应用还是研究来说,都足够...

【转】数据库编程总结: from: http://blog.csdn.net/byxdaz/archive/2010/04/11/5473557.aspx当前各种主流数据库有很多，包括Oracle, MS SQL Server, Sybase, Informix, MySQL, DB2, Interbase / Firebird, PostgreSQL, SQLite, SAP/DB, ...

C#入门必看实力程序100个: C#入门必看含有100个例字,每个例子都是针对C#的学习关键知识点设计的,是学习C#必须知道的一些程序例子,分享给大家，需要的可以下载

c语言项目开发实例: 十个c语言案例（1）贪吃蛇（2）五子棋游戏（3）电话薄管理系统（4）计算器（5）万年历（6）电子表（7）客户端和服务器通信（8）潜艇大战游戏（9）鼠标器程序（10）手机通讯录系统

2020美赛特等奖A题8篇论文（可通过书签跳转）.pdf: 2020美赛特等奖A题8篇论文

2019年美赛D题一等奖论文: 2019年数模美赛D题一等奖论文中文版本与最终版本，这里面卢浮宫的疏散方法可以修改为任意一篇快速疏散论文，搞数模竞赛的同学可以进行下载学习。

2020美赛A题海温数据.zip: 2020美赛a题海温数据，1877年至今，趁比赛还没结束上传赚点资源值全球海洋温度影响某些海洋生物的栖息地质量。当温度变化太大，它们无法继续繁荣时，这些物种就会迁移到其他更适合它们现在和未来生活和繁殖成功的栖息地。其中一个例子就是美国缅因州的龙虾种群，它们正缓慢地向北迁移到加拿大，那里的海洋温度较低，为它们提供了更合适的栖息地。这种地理种群的转移可能会严重影响依赖海洋生物稳定性的公司的生计。您的团队已被苏格兰北大西洋渔业管理协会聘请为顾问。该协会希望在全球海洋温度升高的情况下，更好地了解与苏格兰鲱鱼和鲭鱼从它们目前的栖息地苏格兰附近迁移有关的问题。这两种鱼类为苏格兰渔业做出了巨大的经济贡献。鲱鱼和鲭鱼种群分布位置的变化，可能会让规模较小的苏格兰渔业公司在经济上变得不切实际。这些公司使用渔船，但船上没有冷藏设备。

Office2016专业增强版中文免费正式版(附安装教程)64位: Microsoft office 2016专业增强版是一款由官方发布的Microsoft office办公软件，而且免费开放给所有Windows用户免费使用，其中Excel、word、PPT都非常智能化，界面最新加入暗黑主题，并且按钮的设计风格开始向Windows10靠拢。本平台提供Office 2016专业增强版，需要的朋友可下载试试！ Office 2016 专业增强版安装教程 1. 下载

2020美赛C题资料.zip: 关于2020年数模美赛c题的，题目，数据，文献资料，一些代码，以及思路和感想。其中在感想部分谈及了C题两种解答方法的对比（评论处理方法，另一种是我们老师带的另外几队拿了H奖的）。我们对这次论文交的比较匆忙，摘要是在最后一点时间里赶出来的，文章很多细节部分都有些问题，特别是问题分析部分忘记放上去就交了，有点尴尬。本来对这次结果不抱太大希望，后来却拿了m奖（虽然对于拿o奖，f奖的大佬们来说这不算什么），但对于失误较多的我们来说已经比较满意了。希望我的分享能对美赛有兴趣的同学起到一些帮助。

vs 2017最新离线安装包（全功能完整版）: vs2017最新离线安装包，将官网文件整合成4个压缩包，包含所有组件的功能，安装过程无需联网。很方便。

python京东茅台脚本.zip: 最近热门的python京东茅台脚本

Oracle数据库: 本课程主要讲解如下内容：Oracle体系结构、Oracle 基础管理、SQL 语言、Sequence和同义词、数据字典及用户管理、E-R模型、Power Designer设计工具。在本

2019年美赛A题特等奖论文（中文版）.pdf: 本文为2019年美赛A题特等奖论文中文版，好不容易找到的资源分享给大家，供大家学习。

美赛2019年C题优秀论文原文和中文翻译: 内含6片MCM2019年C题优秀论文原文和保留原格式的中文翻译例近年来，过量服用已成为美国意外死亡的主要原因，处方类阿片和海洛因是该类别中最重的违法者。尽管许多人需要阿片类药物来控制其慢性和严重疼痛，但这些疗法的普遍后果是滥用，成瘾以及升级为更糟的物质。存在多种打击毒品传播的策略，例如教育，康复和执法。然而，鉴于阿片类药物在美国社会的新普及，因此有必要针对性地制定战略。我们开发了一种模型，可以可靠且准确地预测阿片类药物在俄亥俄州，宾夕法尼亚州，弗吉尼亚州，西弗吉尼亚州和肯塔基州之间的扩散。为此，我们： ● 通过将阿片类药物成瘾视为一种在邻居之间确定性传播的疾病，并假设其传播可以采用马尔可夫模型来模拟，从而可视化该区域内2010年至2016 年间阿片类药物的运动和传播。这将使我们能够找到一个过渡矩阵，以告诉每个县彼此之间的影响。我们还将县之间的距离纳入该矩阵。 ● 接下来，我们对整个数据集中的社会经济因素的影响进行了建模，并将这些变化与该县阿片类药物的使用随时间的增长或收缩的方式相关联。 ● 然后，我们以两种方式组合模型-线性和并行方式。我们用它来估计毒品问题发源地的震中。 ● 最后，我们进行了多次模拟并预测了未来的毒品问题，从而从不同的角度开发了多种策略来应对这种流行病，并从对阿片类药物传播影响最大的变量中进行选择。我们的模型将非法使用阿片类药物视为一种疾病，当特定地区的更多人患有阿片类药物时，这种情况会更频发。这使我们能够对其进行设计，以便将来可以推广到更大的区域。通过可视化这种传播，我们能够目睹预测的阿片类药物在主要道路上和沿主要道路的传播比简单邻接所能预测的更长。以这种方式联系在一起的县既包括震中县，也包括脆弱县。为了评估我们的外部模型，我们给了它来自所有县的前两年的药物报告数据，然后将其传播到2016年。我们的预测存在人均10 -5 药物报告的错误。在评估我们的内部模型时，我们意识到尽管社会经济因素高度相关，但它们无法准确预测阿片类药物的滥用。

18款表白网页源代码(表白): 18款表白网页源代码(表白),集合了经典款和合并3连款，直接可以发布到网站，来进行表白！！

STM32全系列 Keil MDK pack包（当前最新离线包）: STM32全系列 Keil MDK pack离线包注：由于上传大小限制，除了F0和F1的包，其他的提供链接通过百度云下载。包括以下包，当前最新版本（20200115） Keil.STM32F0xx_DFP.2.0.0.pack Keil.STM32F1xx_DFP.2.3.0.pack Keil.STM32F2xx_DFP.2.9.0.pack Keil.STM32F3xx_DFP.2.1.0.pack Keil.STM32F4xx_DFP.2.14.0.pack Keil.STM32F7xx_DFP.2.12.0.pack Keil.STM32H7xx_DFP.2.3.1.pack Keil.STM32G0xx_DFP.1.2.0.pack Keil.STM32G4xx_DFP.1.1.0.pack Keil.STM32L0xx_DFP.2.0.1.pack Keil.STM32L1xx_DFP.1.2.0.pack Keil.STM32L4xx_DFP.2.3.0.pack Keil.STM32L5xx_DFP.1.1.0.pack Keil.STM32MP1xx_DFP.1.1.0.pack Keil.STM32W1xx_DFP.1.0.0.pack Keil.STM32WBxx_DFP.1.0.0.pack

相关热词 c# 设置窗体为激活 c# 同步发送 c# 多进程锁 c# 读取类的属性和值 c# out 使用限制 c#获取url的id c# update 集合 c# 公众号菜单 c#for迭代 c#指针应用