如何将大量内容快速写入TXT文档-CSDN论坛

如何将大量内容快速写入TXT文档

.NET技术 > C#

收藏回复

[问题点数：40分，结帖人RainStarNetwork]

⋅C# 调用api 问题 ⋅如何压缩数据库备份文件 ⋅如何把范围参数传入存储过程 更多帖子 关注私信空间博客 RainStarNetwork 等级 本版专家分：99 结帖率 100%: 现有大量数据要写入TXT文档，数据通过一个循环组合成了一个字符串。然后要写入部分文档
我先行的C#代码是
for (int i = 0; i < Records.Count; i++)
{
     string info = string.Empty;
     info = GetRecordsInfo(Records[i]);
     File.AppendAllText(filename, info);
}
其中filename为文件名，info通过一个函数运算得到一个字符串。
现在问题是这样的话频繁操作IO，速度也不快。
试过改成如下
string info = string.Empty;
for (int i = 0; i < Records.Count; i++)
{
     info += GetRecordsInfo(Records[i]);

}
  File.AppendAllText(filename, info);
但是速度一样不快，原因是Records.Count数量比较大， GetRecordsInfo(Records[i])得到的内容比较长
请问有没有更好的方法，请高手们提示一下。谢谢

2010-06-30 12:49:42

点赞只看楼主引用举报楼主收起

展开阅读全文

⋅.........

⋅高分求 C# 长字符串压缩/解压缩算法

⋅[建议] 建议将 .NET大版下的 LINQ 小版块更名为 EntityFrameowrk/LINQ 版块

更多帖子

关注私信空间博客

版主

兔子党-督察

等级

本版专家分：172907

勋章

微软MVP 2016年4月荣获微软MVP称号
2015年4月荣获微软MVP称号
2014年4月荣获微软MVP称号
2013年4月荣获微软MVP称号
2012年4月荣获微软MVP称号
2011年4月荣获微软MVP称号

红花 2010年9月挨踢职涯大版内专家分月排行榜第一

黄花 2010年12月 .NET技术大版内专家分月排行榜第二
2010年10月挨踢职涯大版内专家分月排行榜第二
2010年8月挨踢职涯大版内专家分月排行榜第二

蓝花 2011年7月 .NET技术大版内专家分月排行榜第三
2010年11月 .NET技术大版内专家分月排行榜第三: 另开一个线程让系统在那边自己慢慢写
你该干吗干吗

2010-06-30 12:55:13

点赞只看TA 引用举报 #1得分 2

⋅导入数据时候，newsequentialid()不能接着导入的数据的id值 ⋅我出了一份面试题，大家帮忙作作看，看看难度是否适中。 ⋅换工作散分。 更多帖子 关注私信空间博客 winner2050 等级 本版专家分：55017: 同意楼上。

2010-06-30 13:01:36

点赞只看TA 引用举报 #2得分 0

⋅通告！vs 在64位系统上一个小bug ⋅【已反馈】唉，我眼睛瞎了 ⋅不玩了，散分 更多帖子 关注私信空间博客 wanghui0380 等级 本版专家分：77877 勋章 进士 2019年总版新获得的技术专家分排名前十 铜牌 2020年4月总版技术专家分月排行榜第三 红花 2020年10月 .NET技术大版内专家分月排行榜第一 2020年4月 .NET技术大版内专家分月排行榜第一 黄花 2020年8月 .NET技术大版内专家分月排行榜第二 2020年6月 .NET技术大版内专家分月排行榜第二 2019年11月 .NET技术大版内专家分月排行榜第二 2019年11月 .NET技术大版内专家分月排行榜第二 2019年2月 .NET技术大版内专家分月排行榜第二: 1。我在想为啥不直接使用xml，如果Records是dataset或datatable你大可以直接write到xml里
如果Records是普通对象，你大可以直接序列化

2。如果是csv文件，则大可以直接是sql直接输出他，由数据库直接生成csv文件的速度比较快

3。如果是常规型文本，我更愿意使用T4模板引擎来完成（虽然模板引擎的生成速度未必很快，好在数据和格式分开，俺们只提供数据就成，格式模板引擎会自己按规则完成）

2010-06-30 13:01:53

点赞只看TA 引用举报 #3得分 5

⋅C# 调用api 问题 ⋅如何压缩数据库备份文件 ⋅如何把范围参数传入存储过程 更多帖子 关注私信空间博客 RainStarNetwork 等级 本版专家分：99: 我已经是在线程中进行上述处理，但是太慢，想优化一下。

我要写入的内容要经过一定的处理才能得出字符串的。有人建议先写入内存，然后再一次性写入会比较快，但是第二种方法好像就是如此，但由于太多的字符串相加操作，反而更慢了

2010-06-30 13:07:15

点赞只看TA 引用举报 #4得分 0

⋅aofengdaxia的留言板 ⋅我把phoneGAP的页面放到了服务器端，然后通过loadUrl获得服务器端页面，调用摄像头，无法调用，请问如何解决呢 ⋅提问一个关于闭包的问题 更多帖子 关注私信空间博客 版主 aofengdaxia 等级 本版专家分：2288: 可以使用StringBuilder。把内容全部写到里面，然后一次性写入文本，看看是不是快一些

2010-06-30 13:08:09

点赞只看TA 引用举报 #5得分 20

⋅100分求解,如何在VB.net中声明API函数

⋅一个简单的算法问题,如何循环生成一个排列组合表

⋅在用.net2005 开发PDA程序时关于datagrid控件使用的一个问题

更多帖子

关注私信空间博客

csdnzm

等级

本版专家分：1966

勋章

签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！: StringBuilder 处理字符串快很多

2010-06-30 13:29:57

点赞只看TA 引用举报 #6得分 5

⋅朋友技术转行送快递，京东快递员的工作经历 ⋅不少人玩股票，复利的力量很强大 ⋅你们的工作电脑有监控吗？ 更多帖子 关注私信空间博客 版主 加油馒头 等级 本版专家分：5747: 一次写入内存，数据量大会卡死

2010-06-30 13:33:10

点赞只看TA 引用举报 #7得分 2

⋅C# 开发FC摸拟器童年时候的回忆 更多帖子 关注私信空间博客 A_A66 等级 本版专家分：232: 支持一个！

2010-06-30 13:35:17

点赞只看TA 引用举报 #8得分 0

⋅放分了~~来人啊~~ ⋅硬盘问题,超级BT.100分求援 ⋅电脑cpu占用率过高,200分 更多帖子 关注私信空间博客 cancerser 等级 本版专家分：15511: 没有啥办法
小学题，一个水塘的水流到另一个水塘，在只有一个口的情况下你咋整都那样
而且一个池塘只能开一个口。
流就这点缺陷。

分成多份，同时存多个文件吧，只要系统IO顶的住就快很多

2010-06-30 13:41:01

点赞只看TA 引用举报 #9得分 5

⋅问个老问题：Timer一直开着如何才不溢出？ ⋅C#使用API 更多帖子 关注私信空间博客 s8975565 等级 本版专家分：876: 引用 9 楼 cancerser 的回复:
没有啥办法
小学题，一个水塘的水流到另一个水塘，在只有一个口的情况下你咋整都那样
而且一个池塘只能开一个口。
流就这点缺陷。

分成多份，同时存多个文件吧，只要系统IO顶的住就快很多

+1

2010-06-30 15:04:51

点赞只看TA 引用举报 #10得分 1

1 2

收起

收藏回复

RainStarNetwork

等级：

关注私信 TA的帖子

java实现大量数据写入文件: import java.io.BufferedWriter; import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.io.OutputStreamWriter; import java.io.PrintWriter;...import java.text.NumberF....

将txt文本读入C中（txt数据量大），将C中数据写入txt: #include "stdio.h" #include #define BUFX 3 /////这里的3,10 只是举例，真正用的时候是204882048的矩阵， #define BUFY 10 void main() { FILE *p; int m,n,i,j; ... b = (int *)malloc(BUFX *BUFY *sizeof

python批量写入txt文件: #python3.7 global IDctrl #用于批量生成txt IDctrl = 1 for i in range(3): filename = 'G:/TrainingSetChange/' + str(IDctrl) + '.txt' #批量生成的文件名 for j in range(5): f = open(filename...

linux之如何快速在文本里面写入内容: 一、创建文件 touch file 二、写入内容 echo "hello word">>file 图片举例

python写入大量文件问题: 今天准备把几个txt文件合并成一个文件时，用f.write方法写入时，发现程序执行完了，本应该十万行左右的txt记录，实际上只被写入了4k多行。网上查了是因为程序执行速度太快，以至于读到内容还没有完全写入文件，...

用Python将较大内容写入文件的注意事项: 在我们利用python做数据分析时，往往会产生较大的数据，这时我们要将数据内容写入文件中一般有两个方法： 1. 利用python的pandas库的数据结构DataFrame将每次处理的结果先存起来，最后等所有的处理过程结束，用...

Python将同一文件夹下大量txt存入一个Excel文件(xlwt\openpyxl)以及批量合并txt的超快方法: 文章目录数据说明用xlrd和xlwt读写excel使用openpyxl库读写excel最简单的批量合并txt（适用海量数据）win10批量合并办法：数据说明这个数据是我们组找的19年全国大学生数学建模竞赛C题的数据集，是上海市出租车GPS...

python dataframe 写入到txt文档中，及写入中文乱码问题: Pandas ...pandas提供了大量能使我们快速便捷地处理数据的函数和方法。 DataFrame DataFrame是Pandas库中处理表的数据结构，可看作是python中的类似数据库的操作，是Python数据挖掘中最常用的工具 ...

Python从数据库读取大量数据批量写入文件: 下面是代码作用是将数据从数据库读取出来分批次写入txt文本文件，方便我们做数据的预处理和训练机器学习模型。 #%% import pymssql as MySQLdb #这里是python3 如果你是python2.x的话，import MySQLdb #数据库连接...

MATLAB: 如何读取txt中的文件如何将数据批量写入数据文件名递增: 现在有一个文件夹里面有50个左右的txt文件 每个文件大概三万行两列第一列是字符串第二列是浮点数字我只需要读第二列现在我想写一个.M文件批量读取这个文件夹里的txt文件 读取完以后的数组变量名就是txt的...

C#实现大数据量TXT文本数据快速高效去重: 对几千万的TXT文本数据进行去重处理，查找其中重复的数据...以下代码将重复和不重复数据进行分文件存放，提升效率的关键是用到了HashSet。 TextReader reader = File.OpenText(m_dataFilePath); string[] files = ne

txt数据文件批量导入mysql: 3 选中你要导入的数据文件 4 选择数据间隔 5 第一个数据行为第二行开始，我的数据时间格式分隔符为- 6 可以选择新建，也可以导入已经存在的表，前提是表字段名称一样，数据结构一样。 7 数据库...

Java将oracle数据导出为txt文件: 可以把oracle中大量数据导出为txt格式，便于在线下载、存储等后续处理。已经测试过，可以执行。

3秒钟完成50万条并发日志 文件写入: 3秒钟完成50万条并发日志 文件写入 前言目前本人从事 JAVA开发之前讲过《你的日志组件记录够清晰嘛？--自己开发日志组件 Logger》日志文件，当你是羡慕java下面的log4j，打印日志够清晰，可以很清晰定位打印...

JAVA NIO(五)：如何在5秒内写入10G的文本数据: 首先说本机的性能，采用AS SSD Benchmark进行评测，写入能力大约在422M每秒，计划连续写入文本数据，直到达到要求为止(5G数据与10G数据)，测试环境如下：环境版本 JDK 1.8.0_131 操作系统 Windows 10 专业版 ...

C产生正态分布随机数写入文件并读出后用快速排序法排序: 基于快速排序法的正态随机数排序使用中心极限定理产生正态分布随机数使用快速排序法进行排序读写数据到记事本程序计时 #include #include #include #include #define N 1000000double norm(double mu,double...

【python Excel】如何使用python将大量数据导出到Excel中的小技巧之一: 如何使用python将大量数据导出到Excel中的小技巧 python Excel相关的操作的module lib有两组，一组是xlrd、xlwt、xlutils，另一组是openpyxl, 但是前一组（xlrd，xlwt）比较老，只能处理由Excel 97-2003 或者Excel ...

Android利用FileChannel高效写float数组（大量数据）到文件，读文件到float数组: 在项目中遇到解析模型数据出现一大堆float数据，处理float数组数据非常耗时间，为了更快显示模型，方案是快速读取已经解析好的数据文件，并转为float数组使用。难点即是：如何快速高效写float数组到文件，并且能够...

matlab批量txt文件导入，跪求大神给码。。。！！！！！！！！！: matlab批量txt文件导入，跪求大神给码。。。！！！！！！！！！如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表...

MySql 中导入txt文本文件数据1: 其实的这个问题是mysql中的一个核心问题，既...3.直接copy 数据文件既冷备份说说的详细，就给积分，那就说详细些一.使用sql语句完成mysql的备份和恢复可以使用select into outfile语句备份数据，并用load

多线程实现百万级数据快速写入数据库: 参考文章：Java-快速读取百万级数据文件，插入数据库最近面试被问到如何快速将百万级数据保存到数据库。当时回答不理想，事后总结如下。主要思路： 1.首先将数据一次读入到内存（如果文件超过系统内存，会有...

入门学习Linux常用必会60个命令实例详解doc/txt: 文件为doc版，可自行转成txt，在手机上看挺好的。本资源来自网络，如有纰漏还请告知，如觉得还不错，请留言告知后来人，谢谢！！！！！入门学习Linux常用必会60个命令实例详解 Linux必学的60个命令 Linux提供...

MySQL 快速地从文件中插入大量数据记录的方法: LOAD DATA INFILE 命令语句从一个文本文件中以很高的速度读入一个表中。如果指定LOCAL关键词，从客户主机读文件。如果LOCAL没指定，文件必须位于服务器上。 LOAD DATA [LOW_PRIORITY] [LOCAL] INFILE 'file_...

java从oracle中读取大量数据写出到文件: java从oracle中读取大量数据写出到文件背景：项目中需要从oracle中读取表字段并以指定间隔符拼接字段，输出到txt。每张表的数据量大概在2000W左右，因为是只需要读一张表指定字段的全部数据，也不需要考虑查询优化...

Java-快速读取百万级数据文件，插入数据库: 将一批Txt的文本数据插入数据库，数据量特别大，单个txt文件都有300多M，数据约200w多条，放在ssd盘上通过Notepad++打开都得加载将近5分钟左右(可能我的ssd硬盘比较烂)。相关资料参考链接： 1.java连接mysql数据库...

Java 追加写入文件: 广州疯狂软件学院拥有三大课程体系包括：Java课程，Android课程，iOS课程，疯狂...　java中，对文件进行追加内容操作的三种方法! 　import java.io.BufferedWriter; 　import java.io.FileOutputStream; 　impo...

java从数据库读取百万级数据保存到text文件中，速度慢，怎么解决: 代码如下，做一个数据脚本的备份与还原，从数据库查询所有记录，拼接成插入语句，数据库中有600多万条数据，在自的电脑上试，写到txt文件中足足花了半个小时的时间啊。。。。。不知道哪里有问题，麻烦各位指点一下 ...

批量处理大量TXT格式的数据导入到数据库中: --最终的存储表CREATE TABLE [dbo].[tab](filename varchar(100), [列 0] [varchar](50) NULL, [列 1] [varchar](50) NULL, [列 2] [varchar](50) NULL, [列 3] [varchar](50) NULL, [列 4] [varchar](50) NULL, [列...

php 快速读取txt或文本: 一。读取第一行后删除 $fn = "list2.txt"; $f= fopen($fn, "r"); $line = fgets($f); ob_start(); fpassthru($f);...file_put_contents($fn, ob_get_clean() );...二、文件写入最后行file_put_contents

JAVA查询Oracle数据库导出成txt文本: import java.io.FileOutputStream; import java.io.PrintStream; import java.sql.Statement; import java.sql.Connection; import java.sql.DriverManager; import java.sql.ResultSet;...import java.sql.SQLExcepti

相关热词 c# 导入c++类 c#中文字符串乱码 c# 申请行数动态的数组 c#前台拆分join c#文本 c# char 最大值 c# word转换二进制 c#加入分割区 c#集成开发工具 c# 浏览文件的控件