大概20000多条数据写入csv格式文件速度太慢，怎么办？-CSDN论坛

大概20000多条数据写入csv格式文件速度太慢，怎么办？

C++ Builder > 数据库及相关技术

收藏回复

[问题点数：20分，结帖人lvjack]

⋅SQLite数据库奇怪的时间问题，timestamp显示为1899…… ⋅如何对文件的属性进行编辑 ⋅关于在文档内进行超链接跳转 更多帖子 关注私信空间博客 lvjack 等级 本版专家分：9766 结帖率 98.18%: 用以下循环写入，strGen 是AnsiString，Query是ADODataSet

for ( int i=0; i < Query->RecordCount;i++)
    {
      for(int j=0;j<Query->FieldCount;j++)
      {
        strGen=strGen + Query->Fields->Fields[j]->AsString + ",";
      }
      Query->Next();
      Application->ProcessMessages();
      //SBar1->SimpleText="写入第 " + IntToStr(i) + " 条数据";
      strGen=strGen +  "\r\n" ;
     }
写1000多条数据用了9秒，写20000多条数据时等了7分钟还没完，等不及将进程杀掉了，各位有什么好的办法么？

2003-03-20 16:17:36

点赞只看楼主引用举报楼主收起

展开阅读全文

⋅pb调用vc dll 字符串char *参数的问题 ⋅script调用ocx问题 ⋅help me hook奇怪的问题 更多帖子 关注私信空间博客 houzy123 等级 本版专家分：2180: //Application->ProcessMessages();

2003-03-20 17:08:47

点赞只看TA 引用举报 #1得分 0

⋅lluunn007 这是你失散多年的兄弟吗？ ⋅某院士大言不惭说取代这个取代那个的 ⋅程序员自己写的程序不能在自己的个人网站下载咯 更多帖子 关注私信空间博客 yesry 等级 本版专家分：6604: SQL Server自带的导出功能

2003-03-20 17:12:49

点赞只看TA 引用举报 #2得分 0

⋅lluunn007 这是你失散多年的兄弟吗？ ⋅某院士大言不惭说取代这个取代那个的 ⋅程序员自己写的程序不能在自己的个人网站下载咯 更多帖子 关注私信空间博客 yesry 等级 本版专家分：6604: 这一句非常费时
strGen=strGen + "\r\n" ;

2003-03-20 17:13:52

点赞只看TA 引用举报 #3得分 0

⋅此用户还没有发表过任何帖子 关注私信空间博客 PoneyChen 等级 本版专家分：476: 为何要将这么多纪录放在strGen中，可以使用STL iostream写入文件，很快的

2003-03-20 17:32:17

点赞只看TA 引用举报 #4得分 0

⋅SQLite数据库奇怪的时间问题，timestamp显示为1899…… ⋅如何对文件的属性进行编辑 ⋅关于在文档内进行超链接跳转 更多帖子 关注私信空间博客 lvjack 等级 本版专家分：9766: //Application->ProcessMessages();不管用

TO yesry()
我是将查询结果写入CSV文件，而且用的是Oracle数据库
对于：
这一句非常费时
strGen=strGen + "\r\n" ;
有什么解决办法？

To PoneyChen(Poney)
我是个初学者，而且C++基础很差，你能说的更清楚点么？我不明白STL iostream写入文件怎么用

2003-03-20 18:02:13

点赞只看TA 引用举报 #5得分 0

⋅SQLite数据库奇怪的时间问题，timestamp显示为1899…… ⋅如何对文件的属性进行编辑 ⋅关于在文档内进行超链接跳转 更多帖子 关注私信空间博客 lvjack 等级 本版专家分：9766: 没人讨论：（
大家是没什么更好的办法还是嫌分少？

2003-03-21 09:29:11

点赞只看TA 引用举报 #6得分 0

⋅windows2000server的出现部分软件setup无法正常运行的状况！！！ ⋅tomcat的自动检测问题 ⋅请问如果通过命令行进行远程控制？ 更多帖子 关注私信空间博客 scy_cd 等级 本版专家分：75: 建议使用Oracle存储过程来实现，你可以查一查UTL，速度应该是最快的，我曾经测试过4个字段100万条记录大约用2分钟

2003-03-21 09:41:34

点赞只看TA 引用举报 #7得分 0

⋅程序在XP下出现同样的任务进程，同时无反应在，如何处理？ ⋅　调试BUG　苦恼的XE7 ⋅先进先出，用SQL求未出货数据 更多帖子 关注私信空间博客 PPower 等级 本版专家分：25708: strGen是定義成AnsiString吧，那樣不慢才怪。
因為每寫一次就要重新分配一次內存，用來保證有足夠的空間存放字符串，而你這字符串實在太長了。
這種情況，應該用文件流來做(不要用內存流)，這樣就不會因為要大量的申請內存而讓速度變得象牛一樣慢。

2003-03-21 09:58:18

点赞只看TA 引用举报 #8得分 0

⋅谁用BCB写过IE的扩展工具栏？ ⋅Indy.net发送邮件后，接收到发现中文乱码 ⋅[讨论]ChinaBcb转为iBorland 1.0的改版计划 更多帖子 关注私信空间博客 wildhorse01 等级 本版专家分：2149: 听取PPower(榜榜榜...XunSun)的建议吧
并且，我认为放到线程单独处理比较好吧！

2003-03-21 10:08:09

点赞只看TA 引用举报 #9得分 0

⋅程序在XP下出现同样的任务进程，同时无反应在，如何处理？ ⋅　调试BUG　苦恼的XE7 ⋅先进先出，用SQL求未出货数据 更多帖子 关注私信空间博客 PPower 等级 本版专家分：25708: 下面是某個類中的一個方法，可參考一下。
bool TXT_FixSeparator::SaveToFile(const char *FileName,TDataSet *DataSet)
//CSV OutPut
{FILE *fstream = fopen(FileName,"w");
int i,count ;
char *s ;
if(!fstream) return false;
count = (DataSet->FieldCount < FieldCount)?DataSet->FieldCount:FieldCount ;
DataSet->DisableControls();
for(DataSet->First();!DataSet->Eof;DataSet->Next())
  {
   s = StrECopy(buff,DataSet->Fields->Fields[0]->Text.c_str());
      //用StrECopy要比+操作符快。
   for(i = 1 ; i < count; ++i)
     {
      *s++ = separator ; //default separator = '0x09' ;//TAB分隔符。
      s = StrECopy(s,DataSet->Fields->Fields[i]->Text.c_str());
     }
   fputs(buff,fstream);
  }
DataSet->EnableControls();
fclose(fstream);
return true;
}

2003-03-21 10:08:52

点赞只看TA 引用举报 #10得分 12

1 2

收起

收藏回复

lvjack

等级：

关注私信 TA的帖子

java写入CSV文件太慢_ArangoDB - csv文件上的arangoimp在大型数据集上非常慢: 我运行了一个脚本来更改节点的csv文件的格式以具有_key属性 . 并且边缘具有_to和_from属性 . 当我在一个非常小的数据集上尝试这个时，事情很完美，我可以在UI上看到图形并执行查询 . 答对了！现在，我正...

十万条数据的csv文件 有多大_数据分析从零开始实战 | 基础篇（二）: 上节补充CSV逗号分隔值(Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号)，其文件以纯文本形式存储表格数据(数字和文本)。TSVTSV 是Tab-separated values的缩写，即制表符分隔值。...

mysql导入csv数据慢_php查询返回数据过大导入csv文件很慢: 框架用的是ci,数据库是sqlsrv(sql server 2008)，sql查询返回的结果集有2万条数据，我在ci框架里面执行这个sql语句，网页一直在转圈，2万条...个人觉得应该是返回数据太多导致慢的，返回的是2万条数据，20个字段左...

python open与csv.writer将数据追加到csv文件中: 有时我们想从另一个 文件数据追加到另一个文件中，特别是执行爬虫程序时，不可能让数据一直积累的保存在内存中，积累的数据量多了会使得程序运行得越来越慢，当爬取的数据量很大、爬取的时间需要很长时，有可能程序...

python多进程写入mysql_Python实现多进程导入CSV数据到 MySQL: 两个很大的 CSV 文件，分别有 3GB、2100 万条记录和 7GB、3500 万条记录。对于这个量级的数据，用简单的单进程／单线程导入会耗时很久，最终用了多进程的方式来实现。具体过程不赘述，记录一下几个要点：批量插入...

csv文件导入 navicat会少了很多记录_如何快速导入数据: 有时候导入进度慢，电脑风扇狂转真的很让人崩溃，其实有些小技巧是可以让导入更快速的，本篇文章笔者会谈一谈如何快速的导入数据。注：本篇文章只讨论如何快速导入由逻辑备份产生的SQL脚本，其他文件形式暂不讨论。1...

MySQL 面试题: MySQL 涉及的内容非常非常非常多，所以面试题也容易写的杂乱。当年，我们记着几个一定要掌握的重心：重点的题目添加了【重点】前缀。索引。锁。事务和隔离级别。因为 MySQL 还会有部分内容和运维相关度比较...

python写向数据库导入一个有100万行的csv文件，提高速度，还是要95秒: （1小记录）python写向数据库导入一个有100万行的csv文件，速度终于快了一开始用load infile直接整个文件导入，结果Python报错:MemoryError 一开始用load infile直接整个文件导入，结果Python报错:MemoryError 导入...

python 读取excel太慢_Python读取CSV和Excel: 当下 ║ 2019.1.1人生苦短，我们都要用Python,不定期更新Python相关知识点知识点CSV逗号分隔值(Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号)，其文件以纯文本形式存储表格数据...

Pandas处理百万条csv或excel数据，提高效率np.where用法: 最近在工作中遇到一个问题：需要对200万条csv数据进行清洗判断，考虑到在hive中不好操作循环，数据是从hive上下载下来的，然后考虑用python解决：数据处理需要先对行数做判断，然后根据该行某一列的数据值跟200作...

C#基础教程-c#实例教程，适合初学者: C#基础教程-c#实例教程，适合初学者。第一章 C#语言基础本章介绍C#语言的基础知识，希望具有C语言的读者能够基本掌握C#语言，并以此为基础，能够进一步学习用C#语言编写window应用程序和Web应用程序。...

oracle导入大量csv_大量数据从Oracle数据导入导出的方法: 经常会遇到这样的需求：Oracle 数据表跟文本或者文件格式进行交互；即将指定文件内容导入对应的 Oracle 数据表中；或者从 Oracle 数据表导出。其他数据库中的表跟Oracle数据库进行交互。若是少量数据；可选择的解决...

谈谈MATLAB：CSV数据提取与处理: MATLAB：Excel数据提取与处理

python mysql写入速度加快_Python3 pandas如何加快SQL Server读写速度?: 1. 应用场景描述：需要将每只股票的分钟数据写入MS SQL Server中，目标格式如下：共2800+只股票(每只股票为一个单独的csv文件)，时间跨度2年，总计大概3亿+条数据。2. 初步尝试：利用pandas.DataFrame.to_sql写入...

kettle优化抽取数据速度_kettle 数据提取效率提升: 最近发现KETTLE抽数越来越慢，特别是增量INSERT/UPDATE的时候，速度已经达到了令人发指的地步(从一个400W数据规模的表中每天增量量抽取30W数据的TRASFORMATION 竟然要20个小时！！！！读取速率是5条/s......)，这个...

csv数据筛选 matlab_谈谈MATLAB：CSV数据提取与处理: MATLAB：Excel数据提取与处理关于环境一看就存在的难点整容不是必要的第一步：获得黑名单-拉出所有待处理的CSV文件统一服装容易管理第二步：处理黑名单-提取所需的参数不做不会发现的问题地方官上线第三步：归类黑...

sklearn导入csv文件_机器学习sklearn之随机森林（第三部分：随机森林在乳腺癌数据上的调参过程）上...: 本文是机器学习sklearn的系列文章之一，下面是前面文章：机器学习sklearn系列之决策树：飘哥：机器学习sklearn系列之决策树机器学习sklearn之... 实例：随机森林在乳腺癌数据上的调参终于可以调参了，那我们就来...

并行转换csv文件为libffm格式: 在使用libffm或者xlearn时，需要数据文件是libffm格式的，而我们一般拿到的数据都是csv格式或类csv格式的，所以需要转换。最简单的做法是把csv一行一行地读入，然后对每个特征进行编码处理，然后拼接成完整的一...

csv导入mysql_Python玩转MySQL，大数据导入不再难！: 我们还会遇到需要将大批量数据导入数据库的情况，又该如何使用Python进行大数据的高效导入呢？本文会一一讲解，并配合代码和实例。01 背景我是在Anaconda notebook中进行连接实验的，环境Python3.6，当然也可以在...

[转]提升SQLite数据插入效率低、速度慢的方法: 前言SQLite数据库由于其简单、灵活、轻量、开源，已经被越来越多的被应用到中小型应用中。甚至有人说，SQLite完全可以用来取代c语言中的文件读写操作。因此我最近编写有关遥感数据处理的程序的时候，也将SQLite引入...

python 并行读取文件_数据库并行读取和写入(Python实现): 这篇主要记录一下如何实现对数据库的并行运算来节省代码运行时间。...显然，几十万条数据要是一条条读写，然后在本机上操作，耗时太久，可行性极低。所以，如何有效并行的读取内容，并且进行操作...

java springmvc用线程池高效导出百万级csv数据,前端展现进度条: 领导说公司的报表导出太慢还没有进度条展示,以前用的poi操作excel导出xls,从数据库查询数据,写入本地文件,然后读取本地文件下载效率低下,特别是数据量大的时候。所以我对后台cms系统导出做了优化，采用导出csv格式，...

百万行csv数据导入mysql的处理: 公司有个企业精准营销系统项目，需求就是客户导出他们的客户信息数据和交易数据，都是csv文件，交易数据级别是百万级别，甚至达到千万，用我们系统进行分析时，需要...当数据达到100w行时，导入用时是190秒，太慢了。

Python序列化---Pickle模块【大量数据的情况下，如何提高Python读写数据的速度？】...: 点击上方“潜心的Python小屋”关注我们，第一时间推送优质文章。前言大家好，我是潜心。最近在复现2018年阿里提出的CTR预估模型---DIN，关于原生数据的处理以及数据集的构建，因为...

数据分析之Pandas学习笔记（四）（文件读写，数据库读写）: 数据分析之Pandas学习笔记（三）（文件读写，数据库读写）CSV文件(xxx.csv)读取pd.read_csv()写入Excel文件(xxx.xlsx)读取写入用代码自动创建文件，文件夹 CSV文件(xxx.csv) 读取pd.read_csv() pandas.read_csv()...

matlab 写excel 慢_循环处理与保存excel数据，数据量不大但是耗时过长: close allclearclc[data,text,raw]=xlsread('中游WATERNET-...%读取excel数据文件[row1 col1]=find(cellfun(@(x) strcmp(x,'Soil_Moisture_4cm'),raw(:,2)));%查询含特定字符串的数据[row2 col2]=find(cellfun(@(x) ...

Laravel导出大量数据到表格csv及长数字显示不全问题: 上面提到的那两种方式都不适用于1W以上的数据量导出，速度相当慢，甚至很可能由于内存及超时的原因无法实现导出，但是线上实际需求如订单导出等，随便数量都可能达到1w，甚至百w、千w条。那么，这个时候，我们要...

python在linux下运行速度_Linux 系统运行速度太慢的关键原因，看看这篇: Linux 系统运行速度太慢的关键原因，看看这篇我们在搞清楚如何加速Linux计算机之前，需要知道哪些方法可以帮助我们找到引导时启动的服务、以更高或更低优先级运行的进程、CPU运行状况、内存是否塞满了过多数据，还要...

python csv数据处理将类型数据改变为数字_Python之美——一只数据狗的笔记[长期更新]: 本人研究工作皆涉及大量的数据处理工作，PY和R作为数据分析的两驾马车，得其一者得天下。另外，我接触的许多软件皆比较小众，每次在涉及二次开发时，很多都是Matlab之流不支持的，而PY又往往是官方指定接口。因此，...

相关热词 c# 数据结构和算法 c#+lable加下划线 c# 结构体函数参数 c# 委托本类 c# 页游辅助 c#绘制虚线乘法表c# c# 引用反射类 c# 激活进程 c# cs 编译