大量CSV数据读取，如何保证效率

2010-02-23 03:54:05 1.5k 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

kaggle社区LLM Classification Finetuning 预测用户在一个由大型语言模型（LLMs）驱动的聊天机器人之间的正面交锋中会偏好哪些回应。获得来自聊天机器人竞技场（Chatbot Arena）的对话数据集，其中不同的LLMs对用户的提示生成答案。通过开发一个胜出的机器学习模型，帮助改进聊天机器人与人类的互动方式，并确保它们更好地符合人类的偏好。实际上是进行一个序列的分类。阅读详情

现在读取CSV，客户说最大会出现100万条数据的情况，大小有500M，，，，

结果读取的时候，还没等到对数据进行望数据库内插入时，有的机器出现了内存溢出。

读取的时候的代码如下：
csvFormatString = FileIO.FileSystem.ReadAllText(fileName, Encoding.GetEncoding("SHIFT-JIS"))

作为对应案，
现在只能考虑是循环读取了，
1万件为单位，循环100次来处理这样100万件数据的CSV。
不知道哪位同学有什么高招能解决这样的问题。

...全文

共享最近邻相似度共享最近邻相似度第三十四次写博客，本人数学基础不是太好，如果有幸能得到读者指正，感激不尽，希望能借此机会向大家学习。本文作为基于图的聚类的第二部分，主要针对“共享最近邻相似度（Shared Nearest Neighbour）”以及使用该度量的“Jarvis-Patrick聚类”进行介绍。其他基于图的聚类算法的链接可以在这篇综述《基于图的聚类算法综述（基于图的聚类算法开篇）》的结尾找到。 S... 阅读详情

wxylvmnn

VB 16,718 成员 110,520 内容

+ 关注 + 加入社区

切换为时间正序

兔子-顾问 2010-02-24

打赏
举报

引用 5 楼 zhoufoxcn 的回复:

引用 3 楼 wuyazhe 的回复:zgke说的没错，但是，如果有非字符的，转换效率很差的，这样的东西最好用c/c++做，里面的fscanf还是效率比c#快太多了。不是一个数量级的。
汇编还会更快，你为什么不建议使用汇编呢？

一次全部读取太耗内存，一次一行也不可取，可以在二者之间寻求一个平衡，还有在使用StringBuilder等来提高缓冲能力，还有优化算法等，可以从某些程度上提高性能，但是数据量大，不管如何优化总是需要花费一些时间的。

你这话说的，你肯定没实际项目中因为这个，困住过。
这的确是.net的美中不足，汇编，那你怎么不说01算了，你这不抬杠么。
因为如果明文保存的数据含有浮点数，读取速度差的惊人，当时一行一行读速度还是不满足，考虑了c++的scanf的，但最终还是我的项目用了2进制直接存取来提高速度。

楼主考虑的就是效率，我给说个效率方面的提升方法也招惹到你MVP大人了！