怎么样才能把大文件写入到txt文件中，优化io

一梦之殇 2018-08-06 10:37:33

我是从小说网页抓取其中的文本写入到txt文件上，然后找打它的下一页链接重复其上的操作，但是读取时间不长就报错了。想优化下io，希望各位大神给点意见，非常感谢

...全文

296 4 打赏收藏举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

一梦之殇 2018-08-07

打赏
举报

回复

超时时间怎么去设置

wildyy 2018-08-07

打赏
举报

回复

使用filechannel和bytebuffer写文件会加快速度，另外你这个是由于读取服务器时超时了，把超时时间设置长一点就ok

幽饮烛 2018-08-07

打赏
举报

回复

这是网络问题，跟写文件没关系。IP被网站加入黑名单了吧。

都已到中年 2018-08-07

打赏
举报

回复

setConnectTimeout(300000); // 链接超时
setReadTimeout(300000); // 读取超时

代码优化二：使用using语句，针对非托管资源，使用using语句可以自动释放资源，不用再使用dispose()函数，（在栈和堆上的资源为托管资源，托管资源可以自动释放，IO流非托管资源）复制大文件建立一个1024字节倍数的缓存区，通过循环读取文件的内容，复制到对应的文件中，包括图片和视频等。

本文详细介绍了LabVIEW在CSV、TXT和INI文件操作中的实战技巧，包括数据存储、日志记录和动态配置管理。通过性能对比和错误处理方案，帮助工程师高效处理结构化与非结构化数据，提升LabVIEW文件操作的效率和可靠性。

java：实现读取txt文件和将内容写入txt文件（附带源码）

TXT文本分割工具是一款专为处理大容量文本文件而设计的轻量级实用软件，主要用于将体积过大、难以直接操作的TXT文件按指定规则拆分为多个较小的文件。该工具支持多种分割模式，包括按文件大小、按行数、按页数等，满足不同用户的实际需求。其核心功能不仅限于简单的文件切分，更注重分割过程中的数据完整性保障与系统资源的高效利用。通过图形化界面与简洁的操作流程，用户无需具备编程基础即可快速完成复杂文本的拆分任务。工具采用流式读取机制，避免全量加载导致内存溢出，尤其在处理GB级大文件时仍能保持稳定运行。

由于用到的txt存放的数据有几十万行，用getline来读取文件非常慢，搜索了一下可以来优化读取文件的方法。据说用内存映射读取文件速度快，试了一下，但是发现要分行处理数据时，速度还是挺慢的。有关内存映射的介绍，参考别人博客。 http://blog.csdn.net/wcyoot/article/details/7363393 /////////////////////////////

62,620

社区成员

307,251

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章