大数据文件读取导入

轩少最有爱 2016-01-06 06:04:02

系统主要做数据整合，数据源是csv文件，经过程序处理后再导入数据库，但是每次数据量大概有6个G左右，并且是好几个文件，不是一个文件，最小的文件在100多M ，最大的1.4G左右，大部分在 800M左右，现在想请各位帮忙看看怎么处理，

目前处理程序非常消耗资源，并且经常容易出问题，请各位大神帮忙看看！

...全文

74 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

1，WindowsFormsApplication2和WindowsFormsApplication3 工程需要导入到自己的解决方案中 2，WindowsFormsApplication2涉及大文件分页读取技术和listview数据基础的载入,大文件分页读取已测试834MB文件能分页读出，不会卡死 3，WindowsFormsApplication3 主要针对listview 虚拟模式快速载入大数据，已测试 20MB数据大约38万行数据，1.04秒加载并显示

前端读取excel,分批传输到后台，实现前端大数据导入功能

绝对原创，这是我在项目中解决大数据Excel导入时内存溢出问题而编写的Excel行级解析器。同时支持Excel-2003和Excel-2007，excel-2003解析采用poi的eventusermodel模式实现，2007采用xmlreader实现，经项目验证，excel文件20W条数据没有任何问题，仅读取的话2-3分钟解析完毕。网络上有关eventusermodel方式解析的资料太少，我花费时间较多，因此分数较高，但绝对物有所值！源码中有示范解析的测试类，简单易懂。源码运行所需要的lib包，参见 http://download.csdn.net/detail/whatismvc/3694135

在测试的时候，需要造模拟数据，或者是将生产环境的数据导出到测试环境中去，本文记录通过python读取txt文件，并将数据导入mysql数据库 1、示例代码： import pymysql # 打开数据库连接 conn = pymysql.connect(host=localhost, port=3306, user=root, passwd=123456, db=test1) # 使用cursor()方法获取操作游标 cursor = conn.cursor() #通过open（）方法以只读的方式打开文件，编码格式为UTF-8 file = open(d:/test/test

先下载对应phpExcel 的包就行了https://github.com/PHPOffice/PHPExcel 下载完成把那个Classes 这个文件夹里面的文件跟文件夹拿出来就好了。直接写到PHPExcel 这个文件里面的。调用很简单。引入phpExcel 这个类传递对应的excel 文件的路径就好了现在上传到指定的目录，然后加载上传的excel文件读取这里读取是的时候不转换数组了。注意：是Sheet可以多个读取，php上传值要设置大，上传超时要设置长。 header('Content-type: text/html; charset=utf-8'); //设置页面编码 requ

50,530

社区成员

85,608

社区内容

发帖

与我相关

我的任务

javaspring bootspring cloud 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章