java excel mysql 性能解决方案

zzh_123456 2015-04-23 09:01:28

业务规则：1w条的excel表格导入mysql数据中，同时要校验数据的完整性和合法行以及判断是否是第一次导入；excel中每行记录对应数据库中两个表；原来的方案是把excel直接导入到临时表中，然后通过存储过程再把临时表数据中满足条件的数据抽取到目标表中；现在发现一个问题导入到临时表话费了将近100秒，再通过存储过程抽取到目标表（占时还没有写存储过程转换）中又将花费好多时间这给用户带来的体验不是很好。
在这里请问各位有没有好的解决方案！！！！比如有好的技术解决方案或业务解决方案都可以

...全文

180 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

Punchme 2015-04-24

打赏
举报

回复

我觉得你的性能瓶颈在excel的数据读取和校验把数据库部分抽离出来，只跑一个excel的相关代码看看呢

豫让_______ 2015-04-23

打赏
举报

回复

excel导入到临时表用的什么方法呢，先看看这步花了这么长时间的问题在哪儿嘛，一万条数据肯定不会花这么长时间的。也可以用java读取excel数据，处理得到需要的数据，然后批量操作。

zzh_123456 2015-04-23

打赏
举报

回复

解析excel插入临时表的这个过程瓶颈在插入数据库这里，解析一行excel中一条记录插入数据库一条，

在互联网公司中，MySQL用的非常广泛，通常系统产品实现初期一般要求实现功能，然后再后期数据量不断增大的情况下，系统的性能就出现了问题，其中MySQL性能影响占据很大一部分，所以我们需要了解MySQL原理，以及优化的专业知识，才能对mysql性能优化得心应手。学习该课程的价值：1增加自己的知识深度，学习完MySQL原理，其他数据库产品类似，达到触类旁通。2、一般企业或者大厂都要求会MySQL性能优化，面试过程也会问到，学会后不仅提高自己的专业水平，而且可以给自己跳槽涨薪机会。本课程基于电商环境测试数据讲解，数据量400w+。课程结尾会基于真实的环境进行MySQL调优讲解，让大家在实战中掌握MySQL性能知识，能够把调优技术真实用到实际生产环境中。本课程包含的技术： IDEA集成开发工具 MySQL 架构存储引擎SQL优化基础知识MySQL日志执行计划MySQL索引Spring Boot Spring CloudMysql性能优化实战等

产品需求产品经理需要导出一个页面的所有的信息到 EXCEL 文件。需求分析对于 excel 导出，是一个很常见的需求。最常见的解决方案就是使用 poi 直接同步导出一个 excel 文件。客户体验 & 服务性能客户体验如果导出的文件比较大，比如几十万条数据，同步导出页面就会卡主，用户无法进行其他操作。服务性能导出的时候，任务比较耗时就会阻塞主线程。如果导出的服务是暴露给外部(前后端分离)，...

Java 与 Mysql 时间相差八小时: 转载自https://blog.csdn.net/weixin_44653386/article/details/103529962 在项目中发现，Java获取时间插入到数据库少了8小时其实初衷是想做定时去跑我需要的任务，然后把过程写回我的数据库表中。实际运行过成功发现，数据库表中的数据与程序实际执行的时间，相差了八个小时。这样导致我当天凌晨1点执行完程序，但是数据库里却是上一天的时间，这样是远远不对的。例如：程序执行完时间：数据库中写入时间：解决

出自: 腾讯课堂 700多分钟干货实战Java多线程高并发高性能实战全集 , 我学习完了之后,我做了个笔记. 1.案例背景某个MySQL服务器的user表有100万条数据,请运用多线程并发编程等相关基础知识,将这100万条数据秒级(8秒内)导出到若干Excel文件. 实际需求如果产品经理说要弄到一个Excel文件的话,你可以跟产品经理要提建议的,因为你100万条数据往一个Excel里面保存的话那么你的文件会很大,而且看数据也不方便,也会很卡. 如果你把一百万条数据导出到多个Excel里面,一个Excel里

web项目中需要有将数据导出excel的操作需求。曾经尝试过几种方法： 1、poi导出到excel 他是操作对象然后将结果写到excel中。 2、拼excel的html形式文件，将文件扩展名改为xls 这中方式是利用excel能够另存为html格式文件，文件包含excel的头信息。以前用过的方法，没有考虑的问题 1、使用poi等导出时，没有考虑数据量的问题，大数据量无法满足，

62,616

社区成员

307,307

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章