上千条数据计算和多次对数据库操作 求优化思路

Java > Web 开发
收藏 回复
[问题点数：40分，结帖人sui2121]
更多帖子
私信 空间 博客
sui2121
等级
本版专家分：546
结帖率 100%
需求描述：
        这是一个工资计算模块  其中主要涉及到大量计算和操作数据库的是考勤
     考勤相关表有：考勤表   标准表  我需要先从根据标准表和考勤表 计算出每个人一个月的出勤情况，包括迟到（迟到分为大概3种迟到根据迟到时间不同）  早退（也大概是3种） 忘打卡次数  而且考勤表里面的考勤记录一个人一天不一定有多少条 要筛选出有用的数据
     请假和外出 是根据一个其他系统接口获取字符串  然后截取其中的数据  再计算出需要的数据
     其中主要需要优化的地方应该是 for循环很多次  有几个循环800次的循环   还有就是查询了30左右各表每个的数据量应该在2000左右  
     我的功能就是通过查询各种表 计算出每个人的工资  然后写到另一个表中。 现在计算20个人的工资大概需要49秒。
    希望大神给个优化思路，小弟对大量的计算和大量的数据这方面涉及太浅，求指点！

     
只看楼主 引用 举报 楼主 收起
展开阅读全文
更多帖子
私信 空间 博客
fishnobone
等级
本版专家分：886
勋章
Blank
GitHub 绑定GitHub第三方账户获取
最好把你相关的sql语句，相关的计算处理方法贴出来
你这样说的话，我只能提供你两个思路，一个是尽量减少对数据库的操作，二是是否可以采用多线程进行计算
只看TA 引用 举报 #1得分 0
更多帖子
私信 空间 博客
MiceRice
等级
本版专家分：104780
勋章
Blank
探花 2012年 总版技术专家分年内排行榜第一
Blank
铜牌 2012年8月 总版技术专家分月排行榜第三
2012年7月 总版技术专家分月排行榜第三
Blank
红花 2014年8月 高性能开发大版内专家分月排行榜第一
2013年11月 高性能开发大版内专家分月排行榜第一
2012年12月 Java大版内专家分月排行榜第一
2012年11月 Java大版内专家分月排行榜第一
2012年10月 Java大版内专家分月排行榜第一
2012年9月 Java大版内专家分月排行榜第一
2012年8月 Java大版内专家分月排行榜第一
2012年7月 Java大版内专家分月排行榜第一
2012年6月 Java大版内专家分月排行榜第一
2012年5月 Java大版内专家分月排行榜第一
2012年4月 Java大版内专家分月排行榜第一
2012年3月 Java大版内专家分月排行榜第一
2012年2月 Java大版内专家分月排行榜第一
2012年1月 Java大版内专家分月排行榜第一
给几个通用性建议：
1、计算过程下推数据库（不要在代码中计算）；
2、合理利用中间表（临时表）；
3、大数据量处理任务化（定制成后台任务）。
只看TA 引用 举报 #2得分 0
更多帖子
私信 空间 博客
sui2121
等级
本版专家分：546
引用 2 楼 ldh911 的回复:
给几个通用性建议：
1、计算过程下推数据库（不要在代码中计算）；
2、合理利用中间表（临时表）；
3、大数据量处理任务化（定制成后台任务）。


这里面的第一点和第三点   能具体说一下吗   我没这么做过  是个菜鸟  求指点！
只看TA 引用 举报 #3得分 0
更多帖子
私信 空间 博客
owen1759
等级
本版专家分：736
能说一下你的sql语句和表结构么？
你说的“从其他接口获取的字符串”这个处理难道是在计算考勤的时候才连接“其他系统”获取？
如果是这样的话，我觉得你的程序设计有问题，应该做个定时任务，每天凌晨(或者某个时刻)从“其他系统”获取考勤记录，进行处理(就是你说的字符串截取以及去除无效考勤记录)，然后把真实有效的考勤结果用状态码记录在考勤表里
这样，在计算考勤的时候也就可以不再多次查询了。
当然，如果你由于种种限制不能做定时任务，也可以利用开启工资计算程序(C/S)或者打开工资计算页面(B/S)的时候，将上次计算之后至现在所有未进行数据处理的考勤记录都处理一遍。也能起到这样的效果
只看TA 引用 举报 #4得分 0
更多帖子
私信 空间 博客
MiceRice
等级
本版专家分：104780
勋章
Blank
探花 2012年 总版技术专家分年内排行榜第一
Blank
铜牌 2012年8月 总版技术专家分月排行榜第三
2012年7月 总版技术专家分月排行榜第三
Blank
红花 2014年8月 高性能开发大版内专家分月排行榜第一
2013年11月 高性能开发大版内专家分月排行榜第一
2012年12月 Java大版内专家分月排行榜第一
2012年11月 Java大版内专家分月排行榜第一
2012年10月 Java大版内专家分月排行榜第一
2012年9月 Java大版内专家分月排行榜第一
2012年8月 Java大版内专家分月排行榜第一
2012年7月 Java大版内专家分月排行榜第一
2012年6月 Java大版内专家分月排行榜第一
2012年5月 Java大版内专家分月排行榜第一
2012年4月 Java大版内专家分月排行榜第一
2012年3月 Java大版内专家分月排行榜第一
2012年2月 Java大版内专家分月排行榜第一
2012年1月 Java大版内专家分月排行榜第一
引用 3 楼 sui2121 的回复:
这里面的第一点和第三点   能具体说一下吗   我没这么做过  是个菜鸟  求指点！


所谓下推数据库，就是建议用 聚合函数 甚至存储过程，总的来说就是SQL语句来完成主体计算过程，降低网路传输等开销。

任务化，就是不要将这些操作做成是实时由用户触发的；而是用户只能要求启动（或定时启动）该任务，后台计算完毕后，再通知用户来查询任务执行的结果。那么就可以晚上执行，白天看结果。
只看TA 引用 举报 #5得分 40
收起
收藏 回复
sui2121

等级：

关注 私信 TA的帖子
数据库优化方案整理

数据库优化策略有很多，设计初期，建立好的数据结构对于后期性能优化至关重要。因为数据库结构是系统的基石，基础打不好，使用各种优化策略，也不能达到很完美的效果。 B：数据库优化的几个方面 ​​ 可以看...

Java基础知识面试题（2020最新版）

文章目录Java概述何为编程什么是Javajdk1.5之后的三大版本JVM、JRE和JDK的关系什么是跨平台性？原理是什么Java语言有哪些...Java和C++的区别Oracle JDK 和 OpenJDK 的对比基础语法数据类型Java有哪些数据类型switc...

Java面试题大全（2020版）

发现网上很多Java面试题都没有答案，所以花了很长时间搜集整理出来了这套Java面试题大全，希望对大家有帮助哈~ 本套Java面试题大全，全的不能再全，哈哈~ 一、Java 基础 1. JDK 和 JRE 有什么区别？ JDK：Java ...

面试求职：数据库常见面试题（数据库优化思路）

面试回答数据库优化问题从以下几个层面入手：（1）、根据服务层面：配置mysql性能优化参数；（2）、从系统层面增强mysql的性能：优化数据表结构、字段类型、字段索引、分表，分库、数据库集群、读写分离等等。（3）...

2020最新Java面试题，常见面试题及答案汇总

发现网上很多Java面试题都没有答案，所以花了很长时间搜集整理出来了这套Java面试题大全，希望对大家有帮助哈~ 一、Java 基础 1. JDK 和 JRE 有什么区别？ JDK：Java Development Kit 的简称，java 开发工具包，...

面试复习重点——数据结构、操作系统、计算机网络、数据库

必看书籍：剑指offer、程序员面试宝典 来自：腾讯、搜狐、网易、烽火、百度、大众点评、美团、风行 1. 死锁是什么？什么情况下产生？怎么解决？ 2.&...设计模式（尤其是单例模式，要会写该模式的程序框架...

消息中间件MQ与RabbitMQ面试题（2020最新版）

文章目录为什么使用MQ？MQ的优点消息队列有什么优缺点？RabbitMQ有什么优缺点？你们公司生产环境用的是什么消息中间件？Kafka、ActiveMQ、RabbitMQ、RocketMQ 有什么优缺点？MQ 有哪些常见问题？...

让Oracle跑得更快2—基于海量数据的数据库设计与优化

让Oracle跑得更快2—基于海量数据的数据库设计与优化  谭怀远著 ISBN978-7-121-13921-5 2011年7月出版 定价：69.00元 16开 452页 宣传语：国内第一本以作者10年的工作经历打造的  基于

基于SSM的校园二手交易平台的设计与实现

数据库：MySQL 框架：Spring + Spring MVC + MyBatis 服务器：Tomcat 前端解析框架：Thymeleaf 开发工具：Idea 2017 版本管理工具：Maven 版本控制工具：GitHub 下载地址：...

时间序列数据的存储和计算 - 开源时序数据库解析

摘要： Prometheus 开源时序数据库解析的系列文章在之前已经完成了几篇，对比分析了Hbase系的OpenTSDB、Cassandra系的KairosDB、BlueFlood及Heroic，最后是tsdb ranking top 1的InfluxDB。点此查看原文：...

MySQL/Oracle数据库优化总结（非常全面）

MySQL/Oracle数据库优化总结（非常全面）

数据库优化

1. 主键 超键 候选键 外键主 键：数据库表中对储存数据对象予以唯一和完整标识的数据列或属性的组合。一个数据列只能有一个主键，且主键的取值不能缺失，即不能为空值（Null）。超 键：在关系中能唯一标识元组的属性...

测试开发需要学习的知识结构

努力成为一个优秀的测试开发从业者，加油！... - 假装在测试的回答 - 知乎白盒与黑盒测试什么区分1、黑盒测试　黑盒测试也称功能测试或数据驱动测试，它是在已知产品所应具有的功能，通过测试来检...

在有着1000万条数据的MS SQL SERVER数据库中实现快速的数据提取和数据分页

讨如何在有着1000万条数据的MS SQL SERVER数据库中实现快速的数据提取和数据分页。以下代码说明了我们实例中数据库的“红头文件”一表的部分数据结构： CREATE TABLE [dbo].[TGongwen] ( --TGongwen是红头文件...

数据量过大时数据库操作的处理

与此同时，应用系统体系的核心、系统数据的存放地――数据库也随着实际应用而急剧膨胀，一些大规模的系统，如人口系统的数据甚至超过了1000万条，可谓海量。那么，如何实现快速地从这些超大容量的数据库中提取数据...

[转]101个MySQL开源数据库调试和优化技巧

MySQL是一个功能强大的开源数据库。...这里是101条调节和优化MySQL安装的技巧。一些技巧是针对特定的安装环境的，但这些思路是通用的。我已经把他们分成几类，来帮助你掌握更多MySQL的调节和优化技巧。

浦发银行 信息科技岗 大数据方向 面经

浦发银行总行信息科技部（大数据方向）面试 浦发银行总行信息科技部（大数据方向）面试 8.6面试 ...第三部分 上机考试（只有开发和测试岗需要，别的岗可选） 浦发总行信息岗校招面经（上海...

学习笔记：MySQL数据库优化思路的细节分析(性能方向)

**本篇文章只是给大家提供一些优化方面的方向和思路，而具体业务场景的不同，使用的MySQL服务版本不同，都会使得优化方案的制定也不同。 首先开看优化可能带来的问题 优化不总是对一个单纯的环境进行，还很可能是一...

时序数据库如何支持秒级上亿数据的查询分组和聚合运算

https://mp.weixin.qq.com/s?__biz=MzA5NzkxMzg1Nw==&mid=2653162499&idx=1& sn=ca43c74ef541bd16a1d2450db6479c63&chksm=8b49316db c3eb87b9b1b8049429c820ed557fd2b735c5a486350db3ef0d0c7735f8171ba28a9&scene=

给你100万条数据的一张表，你将如何查询优化？

InnoDB 中不保存表的具体行数，也就是说，执行select count(*) from table时，InnoDB要扫描一遍整个表来计算有多少行。 MyISAM只要简单的读出保存好的行数即可。 注意的是，当count()语句包含 where条件时，两种表的...

Linux C/C++ 学习路线

一、秋招 Linux C/C++ offer 情况 ...Linux C/C++ 从零基础到大神的学习路线，自己的真实学习路线，干货很多，建议收藏，认真阅读。 在校期间，我一直走的都是 Linux C/C++ 学习路线，历经暑期实习、秋招决战、校...

SQL性能优化中的底层概念,时间复杂度，算法和数据结构，数据库组成，查询优化和表关联原理.

原文地址： ... 一提到关系型数据库，我禁不住想：有些东西被忽视了。...你可以自己谷歌/百度一下『关系型数据库原理』，看看结果多么的稀少【译者注：百度为您找到相关结果约1,850,000个…】 ，而且找到的那些文

oracle数据库优化总结

1. 数据库优化基本知识I/O 数据库的基本作用就是实现对数据的管理与查询。随之而来的就是大量的IO操作, 在海量数据的情况下，数据库的性能问题有80%以上和IO有关。优化ORACLE数据库的I/O性能一般有两个方面，一是...

数据库SQL优化大总结之 百万级数据库优化方案

网上关于SQL优化的教程很多，但是比较杂乱。近日有空整理了一下，写出来跟大家分享一下，其中有...一、百万级数据库优化方案 1.对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列

大数据图数据库之MapReduce用于图计算

/* 版权声明：可以任意转载，转载时请务必标明文章原始出处和作者信息 .*/ CopyMiddle: 张俊林 节选自《大数据...使用Mapreduce进行图计算 使用MapReduce框架来针对大规模图数据进行计算的研究工作相对较少，这主

2000W条数据的Oralce数据库SQL查询优化经验 - 机会总会留给有准备的人

 无论你写了什么、做了什么、别人都觉得你没啥的、写得不好、不深入，给你泼N多冷水，但是往往这些泼冷水的家伙往往大多是狗屁不是的家伙，甚至大多是马甲而已，有本事大家都多写写文章，用文章、用实力来...

软件测试面试题汇总

转载自： ... 软件测试面试题汇总 测试技术面试题 ...........................................................................................................

MySQL数据库性能优化-存储引擎详解（一）

从本文开始我们将讨论建立在块存储方案之上的关系型数据库的性能优化方案和集群方案。关系型数据库的选型将以创业公司、互联网行业使用最广泛的MySQL数据为目标，但是MySQL的安装过程和基本使用方法等知识并不在我们...

MySql下大数据量级别（1000万+）优化查询和操作方法

MySql下大数据量级别（1000万+）优化查询和操作方法 一、【原则一】：insert into tb (...) values(...),(...)...; 要比insert into tb (...) values (...);insert into tb (...) values (...);...方式批量插入...

C语言游戏代码大全

双人贪吃蛇，别踩白方块，玫瑰花，矿井逃生等多种C语言游戏代码等你来实践！

相关热词 c#提取字符串中的数字 c# 扩展无返回类 c#网站如何做预览功能 c# 异步 返回值 c#chart实时曲线图 c# 窗体 隐藏 c#实现终端上下滑动 c# 传递数组 可变参数 c# list 补集 c#获得所有窗体