社区
Web 开发
帖子详情
大批量数据,多用户(上百个用户)同时查询该如何做!!!
ybhzzct
2007-06-26 02:44:25
系统的数据量很大,有几百万条,要进行模糊查询,而且同时查询的的用户有上百个,请问各位怎样做才能够使查询的速度快,并且不会出行并发的问题?
...全文
437
10
打赏
收藏
大批量数据,多用户(上百个用户)同时查询该如何做!!!
系统的数据量很大,有几百万条,要进行模糊查询,而且同时查询的的用户有上百个,请问各位怎样做才能够使查询的速度快,并且不会出行并发的问题?
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
10 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
wanzyqyy
2007-06-27
打赏
举报
回复
路过,学习了
fashi1000
2007-06-27
打赏
举报
回复
索引
dr_lou
2007-06-27
打赏
举报
回复
脏数据:
同一个数据A=1
这时候我在写这个数据A=2 我还没有提交修改的时候 你读了这个数据A=1
然后我提交修改 并成功, 这是A=2 而你的A=1就是脏数据
thumb3344
2007-06-27
打赏
举报
回复
google = dirty data
回复人:zqrqq(zqrain(结帖是一种美德)) ( ) 信誉:105 2007-6-26 15:40:47 得分:0
路过,学习!
to nc201(Bricklayer)
>>>查询本身应该不存在并发问题吧,但可能会存在脏数据的问题
你说说的脏数据是什么意思?能详细给我们讲讲吗?
hmilyld
2007-06-27
打赏
举报
回复
感觉这样应该比较好些吧,
把用户经常查询的数据,做成tag,
然后把结果生成静态页面,这样一来,
如果是经常查询的那些数据,直接到这个页面,
而不是经常的话,就再从数据库查找。
如果要是没有频率的话.....- -#
eidoo
2007-06-27
打赏
举报
回复
索引,表分区
zqrqq
2007-06-26
打赏
举报
回复
路过,学习!
to nc201(Bricklayer)
>>>查询本身应该不存在并发问题吧,但可能会存在脏数据的问题
你说说的脏数据是什么意思?能详细给我们讲讲吗?
zhao_tk
2007-06-26
打赏
举报
回复
学习
Philzzf
2007-06-26
打赏
举报
回复
对数据库实现分页查询
select * from t where row<20 and row>0
查询本身应该不存在并发问题吧,但可能会存在脏数据的问题
tdy1234
2007-06-26
打赏
举报
回复
建议做一个中间表 把用户查询比较多的数据导入中间表中
JAVA用线程池模拟
查询
大批量
数据
在开发过程中可能会碰到某些独特的业务,比如
查询
全部表
数据
,
数据
量过多会导致
查询
变得十分缓慢。如果使用了多线程,相当于多倍的速度去
查询
数据
,极大的提高了效率。
JAVA -
大批量
集合
数据
多线程处理
大批量
数据
多线程处理 原因:最近写项目多时候遇到一个这样的问题,Excel批量导入表格,
数据
量较大,处理时间较长。然后小编想到了可以用多线程处理。 例: //导入失败集合 List<BatchPayDetail...
如何加速Oracle
大批量
数据
处理
如何加速Oracle
大批量
数据
处理一、 提高DML操作的办法:简单说来:1、暂停索引,更新后恢复.避免在更新的过程中涉及到索引的重建.2、批量更新,每更新一些记录后及时进行提交动作.避免大量占用回滚段和或临时表空间.3、创建一临时的大的表空间用来应对这些更新动作.4、批量更新,每更新一些记录后及时进行提交动作.避免大量占用回滚段和或临时表空间.5、创建一临时
使用存储过程插入
大批量
数据
结合MySQL的存储过程和事务,实现超
大批量
数据
插入,万级、十万级、百万级、千万级、亿级。一百万条左右的
数据
插入27.x seconds左右;一千万行需要5 minutes左右;一亿条左右的
数据
插入,预估需要1 hour 20 minutes。MySQL的各种参数没有调节,用的默认设置,windows上安装的
数据
库服务器版本为5.5.29
常见的场景优化方案:导出Excel
大批量
数据
的优化过程
团队目前在
做
一个
用户
数据
看板(下面简称看板),基本覆盖
用户
的所有行为
数据
,并生成分析报表,
用户
行为由多个
数据
来源组成(餐饮、生活日用、充值消费、交通出行、通讯物流、交通出行、医疗保健、住房物业、运动健康...),看看标红的代码,这个生成Excel的方式是对Excel中的每一个cell进行渲染,逐行的进行
数据
填充,效率太慢了,根据日志分析发现:基本时间都耗费在
数据
生成Excel上。目前遇到的主要问题是,随着行为能力逐渐的完善闭环,
用户
数据
沉淀的也越来越多了,同时业务量的也在不断扩大。
Web 开发
81,092
社区成员
341,716
社区内容
发帖
与我相关
我的任务
Web 开发
Java Web 开发
复制链接
扫一扫
分享
社区描述
Java Web 开发
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章