正在使用的表数据量太大了如何处理？数据量超过1000W，oracle数据库

济南大飞哥 2016-09-20 10:58:25

生产上有几张表，数据量超过1000万，导致有些功能很慢，需要处理，现首先想到了分区，
分区之后肯定需要对数据访问层做修改，问题是系统运行了好几年，这些表很多都是常用的表，
涉及到地方可能非常多，通过表反推出所有的功能点不是件易事

，搜索代码？代码是又乱又杂，有在用的和废弃的，一堆一堆的。

看的见的是，有些表还在持续增长中，所有如何处理这表是个问题，即便分区了，有些改造可能会涉及到用户体验的问题，
也很难改？以用户的订单为例，要想全部展示，貌似不走分区比较好，要想走分区，好像就只能展示一部分。
还有就是有些表不太好分区，比如用户表，注册用户越来越多，超过几千万，但是你按什么分区比较好那？
要查用户信息时你怎么知道该去哪个分区？

如果一个系统在设计之初，这些东西又该如何设计？各位专家给点意见吧。

...全文

2625 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

小七和十一的爸爸 2016-09-20

打赏
举报

回复

重新设计表，加索引加序列，这样会加大查询效率，但是加索引的缺点就是会影响数据的插入以及修改，建立楼主可以这样若加索引，考虑到对表的操作先删除索引在对表进行修改插入完成后再建立索引

本课程以Oracle 10g数据库为基础,来讲解大事务的数据更改在数据库内部是如何处理的。当用户执行一条SQL对数据库进行更改操作的时候，我们知道数据是从磁盘读取到内存中进行更改操作的，那么当这个SQL执行...

问题描述：最近客户公司备份数据库的时候，数据量高达60个g，实际上并没有那多数据，让我找出具体原因和解决方案。操作步骤供大家参考。问题分析一种情况是本身业务上的数据会出现大量冗余，但是一般不会出现这么多。另外一种情况就是比如日志，监听这些记录太多，没有及时清理，所以导致越来越多，这种可能性更大一些。排查原因首先查找数据库中表数据量最大的表可以看到前面几张表数据量最多再通过下面语句查询这几个表占用的大小，或者直接排序查询最大的表也行 select sum(bytes)/(1

前言：大数据量的情况下，导入csv文件内容到数据库会很慢，为了节省宝贵的测试时间，需要寻找工具来提高数据导入效率，效率提高工具：sqlload（可将上亿条数据，几分钟内全部导入到oracle数据库，效率非常高）使用说明： 1、在目标数据库创建导入的表（比如：10.9.215.240 oracle数据库中填写临时表） CREATE TABLE YG_IS.TEMP ( order_time date, pay_time date, inflow_time date, orde

本文梗概：本文主要描述了从oracle 9i至oracle 10g的单表大数据量的迁移过程，其间作者尝试了不同方法，对比之后，主要使用了DB Link。正文：由于公司服务器升级，原Oracle 9i RAC（裸设备）系统也升级到了Oracle 10g RAC（ASM），原数据库中的数据也要导入到新建的数据库中。数据迁移要求：环境原系统：Sun Slaris 8.0（UltraSPARC_64）Oracle 9i R2 RAC新系统

项目中遇到SQL语句的In超过1000这个问题，再次总结一下解决方案：使用动态拼接SQL语句in(...) or in(..)，性能太差，再次不多说使用表代替in中的字符串，事务问题由2引申出使用oracle的临时表，使用临时表，想怎么查怎么查。（该问题中，本人用的是事务临时表）在这详细说一下，临时表： oracle的临时表分为两种：事务临时表和会话临时表。oracle的临时表就是用来暂时保存临时数据（亦或叫中间数据）的一个数据库对象，它和普通表有些类似，然而又有很大区别。它只能存储在临时表

高性能WEB开发

25,985

社区成员

4,366

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章