社区
Oracle
帖子详情
oracle中LOB的存储---能否把一个文件拆分为多条记录存储?
freehorse_1981
2005-07-24 08:17:45
我遇到一个问题,系统中涉及到许多大数据量的文件,每个文件有300多M,而且还要经常对这些文件进行解析,如果我事先解析这些文件的再存到库里将会造成数据库的记录数太多,但如果我把整个文件存到一个blob里去的话,又会造成文件解析时很麻烦,能不能把该文件拆分为几个记录,这样记录数也不会太多,而且拆分起来也比较简单。哪位有做过的或者见过这方面问题的,给我支个招吧,非常着急,麻烦给帮个忙!
...全文
109
1
打赏
收藏
oracle中LOB的存储---能否把一个文件拆分为多条记录存储?
我遇到一个问题,系统中涉及到许多大数据量的文件,每个文件有300多M,而且还要经常对这些文件进行解析,如果我事先解析这些文件的再存到库里将会造成数据库的记录数太多,但如果我把整个文件存到一个blob里去的话,又会造成文件解析时很麻烦,能不能把该文件拆分为几个记录,这样记录数也不会太多,而且拆分起来也比较简单。哪位有做过的或者见过这方面问题的,给我支个招吧,非常着急,麻烦给帮个忙!
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
1 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
qfsb_p
2005-07-25
打赏
举报
回复
嘻嘻,自己写个函数来读出文件,拆分,分条然后写入,注意要在记录中保留该文件分组的信息。
根据文件分组信息读出候,合成一个大文件,这样的效率应该比较高一些吧。
OceanBase数据库:大对象(
LOB
)
存储
优化之行内与行外
存储
策略深度解析
OceanBase数据库大对象(
LOB
)
存储
技术解析 摘要:本文深入探讨了OceanBase数据库
中
LOB
(大对象)
存储
的核心技术。首先介绍了
LOB
数据类型的基本概念,包括B
LOB
、C
LOB
等类型及其与传统数据类型的差异。其次详细解析了OceanBase基于LSM-Tree的
LOB
分层
存储
架构,涵盖从MemTable到SSTable的完整
存储
流程。文章重点对比了行内
存储
与行外
存储
两种策略的特性差异及适用场景,并提供了
LOB
性能诊断方法,包括执行计划分析、监控指标解读和I/O特征识别。最后给出了数据类型选择建
针对
LOB
字段的分离
存储
设计与访问方式优化及性能监控方案
在数据库表结构设计
中
,
LOB
(Large Object,大型对象)字段(如文本、图片、视频等)因其体积庞大、访问频率差异大的特性,往往成为性能瓶颈的 “重灾区”。某医疗系统因将患者的 CT 影像(平均 50MB / 条)直接
存储
在 MySQL 的 LONGB
LOB
字段
中
,导致单表体积达 10TB,查询响应时间从毫秒级增至秒级,甚至引发数据库频繁宕机;而另一内容管理平台通过
LOB
字段的分离
存储
设计,将文章正文与附件独立
存储
,查询性能提升 8 倍,
存储
成本降低 40%。
Oracle
的数据
存储
结构
Oracle
的数据
存储
结构 表空间(tablespace)--
Oracle
中
最大的逻辑
存储
单位 数据
文件
(data file)--表空间物理
存储
载体 段(segment)--
Oracle
中
所有占用空间的对象的总称 extend--段的组成单位 数据块(data block)--extend的组成单位,是
Oracle
存储
和数据操作的最小单位。 数据块 数据块是
Oracle
存储
和数据操作的最小单位,但不一定和操作系统的os块相同,
一个
数据块可能有多个os块构成。 数据块的
存储
属性 PCTFREE (
ORA-01555系列:二、ORA-01555的场景分析与解决方案
ORA-01555错误常见场景及解决方案摘要
Oracle
数据库
中
ORA-01555"快照太旧"错误通常由四种场景引发: 长事务与长查询冲突:当查询持续时间超过UNDO保留时间或查询期间有大量DML操作时发生。案例显示报表查询与批量更新冲突、应用层游标处理不当都会引发此问题。建议优化SQL、调整任务调度、避免慢速循环处理模式。 UNDO空间不足:UNDO表空间过小无法满足保留需求时,
Oracle
会回收未过期数据。案例包括固定UNDO大小导致月末结算失败、UNDO_RETENTION保证引
ORACLE
逻辑
存储
结构
每个数据
文件
对应
一个
位图(什么是位图,我们在讲索引的时候会谈论到它,可以先理解成
一个
数组,数组的值只存0和1),每
一个
块就作为位图的
一个
条目,当该块作为区段的一部分被分配出去了(所以区块应该是最小的分配单元),就将对应位图的值由0改成1,想要逻辑连续的区段,就在位图上寻找连续的一段1,然后拿到这些1的物理磁盘地址,进行分配。多提一句,后面会介绍表分区和索引分区,分区的核心就是,根据分区策略,将表数据
拆分
到不同的表段
中
,每个段放在相同(相同的表空间并没有充分体现分区表,索引的优越性)或不同的表空间
中
。
Oracle
17,137
社区成员
55,258
社区内容
发帖
与我相关
我的任务
Oracle
Oracle开发相关技术讨论
复制链接
扫一扫
分享
社区描述
Oracle开发相关技术讨论
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章