社区
其他
帖子详情
难度问题:海量的小文件存储方案
Adnil
2008-04-01 06:09:50
程序大概要生成100万个小文件,每个文件的大小大概是1K,总容量是1G左右,但由于文件系统的关系,磁盘实际占用空间要用掉16G。 文件生成之后不会改动,只用来读取或者删除,因为对文件生成和读取的速度要求比较高,所以没办法使用数据库系统来保存。
请问有啥办法又能保证文件生成和读取的速度,又尽可能降低磁盘的占用空间? 谢谢!
...全文
514
5
打赏
收藏
难度问题:海量的小文件存储方案
程序大概要生成100万个小文件,每个文件的大小大概是1K,总容量是1G左右,但由于文件系统的关系,磁盘实际占用空间要用掉16G。 文件生成之后不会改动,只用来读取或者删除,因为对文件生成和读取的速度要求比较高,所以没办法使用数据库系统来保存。 请问有啥办法又能保证文件生成和读取的速度,又尽可能降低磁盘的占用空间? 谢谢!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
5 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
wifox
2008-04-16
打赏
举报
回复
对数据库来说 这点数据量不成问题把
以专业开发人员为伍
2008-04-06
打赏
举报
回复
多6G你就买不起吗?
你的情况没有必要考虑“又尽可能降低磁盘的占用空间”。
zjjxxhn19840204
2008-04-02
打赏
举报
回复
压缩和解压缩
hery2002
2008-04-02
打赏
举报
回复
压缩存入数据库,建好索引和分区,执行查询即可.
CathySun118
2008-04-01
打赏
举报
回复
用数据库的大数据类型应该比你的文件系统效率要高
iTween插件API全解析
iTween是一款可以方便快捷的完成Unity动画的插件,其目的是使用最小的投入实现最大的产出,轻松实现各种动画效果。直接导入编辑器中,一个iTween.cs
文件
撑起整个动画实现。作为Unity开发程序员必须掌握的一款插件,它被使用的广泛性是毋庸置疑的。所以,学习这样一款插件,还需要更多理由吗? Unity版本:2018.2.17
难度
等级:中级寄语:注重细节的专业态度,才能成就真正的内行。
海量
小
文件
存储
低效的根源及优化实践
在金融保险的业务系统中,以寿险为例,有两大核心系统最易形成
海量
小
文件
场景:一是影像系统,影像系统中需要
存储
大量非结构化数据,如保险人相关的证件、图片、PDF
文件
等,同时还有
海量
的业务过程
文件
,如交易报文、日志记录等;面对
海量
小
文件
场景时,
海量
小
文件
的并发读写汇聚形成了大量的随机访问,磁盘
文件
系统的体系机制放大了IO的体量,大幅降低磁盘的吞吐。离散的小
文件
数据都在“周”目录层级,打包压缩后会大幅降低小
文件
的量级,将离散的小
文件
转换为数据块连续的大
文件
,既方便数据归档离线,也大大提高了备份恢复的效率,如图3。
海量
数据
存储
面临的
问题
海量
数据
存储
面临的
问题
海量
小
文件
的开源
存储
方案
选型建议
点击上方蓝字“Linux宝库”共同关注!随着AI技术的发展,在智能安防、智能制造等众多领域,都面临着
海量
图片
文件
的
存储
问题
。开源领域为了解决
海量
小
文件
问题
也是伤透了脑筋,这些年冒出了大量...
java
文件
存储
一、小应用
存储
方案
在开发中上传
文件
存储
是个
问题
,而一般小应用开发会选择服务器本地目录做为
存储
地址,通过保存
文件
的相对路径来获取
文件
,在应用不要求高可用的情况下这是一种普遍的
方案
。
问题
: 在每次更新Java版本时,都需要将
文件
目录做一次备份,不然直接将打包好的war包替换原来的版本时可能会丢失
文件
(有时可能会直接删除原来的版本目录然后在将新版本放到tomcat的webapps目录)。 解决
方案
:...
其他
249
社区成员
6,554
社区内容
发帖
与我相关
我的任务
其他
其他产品/厂家
复制链接
扫一扫
分享
社区描述
其他产品/厂家
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章