请问如何快速读取大量的小文件?

maoaq 2023-04-26 12:02:35

现在有几千万个小文件需要用java读取，请问如何才能比较快速的读取？谢谢!

...全文

155 回复打赏收藏举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

快速复制大量小文件主要使用先打包再复制的方法： find . -name '*.jpg' -print > jpg.txt tar怎么从文件中读取文件列表呢？查了很久，用 -T -T, --files-from F get names to extract or create from file F 注意这里不要加 -v参数啦，对于大...

LFSFile System(就是要最简单的，而且是最快的)写入速度提升 29%，读取速度提升 39%，“快”很任性。和 C 直接读写文件速度几乎一样，意味着几乎没有额外 CPU 消耗，还用过多的解释吗？非常非常快的文件系统，可以同时存储海量大文件和小文件，高并发存储视频音乐和图片等非常棒并且可以作为列存储示例：(这不仅是极致简单的，而且是最快的)//上传文件，只需一行//？如果文件特别大怎么办，...

存储结构存储结构概述每一个partition相当于一个巨型文件被平均分配到多个大小相等segment数据文件里面每一段segment file消息数量不一定相等,这方方便old segment file高速被删除,默认1g 每一个partition只要支持顺序读写即可,segment的生命周期有服务端配置参数决定 segment文件的存储结构由index file和data file组...

原始数据（必须）要做 Normalization！在进行数据分析的时候，什么情况下需要对数据进行标准化处理？见Maigo大佬的回答。如果不做Normalization 会出现什么后果？今天遇到一种情况，原始数据范围大概是(5000,10000)，神经网络第一层是卷积，激活函数是sigmoid。直接将原始数据作为神经网络的输入，最后发现对不同样本，神经网络的输出竟然都是相同的。。。训练时l...

SeaweedFS 是一个简单且高度可扩展的分布式文件系统。存储数十亿个文件！快速提供文件！SeaweedFS 最初是作为一个对象存储系统，用于高效处理小文件。与其在中央主服务器上管理所有文件元数据，不如让中央主服务器只管理卷服务器上的卷，而这些卷服务器负责管理文件及其元数据。这样可以减轻中央主服务器的并发压力，将文件元数据分散到卷服务器中，从而实现更快的文件访问（O(1)，通常只需要一个磁盘读取操作）。每个文件的元数据只需要 40 字节的磁盘存储开销。

Java全栈社区

383,949

社区成员

5,371

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

试试用AI创作助手写篇文章吧

+ 用AI写文章