如何快速迁移大量小文件数据

weixin_38051062 2012-12-13 03:11:24

solaris 10 环境.

数据量有1T,但是文件数量有150万,需要搬迁至另外一个目录,因为文件格式不同(zfs,vxfs).
测试阵列的速度完全可以达到每小时500G的读写速度.但是因为文件数量过多,造成迁移数据速度非常慢,不管是cp还是tar包都非常慢,这个时候查看系统的io基本idle80%吧.
有没有类似的经验能够提高迁移数据的速度.

...全文

54 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

8. **性能优化**：Data Pump的并行处理特性使得大量数据的导出和导入更加快速，这对于处理大规模数据库尤其有利。 9. **安全性**：在导出和导入过程中，必须确保操作的安全性，避免敏感数据泄露。可以使用加密选项...

标题“excel2json”指的是一个工具或程序，其主要功能是将Excel电子表格数据转换成JSON（JavaScript Object Notation）格式的文件。...在处理大量数据，尤其是从Excel到Web应用的数据迁移时，这样的工具非常有用。

有这么一种迁移海量文件的运维场景：由于现有网站服务器配置不够，需要做网站迁移(就是迁移到另一台高配置服务器上跑着)，站点目录下有海量的小文件，大概100G左右，图片文件居多。目测直接拷贝过去的话，要好几天的...

1:快速大量小文件复制 a. 本机不同磁盘之间复制: 复制目录 $ tar cvf – /home/src_dir | tar xvf – -C /opt 复制文件 $ tar cf – access.log |tar xf – -C /opt Tips:快速tar打包的一些小技巧...

1，在需要对大量小文件进行移动或复制时，用cp、mv都会显得很没有效率，可以用tar先压缩再解压缩的方式。 2，在网络环境中传输时，可以再结合nc命令，通过管道和tcp端口进行传输。　nc和tar可以用来快速的在两...

其他技术讨论专区

473

社区成员

791,202

社区内容

发帖

与我相关

我的任务

其他技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章