快速生成1000W个小文件

南风待你 2018-08-17 05:49:59

有没有办法快速生成1000万个小文件。。。。（最好是在HDFS集群上快速生成）

...全文

290 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

使用dd命令快速生成大文件或者小文件的方法在程序的测试中有些场景需要大量的小文件或者几个比较大的文件，而在我们的文件系统里一时无法找到那么多或者那么大的文件，此时linux的dd命令就能快速的帮助你完成想...

dd命令快速生成小文件

例如，生成100w个0-16k大小的小文件(尝试时请改小一点数量，不然时间要很久)：tmp_dir=/tmp/tempfor i in {1..1000000};dodd if=/dev/zero of=$tmp_dir/${i}.log bs=`shuf -n 1 -i 0-16`k count=1 &>/dev/...

当使用写入空数据的方式生成大文件时，时间消耗是很长的，可以通过seek和write配合的方式快速生成大文件。 def create_file(file_path, size): """ # 快速生成大文件 :param file_path: 文件路径 :param size: ...

3、把文件夹拖到这个bat文件上就可以了，该目录下会生成一个 FileList.txt 的文件，里面的内容就是文件名列表这样做的话有一个问题是，我们的后缀名也在这个列表里面，加入文件夹里面的文件是不

数字化企业云平台论坛

213

社区成员

64

社区内容

发帖

与我相关

我的任务

产品运营运维技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章