读写，ftp大文件（10G以上）

[liaomingxue]

Red Hat Linux
我现在需要读写超过10G的大文件，然后再通过ftp下载或者上传
还没有实际测试过（在windows 2000系统中已经失败），请教方法和注意事项

[liaomingxue]

顶一个

• 打赏
• 举报

回复 赞

[realcolafish]

用split把10G大文件分割成几个相对小的文件（每个1000M）
例如文件名叫filename.log
split filename.log -b 1000m filename.log.

这样就可以通过FTP上传下载了，全部完成后再用cat合并
cat filename.log.*>filename.log

• 打赏
• 举报

回复 赞

[liaomingxue]

最好还是不要分割文件，不知道有什么别的好办法？

• 打赏
• 举报

回复 赞

[core]

google("fopen64");

• 打赏
• 举报

回复 赞

[tukey]

注意：fat32文件系统允许的最大文件为2g！

• 打赏
• 举报

回复 赞

[nodummy]

超过2G的话很多的ftp server和client端就已经死翘翘了……

不过的确有ftp server可以支持超过2G的文件，不过想不起来叫什么了……

• 打赏
• 举报

回复 赞

[liaomingxue]

我单位的数据最小是以G，一般是T,全在硬盘阵列中，现在是需要传送和处理。一般处理方法是采用专用的相关分析计算机，可以访问硬盘阵列，或者通过网络回放数据给客户端。现在我们打算用微机自己做些处理。

• 打赏
• 举报

回复 赞

[gettext]

linux下那有10G的文件。

• 打赏
• 举报

回复 赞

[nodummy]

32位地址空间只能放4G的文件，但是一般来说文件的offset都是signed的，所以就要砍掉一半，结果就变成2G了……

FreeBSD的UFS目前已经是至少64位的偏移指针了，所以这个东西FreeBSD没有问题的。但是在客户端程序上面就有比较大的问题了，目前很多的ftp软件都用的32bit的偏移指针，这个是问题的根源，但是在FreeBSD的ports collection里面的确有支持超过2G大小文件的ftp daemon和ftp client，这个是不必说的……

• 打赏
• 举报

回复 赞

[liaomingxue]

>>>linux下那有10G的文件。
>>>回复人： gettext(冰雪之崖)

linux下不能操作10G大文件？不可能吧

• 打赏
• 举报

回复 赞

[gettext]

>>>>>>linux下那有10G的文件。
>>>>>>回复人： gettext(冰雪之崖)
>>>
>>>linux下不能操作10G大文件？不可能吧

你试试在linux下创建一个大于2G的文件。我觉得你这么大的数据量不可能用文件操作。

• 打赏
• 举报

回复 赞

[yiyi999999999]

可以使用64位的操作系统，如：AIX，solaris等等

• 打赏
• 举报

回复 赞

[robinswan]

即使是现在liunux下比较先进的 reiserfs 也这是操作到4G的文件了？
10G！！！有什么文件那边变态阿，还是想其他的途径解决吧。

• 打赏
• 举报

回复 赞