导航
  • 主页
  • 系统维护与使用
  • 应用程序开发
  • 内核源代码
  • 驱动程序开发
  • CPU和硬件区
  • UNIX文化
  • Solaris
  • Power Linux
  • 问答

读写,ftp大文件(10G以上)

liaomingxue none 服务器端工程师  2005-02-05 12:39:27
Red Hat Linux
我现在需要读写超过10G的大文件,然后再通过ftp下载或者上传
还没有实际测试过(在windows 2000系统中已经失败),请教方法和注意事项
...全文
247 点赞 收藏 13
写回复
13 条回复
切换为时间正序
请发表友善的回复…
发表回复
robinswan 2005-02-13
即使是现在liunux下比较先进的 reiserfs 也这是操作到4G的文件了?
10G!!!有什么文件那边变态阿,还是想其他的途径解决吧。
回复
yiyi1977 2005-02-10
可以使用64位的操作系统,如:AIX,solaris等等
回复
gettext 2005-02-09
>>>>>>linux下那有10G的文件。
>>>>>>回复人: gettext(冰雪之崖)
>>>
>>>linux下不能操作10G大文件?不可能吧

你试试在linux下创建一个大于2G的文件。我觉得你这么大的数据量不可能用文件操作。
回复
liaomingxue 2005-02-08
>>>linux下那有10G的文件。
>>>回复人: gettext(冰雪之崖)

linux下不能操作10G大文件?不可能吧
回复
nodummy 2005-02-08
32位地址空间只能放4G的文件,但是一般来说文件的offset都是signed的,所以就要砍掉一半,结果就变成2G了……

FreeBSD的UFS目前已经是至少64位的偏移指针了,所以这个东西FreeBSD没有问题的。但是在客户端程序上面就有比较大的问题了,目前很多的ftp软件都用的32bit的偏移指针,这个是问题的根源,但是在FreeBSD的ports collection里面的确有支持超过2G大小文件的ftp daemon和ftp client,这个是不必说的……
回复
gettext 2005-02-08
linux下那有10G的文件。
回复
liaomingxue 2005-02-08
我单位的数据最小是以G,一般是T,全在硬盘阵列中,现在是需要传送和处理。一般处理方法是采用专用的相关分析计算机,可以访问硬盘阵列,或者通过网络回放数据给客户端。现在我们打算用微机自己做些处理。
回复
nodummy 2005-02-08
超过2G的话很多的ftp server和client端就已经死翘翘了……

不过的确有ftp server可以支持超过2G的文件,不过想不起来叫什么了……
回复
tukey 2005-02-05
注意:fat32文件系统允许的最大文件为2g!
回复
core 2005-02-05
google("fopen64");
回复
liaomingxue 2005-02-05
最好还是不要分割文件,不知道有什么别的好办法?
回复
realcolafish 2005-02-05
用split把10G大文件分割成几个相对小的文件(每个1000M)
例如文件名叫filename.log
split filename.log -b 1000m filename.log.

这样就可以通过FTP上传下载了,全部完成后再用cat合并
cat filename.log.*>filename.log
回复
liaomingxue 2005-02-05
顶一个
回复
发动态
发帖子
Linux/Unix社区
创建于2007-08-27

2.0w+

社区成员

Linux/Unix社区 应用程序开发区
申请成为版主
社区公告
暂无公告