海量文件上传，数据库海量查询

[linjingqin]

怎么把数百万个文件上传到A服务器？文件url存在数据库表中，且3个小时就有1百万条url（文件）递增，
数据库、文件都在B服务器中。

怎么设计出这个过程呢？请大神说下

[tianfang]

1 检测新文件 写文件是同时发消息到消息队列，如JMS（效率最高） 数据库做触发器，文件进入数据库，就将数据复制到新表TMP中；（次之） 扫描文件系统（效率低） 2 处理文件复制 A上多进程 完成向B传输文件 自定义压缩传输协议，支持压缩和分块传输，效率最高 通用协议：B做FTP服务器（现有工具软件，无需开发），A上做多个FTP客户端上传。有些ftp服务器，如 FileZilla FTP Server支持mode Z 压缩协议，找到支持mode Z客户端开发包，FTP不支持分块传输，性能比自己对应的稍差。优点是开发量小 3 后续及异常处理 删除TMP表记录，异常时标志出错记录 发生异常，需要重新复制，将复制消息重新写入到消息队列