海量文件上传，数据库海量查询

linjingqin 2016-03-30 02:41:32

怎么把数百万个文件上传到A服务器？文件url存在数据库表中，且3个小时就有1百万条url（文件）递增，
数据库、文件都在B服务器中。

怎么设计出这个过程呢？请大神说下

...全文

1226 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

tianfang 2016-04-01

打赏
举报

回复

1 检测新文件写文件是同时发消息到消息队列，如JMS（效率最高）数据库做触发器，文件进入数据库，就将数据复制到新表TMP中；（次之）扫描文件系统（效率低） 2 处理文件复制 A上多进程完成向B传输文件自定义压缩传输协议，支持压缩和分块传输，效率最高通用协议：B做FTP服务器（现有工具软件，无需开发），A上做多个FTP客户端上传。有些ftp服务器，如 FileZilla FTP Server支持mode Z 压缩协议，找到支持mode Z客户端开发包，FTP不支持分块传输，性能比自己对应的稍差。优点是开发量小 3 后续及异常处理删除TMP表记录，异常时标志出错记录发生异常，需要重新复制，将复制消息重新写入到消息队列

国产，达梦数据库6.0，64位版；达梦数据库管理系统是达梦公司推出的具有完全自主知识产权的高性能数据库管理系统，简称DM。在保证大型通用的基础上，针对可靠性、高性能、海量数据处理和安全性做了大量的研发和改进工作，极大提升了达梦数据库产品的性能、可靠性、可扩展性，能同时兼顾OLTP和OLAP请求；如果没有key文件，请单独下载；key文件已重新上传CSDN了

现在，众多大型企业和设计类企事业单位的各类文档数量越来越多，需要的存储容量达到数十TB。多可海量云文档管理系统，借助创新的云技术，多可文档管理系统实现了文档存储云部署功能，它可以把海量的文档（超过50TB）存放于网络的任意一个磁盘阵列，同时可以支持数据库的异地服务。　　这样，用户可以实现服务和存储分离，不现在，众多大型企业和设计类企事业单位的各类文档数量越来越多，需要的存储容量达到数十TB。多可海量云文档管理系统，借助创新的云技术，多可文档管理系统实现了文档存储云部署功能，它可以把海量的文档（超过50TB）存放于网络的任意一个磁盘阵列，同时可以支持数据库的异地服务。　　这样，用户可以实现服务和存储分离，不但更好的保障数据安全，同时增加系统的安全性。这样的文档存储云部署和分级存储和管理技术，不仅能够保护客户投资，而且降低客户在新系统方面的投资，整体拥有成本全方位降低，但系统的性能和安全性没有任何损失。　　但更好的保障数据安全，同时增加系统的安全性。这样的文档存储云部署和分级存储和管理技术，不仅能够保护客户投资，而且降低客户在新系统方面的投资，整体拥有成本全方位降低，但系统的性能和安全性没有任何损失。　　特点：　　系统支持多硬盘数据存储、磁盘整列存储。　　系统网络云存储。　　系统提供超大文件（单个文件可以2T以上）的上传下载工具，系统支持断点续传，保障大文件的传输效率。　　提供文件迁移工具，用户可以手工把文件迁移到其它存储路径。　　可以设置某个组的文件保存在特定路径下。　　提供专用的客户端，方便查看、上传下载文件。　　提供文件下载车、多个文件打包下载。　　系统可以检索Office、PDF等文件的文件内容的全文检索。　　提供PSD、Tiff、JPG等图像文件预览打印、批量文件打印等。　　类似windows资源管理器：无任何学习成本，友好提示帮助信息随处可见，平滑掌握，无需培训。

Milvus向量数据库，目标只有一个:存储、索引和管理海量数据嵌入向量由深度神经网络和其他机器学习(ML)模型生成。作为一个专门为处理输入向量查询而设计的数据库，它能够索引万亿级的向量。与现有的主要按照预定义模式处理结构化数据的关系数据库不同，Milvus是自底向上设计的，用于处理从非结构化数据。随着互联网的发展，非结构化数据变得越来越普遍，包括电子邮件、论文、物联网传感器数据、脸书照片、蛋白质结构等等。为了让计算机理解和处理非结构化数据，使用嵌入技术将这些数据转换成矢量。Milvus存储并索引这些向量。Milvus能够通过计算相似性距离来分析两个向量之间的相关性。如果两个嵌入向量非常相似，这意味着原始数据源也很相似。通过课程可以学习到milvus向量数据库的安装部署，日常管理，备份恢复等基础操作；从而对向量数据库有一个基本的认识。

产品特点: 1. 用户可以自定义栏目显示的名称,每个自定义项对应自定义常用字典,适合任意用户的使用。 2. 所有文件都以二进数据存在数据库中,避免了计算机染上病毒而文件也染毒,保密安全。 3. 海量存储,作者自已用的数据库达数十G,数据库性能非常稳定。 4. 支持任意文件存储,存取方式从技术和易用性方面都领先于同类产品。 5. 以Windows 资源管理器风格设计,菜单简洁,操作简单。 6. 集成图片浏览器,批量上传相册或图片后,文管王就是您的电子相册。 7. 集成MP3播放器,批量上传MP3后,文管王就是您的一个Mp3曲库。 8. 通过对自定义字段名称修改,文管王就是您的一个文件档案管理系统。 9. 该系统在技术,易用安全方面大大领先于同类产品,是企业文档管理信息化的首选产品。适合管理海量的办公文件管理、音像资料管理、设计图纸管理、图片资料管理... ... 说明:首次安装登陆密码为空.请用户自行修改

提出了Java内容仓库和关系型数据库之间异构信息的双向映射机制的概念，利用XML作为Java内容仓库和关系型数据库的中间桥梁，充分发挥了Java内容仓库对大量文档信息的操作和数据库对关系数据信息操作之间的强大优势，成功解决了在仿真分析工程中，既能快速、高效地实现海量仿真数据的存储、添加、编辑、修改、删除等功能操作，也能快速、高效地实现仿真文件的上传、下载、删除等功能操作。

数据库开发

8,028

社区成员

1,361

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章