大并发量上传文件

SDProgrammer 2017-09-22 11:42:14
需求是在同一时段有大量客户进行文件上传操作,现采用的是将文件上传至ftp文件服务器,但是测出来的tps很低,想问问大神们 现在遇到类似大批量客户同一时段上传文件采用什么技术方法!感激不尽!
...全文
1186 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
MiceRice 2017-09-29
  • 打赏
  • 举报
回复
TPS低不是问题,应该先确认的是“网络吞吐量”是否已经饱和。如果已经饱和,那么测试本身无效。 其次还要确认“磁盘IO”是否饱和。如果已经饱和,那么测试本身无效。 其实一般来说,大批量上传文件,问题一般都不会是因为网络协议问题,哪怕你用HTTP去上传,也不回比FTP差很多。 容易出问题的是网络IO和磁盘IO瓶颈问题。所以 1楼的方案是比较好的。
tianfang 2017-09-27
  • 打赏
  • 举报
回复
文件多大?压缩还是不压缩?客户端还是浏览器?并发目标是多少?
zhangchao19890805 2017-09-26
  • 打赏
  • 举报
回复
我考虑有两种方法: 1. 直接买第三方的文件上传云服务。 2. 自己做。用前后端分离的方式。使用token验证用户权限。后台使用多个服务器,使用一个域名绑定多个服务器IP。这样上传文件的压力分摊到多个服务器上。[/b]
分片与并发结合 将一个大文件分割成多块 并发上传 极大地提高大文件的上传速度 当网络问题导致传输错误时 只需要重传出错分片 而不是整个文件 另外分片传输能够更加实时的跟踪上传进度 预览 压缩 支持常用图片格式jpg jpeg gif bmp png预览与压缩 节省网络数据传输 解析jpeg中的meta信息 对于各种orientation做了正确的处理 同时压缩后上传保留图片的所有原始meta数据 多途径添加文件 支持文件多选 类型过滤 拖拽 文件&文件夹 图片粘贴功能 粘贴功能主要体现在当有图片数据在剪切板中时(截屏工具如QQ Ctrl + ALT + A 网页中右击图片点击复制) Ctrl + V便可添加此图片文件 HTML5 & FLASH 兼容主流浏览器 接口一致 实现了两套运行时支持 用户无需关心内部用了什么内核 同时Flash部分没有做任何UI相关的工作 方便不关心flash的用户扩展和自定义业务需求 MD5秒传 当文件体积大 比较多时 支持上传前做文件md5值验证 一致则可直接跳过 如果服务端与前端统一修改算法 取段md5 可大大提升验证性能 耗时在20ms左右 易扩展 可拆分 采用可拆分机制 将各个功能独立成了小组件 可自由搭配 采用AMD规范组织代码 清晰明了 方便高级玩家扩展 ">分片与并发结合 将一个大文件分割成多块 并发上传 极大地提高大文件的上传速度 当网络问题导致传输错误时 只需要重传出错分片 而不是整个文件 另外分片传输能够更加实时的跟踪上传进度 预览 压缩 支持常 [更多]

25,985

社区成员

发帖
与我相关
我的任务
社区描述
高性能WEB开发
社区管理员
  • 高性能WEB开发社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧