社区
高性能WEB开发
帖子详情
大并发量上传文件
SDProgrammer
2017-09-22 11:42:14
需求是在同一时段有大量客户进行文件上传操作,现采用的是将文件上传至ftp文件服务器,但是测出来的tps很低,想问问大神们 现在遇到类似大批量客户同一时段上传文件采用什么技术方法!感激不尽!
...全文
1186
3
打赏
收藏
大并发量上传文件
需求是在同一时段有大量客户进行文件上传操作,现采用的是将文件上传至ftp文件服务器,但是测出来的tps很低,想问问大神们 现在遇到类似大批量客户同一时段上传文件采用什么技术方法!感激不尽!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
MiceRice
2017-09-29
打赏
举报
回复
TPS低不是问题,应该先确认的是“网络吞吐量”是否已经饱和。如果已经饱和,那么测试本身无效。 其次还要确认“磁盘IO”是否饱和。如果已经饱和,那么测试本身无效。 其实一般来说,大批量上传文件,问题一般都不会是因为网络协议问题,哪怕你用HTTP去上传,也不回比FTP差很多。 容易出问题的是网络IO和磁盘IO瓶颈问题。所以 1楼的方案是比较好的。
tianfang
2017-09-27
打赏
举报
回复
文件多大?压缩还是不压缩?客户端还是浏览器?并发目标是多少?
zhangchao19890805
2017-09-26
打赏
举报
回复
我考虑有两种方法: 1. 直接买第三方的文件上传云服务。 2. 自己做。用前后端分离的方式。使用token验证用户权限。后台使用多个服务器,使用一个域名绑定多个服务器IP。这样上传文件的压力分摊到多个服务器上。[/b]
Java分布式文件对象存储Minio框架
并发
上传、下载、合并、删除等操作示例Demo完整版
Java分布式文件对象存储Minio框架
并发
上传、下载、合并、删除等操作示例Demo完整版,可用于生产环境开发。
高
并发
解决方案
高
并发
解决方案
使用python paramiko实现多线程
并发
sftp下载文件
本课程从paramiko的基础使用出发,通过几个案例让同学们明白paramiko的功能,包括发送命令到服务器执行,shell的交互式会话,以及文件的上传和下载,最后我们通过一个案例先封装我们的paramiko各个功能,接着让同学...
高
并发
的常见应对方案
【数据库缓存】【数据库缓存】【服务器的集群化,以及负载均衡】
HTML5+FLASH+php+文件上传
分片与
并发
结合 将一个大文件分割成多块
并发
上传 极大地提高大文件的上传速度 当网络问题导致传输错误时 只需要重传出错分片 而不是整个文件 另外分片传输能够更加实时的跟踪上传进度 预览 压缩 支持常用图片格式jpg jpeg gif bmp png预览与压缩 节省网络数据传输 解析jpeg中的meta信息 对于各种orientation做了正确的处理 同时压缩后上传保留图片的所有原始meta数据 多途径添加文件 支持文件多选 类型过滤 拖拽 文件&文件夹 图片粘贴功能 粘贴功能主要体现在当有图片数据在剪切板中时(截屏工具如QQ Ctrl + ALT + A 网页中右击图片点击复制) Ctrl + V便可添加此图片文件 HTML5 & FLASH 兼容主流浏览器 接口一致 实现了两套运行时支持 用户无需关心内部用了什么内核 同时Flash部分没有做任何UI相关的工作 方便不关心flash的用户扩展和自定义业务需求 MD5秒传 当文件体积大
量
比较多时 支持上传前做文件md5值验证 一致则可直接跳过 如果服务端与前端统一修改算法 取段md5 可大大提升验证性能 耗时在20ms左右 易扩展 可拆分 采用可拆分机制 将各个功能独立成了小组件 可自由搭配 采用AMD规范组织代码 清晰明了 方便高级玩家扩展 ">分片与
并发
结合 将一个大文件分割成多块
并发
上传 极大地提高大文件的上传速度 当网络问题导致传输错误时 只需要重传出错分片 而不是整个文件 另外分片传输能够更加实时的跟踪上传进度 预览 压缩 支持常 [更多]
高性能WEB开发
25,985
社区成员
4,366
社区内容
发帖
与我相关
我的任务
高性能WEB开发
高性能WEB开发
复制链接
扫一扫
分享
社区描述
高性能WEB开发
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章