20,808
社区成员
发帖
与我相关
我的任务
分享问下 百度云 存贮文件 去重复文件 的算法？
来自于这段话的思考：
张三上传的《TOKYO HOT N0124》和李四上传的《TH n124》是同一个文件，只不过文件名不一样，难道我就不能识别出他们是一个文件，然后只将其分别给不同的用户保存成不同的文件名不久行啦？确实可行，但这要利用一些识别文件相同性的算法，例如 MD5 值等。只要两个文件的 MD5 值一样，文件大小一样，我就认为它们是相同的文件，只需要保存一份文件并给不同的用户记作不同的文件名就好了。
有一天你发现，因为每一个文件都需要计算 MD5 值，导致 CPU 负荷很大，而且本来一样的文件非要浪费带宽上传回来才可以检测一致性，能改进一下吗？
聪明的工程师写了个小软件/.小插件，美其名曰“上传控件”，将计算 MD5 的工作利用这个软件交给了上传用户的点老来完成，一旦计算出用户要上传的数据和服务器上已经存储的某个数据是一样的，就干脆不用上传了，直接在用户那里标记上这个文件已经按照 XX 文件名上传成功了。这个过程几乎是瞬间搞定了，并给其起了个高富帅的名字“秒传”！
所以就是想请教下这个百度云或者其它云网盘的去重复文件的算法的实现。。。
张三上传的《TOKYO HOT N0124》和李四上传的《TH n124》是同一个文件，只不过文件名不一样，难道我就不能识别出他们是一个文件，然后只将其分别给不同的用户保存成不同的文件名不久行啦？确实可行，但这要利用一些识别文件相同性的算法，例如 MD5 值等。只要两个文件的 MD5 值一样，文件大小一样，我就认为它们是相同的文件，只需要保存一份文件并给不同的用户记作不同的文件名就好了。
有一天你发现，因为每一个文件都需要计算 MD5 值，导致 CPU 负荷很大，而且本来一样的文件非要浪费带宽上传回来才可以检测一致性，能改进一下吗？
聪明的工程师写了个小软件/.小插件，美其名曰“上传控件”，将计算 MD5 的工作利用这个软件交给了上传用户的点老来完成，一旦计算出用户要上传的数据和服务器上已经存储的某个数据是一样的，就干脆不用上传了，直接在用户那里标记上这个文件已经按照 XX 文件名上传成功了。这个过程几乎是瞬间搞定了，并给其起了个高富帅的名字“秒传”！
所以就是想请教下这个百度云或者其它云网盘的去重复文件的算法的实现。。。
...全文
请发表友善的回复…
发表回复
bihaichentian 2015-02-02
- 打赏
- 举报
但是MD5这种摘要算法都是有可能出现碰撞的，作为网盘服务器，肯定有极其大量的文件，难免出现碰撞，怎么避免这种碰撞呢？
sanguomi 2013-12-02
- 打赏
- 举报
基本都是这么算的。
国内最大某免费安全卫士的云查杀， 先算MD5 ，然后后台判断。
幸运小侯子 2013-10-18
- 打赏
- 举报
哈哈 标题亮了。
xng2012 2013-10-11
- 打赏
- 举报
文件名亮了哈
核动力蜗牛Killua 2013-09-26
- 打赏
- 举报
md算法都是线性的，顺序把文件的每个字节异或。
跟文件传输比较起来，时间完全不是一个级别的，所以LZ不用太担心。
