提高大文件计算 SHA1 值的方法?

hanyuxinting 2010-08-27 11:48:12
现在计算 SHA1 值,小文件计算值感觉速度还比较快,但是来个几百兆的文件时,速度感觉明显就下降了。

我现在的方法是每次读取几K到内存,然后计算SHA1值,但是这样感觉很慢,特别是大文件的时候,CPU很快就100%,想问一下,有没有什么方法呢?


1. 提高一下算法的速度,
2. 大文件计算SHA1值的方案,比如,是不是可以将文件分段,只计算某些段的某些内容来计算 SHA1 值,不知道这样会把准确率降低多少?

还请大家指正。
...全文
370 5 打赏 收藏 转发到动态 举报
写回复
用AI写文章
5 条回复
切换为时间正序
请发表友善的回复…
发表回复
hanyuxinting 2013-02-18
  • 打赏
  • 举报
回复
后来我好像用了windowapi里的一个方法。。。
hanyuxinting 2010-09-08
  • 打赏
  • 举报
回复
我用的他们的一个hash工具,就很快的,不知道怎么提高速度。继续晕之。
FancyMouse 2010-08-27
  • 打赏
  • 举报
回复
pc上计算hash瓶颈一直只在硬盘io上。cpu能100要么说明cpu太次要么就是程序写挫了。
  • 打赏
  • 举报
回复
[Quote=引用 1 楼 fancymouse 的回复:]
pc上计算hash瓶颈一直只在硬盘io上。cpu能100要么说明cpu太次要么就是程序写挫了。
[/Quote]

那次我下了个hashU的软件计算一个一个大iso文件,感觉也挺慢的。难道是因为它同时计算了md5和sha1导致的?我如果将那个iso文件复制到移动硬盘也用不了那么久啊。

ps:你这次怎么没用“乃”,呵呵
hanyuxinting 2010-08-27
  • 打赏
  • 举报
回复
[Quote=引用 1 楼 fancymouse 的回复:]

pc上计算hash瓶颈一直只在硬盘io上。cpu能100要么说明cpu太次要么就是程序写挫了。
[/Quote]

计算一个文件的时候CPU不会100,但是几个文件一起的话,就会出现 CPU 100.

33,007

社区成员

发帖
与我相关
我的任务
社区描述
数据结构与算法相关内容讨论专区
社区管理员
  • 数据结构与算法社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧