社区
数据结构与算法
帖子详情
提高大文件计算 SHA1 值的方法?
hanyuxinting
2010-08-27 11:48:12
现在计算 SHA1 值,小文件计算值感觉速度还比较快,但是来个几百兆的文件时,速度感觉明显就下降了。
我现在的方法是每次读取几K到内存,然后计算SHA1值,但是这样感觉很慢,特别是大文件的时候,CPU很快就100%,想问一下,有没有什么方法呢?
1. 提高一下算法的速度,
2. 大文件计算SHA1值的方案,比如,是不是可以将文件分段,只计算某些段的某些内容来计算 SHA1 值,不知道这样会把准确率降低多少?
还请大家指正。
...全文
370
5
打赏
收藏
提高大文件计算 SHA1 值的方法?
现在计算 SHA1 值,小文件计算值感觉速度还比较快,但是来个几百兆的文件时,速度感觉明显就下降了。 我现在的方法是每次读取几K到内存,然后计算SHA1值,但是这样感觉很慢,特别是大文件的时候,CPU很快就100%,想问一下,有没有什么方法呢? 1. 提高一下算法的速度, 2. 大文件计算SHA1值的方案,比如,是不是可以将文件分段,只计算某些段的某些内容来计算 SHA1 值,不知道这样会把准确率降低多少? 还请大家指正。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
5 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
hanyuxinting
2013-02-18
打赏
举报
回复
后来我好像用了windowapi里的一个方法。。。
hanyuxinting
2010-09-08
打赏
举报
回复
我用的他们的一个hash工具,就很快的,不知道怎么提高速度。继续晕之。
FancyMouse
2010-08-27
打赏
举报
回复
pc上计算hash瓶颈一直只在硬盘io上。cpu能100要么说明cpu太次要么就是程序写挫了。
天下第一好大人
2010-08-27
打赏
举报
回复
[Quote=引用 1 楼 fancymouse 的回复:]
pc上计算hash瓶颈一直只在硬盘io上。cpu能100要么说明cpu太次要么就是程序写挫了。
[/Quote]
那次我下了个hashU的软件计算一个一个大iso文件,感觉也挺慢的。难道是因为它同时计算了md5和sha1导致的?我如果将那个iso文件复制到移动硬盘也用不了那么久啊。
ps:你这次怎么没用“乃”,呵呵
hanyuxinting
2010-08-27
打赏
举报
回复
[Quote=引用 1 楼 fancymouse 的回复:]
pc上计算hash瓶颈一直只在硬盘io上。cpu能100要么说明cpu太次要么就是程序写挫了。
[/Quote]
计算一个文件的时候CPU不会100,但是几个文件一起的话,就会出现 CPU 100.
Python实现
文件
SHA1
值
计算
、比较!搞定大头哈的我!
背景 现在大家比较常用的检测
文件
完整性都是比较它们的哈希
值
,并且很多网站都在用,但是作为普通用户的我!经常性的遗忘
计算
工具放在哪...1.
计算
文件
的
SHA1
值
2.用
SHA1
值
比较网站下载的
文件
3.比较两个
文件
的
SHA1
值
...
快速
计算
文件
的MD5/
SHA1
/SHA256等校验
值
(Windows/Linux)
通常网站提供
文件
时会同时提供该
文件
的校验
值
,如MD5,
SHA1
,SHA256等,当
文件
下载完成后,
计算
它的校验
值
,如果和网站提供的一致,就可以放心使用了。Windows 使用命令行
计算
校验
值
在命令行下,可以使用Windows自带...
【Python】
计算
文件
的MD5、
SHA1
、SHA256
值
(校验
文件
完整性)
从网络上下载大
文件
时,官网一般都会提供一个MD5、
SHA1
或SHA256
值
:很多同学可能会好奇这些东西到底是干嘛的?其实这是用来校验
文件
完整性的。因为从网络上下载大
文件
具有不确定性,可能会受很多因素影响,比如网络...
vue/js通过
计算
字符串 /
文件
sha1
(SHA-1)
值
、sha256
值
等
方法
vue/js 前端获取 字符串 /
文件
sha1
(SHA-1)
值
、sha256
值
等
方法
如何使用
sha1
方法
两年前,也使用过
sha1
方法
,但是随着时间的远去,遗忘了它的使用
方法
,这一次使用
sha1
...第一:每一次
sha1
计算
的时候,都要重启,所以每一次
计算
sha1
值
,都要ccp
SHA1
Start()一下。 第二:如果
sha1
计算
的数据长度大于
数据结构与算法
33,007
社区成员
35,326
社区内容
发帖
与我相关
我的任务
数据结构与算法
数据结构与算法相关内容讨论专区
复制链接
扫一扫
分享
社区描述
数据结构与算法相关内容讨论专区
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章