查找目录下所有文件夹内的重复文件（MD5）下载

weixin_39820535 2019-08-31 06:00:30

查找目录下所有文件夹内的重复文件（根据MD5值查找），删除重复文件。
相关下载链接：//download.csdn.net/download/jingqia/6704375?utm_source=bbsseo

...全文

193 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

lnaswzz 2020-03-03

打赏
举报

回复

好东西。需要！！！

思路：通过文件的md5值和大小，判断文件是否相同。 using System.Collections.Generic; using System.Security.Cryptography; using System.IO; public static class FileTool { // 文件检索目录 private const string DirPath = ""; // 重复文件的存放目录 private const string SameFilesP

功能介绍：在传入Windows路径后（例如“D:\小米云服务下载”），遍历文件夹下所视频有文件（包括子文件夹下的视频文件，其他类型不做判断），判断视频文件是否重复（由于视频文件很大，无法计算整个文件的哈希值，所以对文件大于5MB的文件，仅判断前5MB的哈希值），如果重复则列出所有重复文件的文件大小(以MB为单位，并保留两位小数)和绝对路径。使用了MD5算法，虽然通常情况下足够用于检测文件重复，但在某些场景下MD5可能不是最安全的选择。

表达式 `@{ Expression={$md5s[$files.IndexOf($_)]} }` 将对 `$files` 列表中每个元素执行索引计算，以获取它的哈希值。- `-Path "C:\your\folder"`：指定要搜索的文件夹路径。- `Select-Object`：选择通过管道传递的对象的属性或其他数据。- `ForEach-Object`：对于 `$files` 列表中的每个元素，执行后续操作。- `foreach`：对于 `$groups` 列表中的每个元素，执行后续操作。

老师布置的一个使用java查找硬盘目录下的全部相同文件，这可把我愁的，在网上一顿乱找，找不到看着舒服明白的，自己动手写代码吧，上菜。 import java.io.File; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.IOException; import java.math.BigInteger; import java.security.MessageDi...

查找重复文件思路很简单：找出指定目录及子目录下所有文件找出大小重复的进一步确认md5也重复的，则认为是重复文件这里md5，为了加速计算，没有算文件的完整md5。（之前看到过这种算法，忘了在哪里看来的，大概是用于上传文件时，快速判断是否与已有文件对比验证用的）将文件分成256块，每块取前8个字节计算md5，这样能快速计算出一个大概可以用于判断文件唯一性的md5。完整代码如下： #!/...

下载资源悬赏专区

13,654

社区成员

12,574,225

社区内容

发帖

与我相关

我的任务

其他技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章