求大神指导！！！如何对一个系统内的所有文件名进行判断重复和去重

[凝筱寒]

一个系统中存在多条数据，例如：
《战狼2》
《战狼》2
战狼_HD
原则上三个是一样的，怎么能判断他们是同一个电影呢，然后删除其余的文件。

文件名字一般都是电影、电视剧、综艺类的，研究了几天一直没想法，以什么样的规则来判断一致性，求大神们帮忙。

[ckc]

这个很难的，除非象楼上说的md5都相同可以随便删除 否则可能清晰度有差异，版本有差异，除了人工，根本不知道应该保留哪个删除哪个

[百灵工作室]

计算文件的MD5值,如果相同，则为同一文件的副本