爬虫中如何实现内容去重，有什么好的算法？求大神！！

[SW1575167988]

爬虫中如何实现内容去重，有什么好的算法？最好用c#语言的，我有看过语义指纹提取关键字算法，有哪位大神能给个好的算法

[threenewbee]

使用贝叶斯网络，大概概念可以看看一些论文 http://www.nmgkjyjj.com/Article_Show.asp?ArticleID=6077

[以专业开发人员为伍]

在进入一个页面之前，可以根据url来判断是否重复。如果要进入一个重复的页面，那么首先要把之前查询到的此页面下的内容删除，否则不能进入。

[以专业开发人员为伍]

当然，根据rl判断是最初级的判断，这支持判断文档“重复特征”的最笨办法。