开源:给每个文档计算一个指纹,然后用指纹进行相似度的计算 含源码和可执行程序

keryak 2013-01-25 06:43:43
开源:给每个文档计算一个指纹,然后用指纹进行相似度的计算 含源码和可执行程序

TextSimilarity textSimilarity = new TextSimilarity();

//计算文章相似度指纹

int SourceFingerprint = textSimilarity.CalcTextFingerprint(SourceText);

int DestFingerprint = textSimilarity.CalcTextFingerprint(DestText);

//对指纹进行比较,计算相似度

var Similarity = textSimilarity.CalcTextSimilarity(SourceFingerprint, DestFingerprint);

。。。。。。




咱们顺便再分析一下百度新闻啊


看到图上说的多少条相同新闻了吗?

咱们点进去看看,这是一个怎样的检索命令啊


看到了吧,这个命令很明显就是按照文档的指纹来判断是否相同的,指纹相同那么新闻肯定内容也就是大致相同的了


在看看咱这个代码计算出来的指纹吧


看到这会大家可能有点感觉了吧?


到了这里懂编程的朋友可以直接下载代码编译运行运行,体验体验啊

http://pan.baidu.com/share/link?shareid=314821&uk=201606611

不懂编程的朋友可以下载安装,安装好了,运行找找感觉啊!

http://pan.baidu.com/share/link?shareid=314822&uk=201606611


有任何疑问请与我交流QQ群:74965947, 72133568,27236303,16592133,204725117,204724518
...全文
119 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复

20,808

社区成员

发帖
与我相关
我的任务
社区描述
Hadoop生态大数据交流社区,致力于有Hadoop,hive,Spark,Hbase,Flink,ClickHouse,Kafka,数据仓库,大数据集群运维技术分享和交流等。致力于收集优质的博客
社区管理员
  • 分布式计算/Hadoop社区
  • 涤生大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧