两两比较示例

[Keven-Lee]

假设我有50000个文档，需要两两比较其相似度，因为每个比较大概需要1-2秒，所以我想用hadoop进行分布式计算，但是不知道怎么写。各位见笑了。

假定比较相似度的函数为：float sim(String text1, String text2)

请问mapreduce要如何写？多谢。

[tom_fans]

map函数： 文档一个一个读入，然后读入的内容保存为String， 假设现在有5000个 String已经保存在一个LIST里面 cleanup阶段进行函数对比，应该通过2个for循环就解决了，把匹配的内容和结果输出，因为2个for 循环比较，一定会存在相同比较，也就是说a 比较 a， 这种结果丢弃即可。或者不比较。 for( i = 0; i< list.size ; i++ ) { for( i = 0; i< list.size ; i++ ) { float sim(list.get(i), list.get(i)) } } 大概这个意思，我觉得应该么啥问题

[tom_fans]

这种方式好像没有用到分布式。

[Keven-Lee]

引用 2 楼 tom_fans 的回复:

这种方式好像没有用到分布式。

是的，而且我是五万，不是五千，单线程需要一亿两千五百万秒，所以一定要分布式的。