大量字符串数据的相似字符串查找

2015-04-08 04:27:50 710 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

不同长度的字符串/中文串相似度对比算法 1.背景介绍今天在公司接到一个需求,大概是这样的.我们ERP系统数据库有张customer(客户)表,其中有个字段是小区名称(plotName),当初在录入数据时没有对这一字段做界定和规范,由人工手动录入,这就导致两位客户本是一个小区,而录入的小区名可能不是完全一样的结果.例如张三和李四都住在武林邸,而张三录入的数据是"武林邸",李四录入的数据的"杭州市西湖区武林邸",又或是舞林邸等.由于业务... 阅读详情

字符串数量为300万条，且均为短文本，所以用simhash和lcs都是不行，前者因为短文本的缘故一个词的增加都会造成10的汉明距离差异，lcs效率太慢。不知道大家有什么好的方法，谢谢了，以下是我的一个简单思路，但还没有尝试
先把所有字符串存入vector,然后再把字符串分词后按照key为词,value为一个bit的数组，该数组中为1的就表示vector该下标下的字符串有这个分词，把这个hashmap叫做map1，当然会另建一个表存储字符串和对应分词的表map2，当然虚词停词这种词频较高的会被去除，然后新来一个字符串就依靠分词取出自己分词对应的bit数组进行与运算，比如取出四个分词，有三个分词与出来的结果不为0，就找出下标然后判定该字符串与目标字符串相似。。现在问题是我现在有三百万个字符串，用这种方法开销有多大，我的bit数组会采取二进制压缩，压缩比会有多大

...全文