相似重复问题-----去重(2000分)

[wth1150]

数据：深圳报业集团发行
深圳报业集团技术管理中心
深圳报业集团技术中心网络规划部
深圳报业集团技术中心系统管理部
深圳报业集团技术中心信息安全管理部
深圳报业集团晶报
深圳报业集团汽车维修
深圳报业集团深圳商报社
深圳报业集团深圳新闻网
深圳报业集团深圳新闻中心
深圳北辰实业
深圳北村日海机房技术
深圳北大方正数码科技上海工作处
深圳北大港科拓商创业
深圳北大青鸟科技
深圳北大双极高科技
深圳北大中基科技
深圳北斗化工仪器仪表
深圳北方光学实业
深圳北方光学实业NOC
深圳北方国际合作实业
深圳北方三维实业
深圳北方投资开发
深圳北海中新物业
深圳北京大学香港科技大学医学中心
深圳北京同仁堂星辰药店
深圳Xiangxi广告
深圳API
深圳CAD在线
深圳CTTC智能控制
深圳Ctvision科技
深圳E帆电脑工作室
深圳E路通电子商务
深圳E栈网吧
深圳Gilat卫星网络
深圳IBM
深圳ID卡产品
深圳TCL电脑科技
深圳TCL电脑营销中心
深圳TCL电器销售
深圳TCL王牌电子
深圳TCL网络设备
深圳TCL新技术
深圳TCL新技术
深圳TCL
深圳wolf网络技术
深圳WTO信息查询服务中心
深圳阿尔法变频技术
深圳阿尔法特空调
深圳阿尔法特空调
深圳阿尔卡特桑达通信
深圳阿尔卡特一站式服务中心
深圳阿华计算机
深圳阿科太新型建材
深圳阿普德电子
深圳阿特金斯顾问
深圳阿特金斯顾问深圳
深圳埃迪蒙托居室用品
深圳埃迪蒙托居室用品
深圳艾比特通讯
深圳艾伯咨询
深圳艾博科建筑设计吉意普软件开发
深圳艾博克电脑技术
深圳艾博克计算机技术
深圳艾达电子技术
深圳艾科创新微电子
深圳艾科森国际电子
深圳艾科泰电子
深圳艾科泰电子
深圳艾科泰国际电子
深圳艾克化工
深圳艾肯形象策划
深圳艾蓝电子科技
深圳艾雷私电子
深圳艾雷斯电子
深圳艾雷斯电子北京
深圳艾雷斯北京
深圳艾雷斯科技
深圳艾雷斯科技北京
深圳艾玛网络
深圳艾默生网络能源
深圳艾能迪科技
深圳艾诺思中国华达电源系统
深圳艾欧服饰
深圳艾普康包装制品
深圳艾锐电子
深圳艾睿电子
深圳艾体实业
深圳艾维特科技北京办事处
深圳爱边尔电子上海
深圳爱昌电子
深圳爱迪尔电子
深圳爱迪尔电子驻杭办事处
深圳爱迪尔珠宝首饰
深圳爱迪芙
深圳爱尔卡电脑网络
深圳爱高电子
深圳爱国者嵌入式系统研究院
深圳爱华达信电子科技
深圳爱华电脑城
深圳爱华电子商行
深圳爱华电子
深圳爱华均恒系统工程
深圳爱华科技
深圳爱华顺达科技
深圳爱华通用电脑
深圳爱华通用电脑
深圳爱华通用
深圳爱华网络科技
深圳爱基投资顾问
深圳爱科达电脑
深圳爱丽时装
深圳爱连冠电脑技术
深圳爱联冠电脑技术
深圳爱林义宣广告
深圳爱林艺轩广告
深圳爱美家电子科技
深圳爱美信
深圳爱美信技术咨询深圳
深圳爱莫生网络能源
深圳爱普华微电子
深圳爱睿电子
深圳爱商精密电子
深圳爱施德电讯
深圳爱施德实业
深圳爱树木业运动器材
深圳爱树木业运动器材
深圳爱硕电子
深圳爱卫信视讯技术
深圳爱文模具设计制造
深圳爱讯电子系统
深圳爱讯计算机
深圳爱迅计算机
深圳爱迅计算机
深圳爱迅
深圳爱义模具设计制造
深圳爱义模具设计制造
深圳安必成橡胶塑胶制品
深圳安博电子
深圳安博电子
深圳安达货运
深圳安达客运
深圳安达客运
深圳安东科技
深圳安鸿实业
深圳安华计算机
深圳安华计算机
深圳安华企业发展
深圳安华实业发展
深圳安徽实业
深圳安惠实业
深圳安吉尔电子
深圳安吉尔设备技术
深圳安吉尔饮水设备
深圳安杰电子
深圳安杰电子
深圳安捷伦科技医疗器械
深圳安凯微电子技术
深圳安科高技术
深圳安科高技术
深圳安科高技术北京办事处
深圳安科高技术
深圳安莉芳集团服装
深圳安莉芳
深圳安立达通信设备
深圳安能建设
深圳安普利计算机
深圳安普利计算机北京
深圳安普利计算机深圳新迅速网络系统
深圳安琪食品
。。。。。。。
--------------------数据象上面这样
把重复的找出来。除edit distance外的算法

[shan1119]

哇，太夸张了，研究下

[dcxa_ni]

没明白你的意思

[dcxa_ni]

先找出区分重复的条件是什么

[ruanzheng13]

字典树

[zzwu]

先按字典顺序排一下,然后只要检查每一条目是否和上一条目相同即可.

[wth1150]

想要得到的相似结果如下
1
深圳安科高技术
深圳安科高技术北京办事处

2
深圳安科高技术
北京安科高技术

3
深圳安科高电脑技术
深圳安科高技术

[renzaijiang]

相似结果 最少要几个相同

[yy8354]

就当是求聚类了 切词 算TF*IDF 求两词的文本向量关系 余弦定理就OK了 多测试下 结果趋近于1的肯定是重复的了 具体取多少以上的系数 自己实验吧

[ahjoe]

都有"深圳"二字，算不算相似重复？

[kinkoyo]

同意yy8354(King)的说法

[yy8354]

用TF*IDF IDF表示就是逆词频 深圳这种词由于出现几率非常大 逆词频的权重值则相对其他真正有意义的词汇小的多 楼上的明白否?

[驿路依山]

字典树正解

[驿路依山]

看错了,当我没说

[goodmrning]

顶!!!!!!!!!!!!1

[friendzlr]

有现成的在线数据去重工具在线数据去重工具

[friendzlr]

用在线数据去重工具查询的结果如下：
基本上蛮靠谱的。
重复数; 数据编号(位置); 企业名称
1 43 深圳TCL新技术
44 深圳TCL新技术
2 49 深圳阿尔法特空调
50 深圳阿尔法特空调
3 56 深圳阿特金斯顾问
57 深圳阿特金斯顾问深圳
4 58 深圳埃迪蒙托居室用品
59 深圳埃迪蒙托居室用品
5 68 深圳艾科泰电子
69 深圳艾科泰电子
6 106 深圳爱华通用电脑
107 深圳爱华通用电脑
7 126 深圳爱树木业运动器材
127 深圳爱树木业运动器材
8 133 深圳爱迅计算机
134 深圳爱迅计算机
9 136 深圳爱义模具设计制造
137 深圳爱义模具设计制造
10 139 深圳安博电子
140 深圳安博电子
11 142 深圳安达客运
143 深圳安达客运
12 146 深圳安华计算机
147 深圳安华计算机
13 155 深圳安杰电子
156 深圳安杰电子
14 159 深圳安科高技术
162 深圳安科高技术
15 159 深圳安科高技术
160 深圳安科高技术
16 160 深圳安科高技术
162 深圳安科高技术
17 68 深圳艾科泰电子
70 深圳艾科泰国际电子
18 69 深圳艾科泰电子
70 深圳艾科泰国际电子
19 38 深圳TCL电脑科技
45 深圳TCL
20 40 深圳TCL电器销售
45 深圳TCL
21 42 深圳TCL网络设备
45 深圳TCL
22 76 深圳艾雷斯电子北京
77 深圳艾雷斯北京
23 77 深圳艾雷斯北京
79 深圳艾雷斯科技北京
24 133 深圳爱迅计算机
135 深圳爱迅
25 134 深圳爱迅计算机
135 深圳爱迅
26 163 深圳安莉芳集团服装
164 深圳安莉芳
27 39 深圳TCL电脑营销中心
45 深圳TCL
28 63 深圳艾博克电脑技术
64 深圳艾博克计算机技术
29 101 深圳爱华电子商行
102 深圳爱华电子
30 148 深圳安华企业发展
149 深圳安华实业发展
31 106 深圳爱华通用电脑
108 深圳爱华通用
32 107 深圳爱华通用电脑
108 深圳爱华通用
33 104 深圳爱华科技
109 深圳爱华网络科技
34 38 深圳TCL电脑科技
39 深圳TCL电脑营销中心
35 75 深圳艾雷斯电子
76 深圳艾雷斯电子北京
36 78 深圳艾雷斯科技
79 深圳艾雷斯科技北京
37 167 深圳安普利计算机
168 深圳安普利计算机北京
38 159 深圳安科高技术
161 深圳安科高技术北京办事处
39 161 深圳安科高技术北京办事处
162 深圳安科高技术
40 160 深圳安科高技术
161 深圳安科高技术北京办事处
41 19 深圳北方光学实业
20 深圳北方光学实业NOC
42 6 深圳报业集团晶报
10 深圳报业集团深圳新闻中心
43 2 深圳报业集团技术管理中心
6 深圳报业集团晶报
44 6 深圳报业集团晶报
8 深圳报业集团深圳商报社
45 92 深圳爱迪尔电子
93 深圳爱迪尔电子驻杭办事处
46 100 深圳爱华电脑城
106 深圳爱华通用电脑
47 100 深圳爱华电脑城
107 深圳爱华通用电脑
48 167 深圳安普利计算机
169 深圳安普利计算机深圳新迅速网络系统
49 4 深圳报业集团技术中心系统管理部
5 深圳报业集团技术中心信息安全管理部
50 2 深圳报业集团技术管理中心
4 深圳报业集团技术中心系统管理部
51 1 深圳报业集团发行
6 深圳报业集团晶报
52 1 深圳报业集团发行
10 深圳报业集团深圳新闻中心
53 6 深圳报业集团晶报
9 深圳报业集团深圳新闻网
54 6 深圳报业集团晶报
7 深圳报业集团汽车维修
55 9 深圳报业集团深圳新闻网
10 深圳报业集团深圳新闻中心
56 2 深圳报业集团技术管理中心
3 深圳报业集团技术中心网络规划部
57 1 深圳报业集团发行
8 深圳报业集团深圳商报社
58 2 深圳报业集团技术管理中心
5 深圳报业集团技术中心信息安全管理部
59 1 深圳报业集团发行
2 深圳报业集团技术管理中心
60 168 深圳安普利计算机北京
169 深圳安普利计算机深圳新迅速网络系统
61 102 深圳爱华电子
106 深圳爱华通用电脑
62 102 深圳爱华电子
107 深圳爱华通用电脑
63 39 深圳TCL电脑营销中心
40 深圳TCL电器销售
64 100 深圳爱华电脑城
102 深圳爱华电子
65 81 深圳艾默生网络能源
120 深圳爱莫生网络能源
66 86 深圳艾锐电子
87 深圳艾睿电子
67 87 深圳艾睿电子
122 深圳爱睿电子
68 113 深圳爱连冠电脑技术
114 深圳爱联冠电脑技术
69 115 深圳爱林义宣广告
116 深圳爱林艺轩广告
70 132 深圳爱讯计算机
133 深圳爱迅计算机
71 132 深圳爱讯计算机
134 深圳爱迅计算机
72 74 深圳艾雷私电子
75 深圳艾雷斯电子
73 131 深圳爱讯电子系统
135 深圳爱迅
74 132 深圳爱讯计算机
135 深圳爱迅
75 150 深圳安徽实业
151 深圳安惠实业
76 74 深圳艾雷私电子
76 深圳艾雷斯电子北京
77 43 深圳TCL新技术
45 深圳TCL
78 44 深圳TCL新技术
45 深圳TCL
79 104 深圳爱华科技
105 深圳爱华顺达科技
80 99 深圳爱华达信电子科技
109 深圳爱华网络科技
81 105 深圳爱华顺达科技
109 深圳爱华网络科技
82 99 深圳爱华达信电子科技
102 深圳爱华电子
83 99 深圳爱华达信电子科技
104 深圳爱华科技
84 41 深圳TCL王牌电子
45 深圳TCL
85 38 深圳TCL电脑科技
43 深圳TCL新技术
86 38 深圳TCL电脑科技
44 深圳TCL新技术

[friendzlr]

用在线数据去重工具查询的结果如下：
基本上蛮靠谱的。
数据编号(位置); 企业名称
43 深圳TCL新技术
44 深圳TCL新技术
49 深圳阿尔法特空调
50 深圳阿尔法特空调
56 深圳阿特金斯顾问
57 深圳阿特金斯顾问深圳
58 深圳埃迪蒙托居室用品
59 深圳埃迪蒙托居室用品
68 深圳艾科泰电子
69 深圳艾科泰电子
106 深圳爱华通用电脑
107 深圳爱华通用电脑
126 深圳爱树木业运动器材
127 深圳爱树木业运动器材
133 深圳爱迅计算机
134 深圳爱迅计算机
136 深圳爱义模具设计制造
137 深圳爱义模具设计制造
139 深圳安博电子
140 深圳安博电子
142 深圳安达客运
143 深圳安达客运
146 深圳安华计算机
147 深圳安华计算机
155 深圳安杰电子
156 深圳安杰电子
159 深圳安科高技术
162 深圳安科高技术
159 深圳安科高技术
160 深圳安科高技术
160 深圳安科高技术
162 深圳安科高技术
68 深圳艾科泰电子
70 深圳艾科泰国际电子
69 深圳艾科泰电子
70 深圳艾科泰国际电子
38 深圳TCL电脑科技
45 深圳TCL
40 深圳TCL电器销售
45 深圳TCL
42 深圳TCL网络设备
45 深圳TCL
76 深圳艾雷斯电子北京
77 深圳艾雷斯北京
77 深圳艾雷斯北京
79 深圳艾雷斯科技北京
133 深圳爱迅计算机
135 深圳爱迅
134 深圳爱迅计算机
135 深圳爱迅
163 深圳安莉芳集团服装
164 深圳安莉芳
39 深圳TCL电脑营销中心
45 深圳TCL
63 深圳艾博克电脑技术
64 深圳艾博克计算机技术
101 深圳爱华电子商行
102 深圳爱华电子
148 深圳安华企业发展
149 深圳安华实业发展
106 深圳爱华通用电脑
108 深圳爱华通用
107 深圳爱华通用电脑
108 深圳爱华通用
104 深圳爱华科技
109 深圳爱华网络科技
38 深圳TCL电脑科技
39 深圳TCL电脑营销中心
75 深圳艾雷斯电子
76 深圳艾雷斯电子北京
78 深圳艾雷斯科技
79 深圳艾雷斯科技北京
167 深圳安普利计算机
168 深圳安普利计算机北京
159 深圳安科高技术
161 深圳安科高技术北京办事处
161 深圳安科高技术北京办事处
162 深圳安科高技术
160 深圳安科高技术
161 深圳安科高技术北京办事处
19 深圳北方光学实业
20 深圳北方光学实业NOC
6 深圳报业集团晶报
10 深圳报业集团深圳新闻中心
2 深圳报业集团技术管理中心
6 深圳报业集团晶报
6 深圳报业集团晶报
8 深圳报业集团深圳商报社
92 深圳爱迪尔电子
93 深圳爱迪尔电子驻杭办事处
100 深圳爱华电脑城
106 深圳爱华通用电脑
100 深圳爱华电脑城
107 深圳爱华通用电脑
167 深圳安普利计算机
169 深圳安普利计算机深圳新迅速网络系统
4 深圳报业集团技术中心系统管理部
5 深圳报业集团技术中心信息安全管理部
2 深圳报业集团技术管理中心
4 深圳报业集团技术中心系统管理部
1 深圳报业集团发行
6 深圳报业集团晶报
1 深圳报业集团发行
10 深圳报业集团深圳新闻中心
6 深圳报业集团晶报
9 深圳报业集团深圳新闻网
6 深圳报业集团晶报
7 深圳报业集团汽车维修
9 深圳报业集团深圳新闻网
10 深圳报业集团深圳新闻中心
2 深圳报业集团技术管理中心
3 深圳报业集团技术中心网络规划部
1 深圳报业集团发行
8 深圳报业集团深圳商报社
2 深圳报业集团技术管理中心
5 深圳报业集团技术中心信息安全管理部
1 深圳报业集团发行
2 深圳报业集团技术管理中心
168 深圳安普利计算机北京
169 深圳安普利计算机深圳新迅速网络系统
102 深圳爱华电子
106 深圳爱华通用电脑
102 深圳爱华电子
107 深圳爱华通用电脑
39 深圳TCL电脑营销中心
40 深圳TCL电器销售
100 深圳爱华电脑城
102 深圳爱华电子
81 深圳艾默生网络能源
120 深圳爱莫生网络能源
86 深圳艾锐电子
87 深圳艾睿电子
87 深圳艾睿电子
122 深圳爱睿电子
113 深圳爱连冠电脑技术
114 深圳爱联冠电脑技术
115 深圳爱林义宣广告
116 深圳爱林艺轩广告
132 深圳爱讯计算机
133 深圳爱迅计算机
132 深圳爱讯计算机
134 深圳爱迅计算机
74 深圳艾雷私电子
75 深圳艾雷斯电子
131 深圳爱讯电子系统
135 深圳爱迅
132 深圳爱讯计算机
135 深圳爱迅
150 深圳安徽实业
151 深圳安惠实业
74 深圳艾雷私电子
76 深圳艾雷斯电子北京
43 深圳TCL新技术
45 深圳TCL
44 深圳TCL新技术
45 深圳TCL
104 深圳爱华科技
105 深圳爱华顺达科技
99 深圳爱华达信电子科技
109 深圳爱华网络科技
105 深圳爱华顺达科技
109 深圳爱华网络科技
99 深圳爱华达信电子科技
102 深圳爱华电子
99 深圳爱华达信电子科技
104 深圳爱华科技
41 深圳TCL王牌电子
45 深圳TCL
38 深圳TCL电脑科技
43 深圳TCL新技术
38 深圳TCL电脑科技
44 深圳TCL新技术

[超级大笨狼]

小数据量，数据库SQL语句，1-3分钟搞定。

大量数据，不考虑输入时间。

精确匹配哈希表，10分钟搞定代码，O(n)时间搞定。
前缀模糊匹配，字典树，1小时搞定，接近O(n)时间搞定。

反复查询才值得写复杂的程序去做，要“均摊分析”一下复杂度和工作量。