大家来讨论算法，大批量同义词替换的思路，想听听各高手的建议。

[didibaba]

需求：对一篇文章内容进行同义词替换，生成一篇新的文章，对语义无需求。
1、假设有一个同义词库（数量级6万左右）
2、一个高性能的中文分词工具

想请大家帮帮忙整理一个效率最高的替换思路，请高手踊跃发言:D

[十八道胡同]

先分词然后替换

[didibaba]

先说说我自己目前的思路：
1、首先将同义词库整理成一个一对多的Hash对象（HashA），如：
词 同义词List
阿谀奉承 攀龙趋凤,阿谀奉迎,趋炎附势
矮个子 小矮个
.
.
.

2、用中文分词工具将文章内容分词
假设一篇文章共分出500个词

3、循环文章中分出的500个词,HashA中查找是否有相关的同义词，有则替换

[didibaba]

高效，要高效的思路！

[didibaba]

或者有什么好的库，大家可以推荐给在下:D

[ProjectDD]

中文分词，将文章 转换为词集，然后再词集中查找同义词是吧

然后呢？

[悔说话的哑巴]

一般能用就OK了

[悔说话的哑巴]

按需分

[didibaba]

然后是想按照文章内容词级的长度逐一查找对应长度的同义词库。先从长的开始替换起，这样语义对应会稍微好一点。

[didibaba]

呵呵，来者有分啊，下午接。

[ProjectDD]

等于你有个同义词库， 我还是没搞懂你怎么个替换法，是找到敏感词就随便找个替换吗？还是
发现文章中有相同义的重词以后再把其中之一替换掉

[silentwins]

我也没理解，楼主应该搞个例子

[didibaba]

具体的需求就是这样：我在做一个伪原创的工具，就是把别人的文章通过同义词替换，让搜索引擎误认为我的文章是原创。

我的思路写成个大概的逻辑代码，方便大家理解！
Hashtable 同义词库 = 初始化同义词库();
ArrayList KeyWords = 分词工具.分词(文章的内容);

foreach(string keyWord in KeyWords )
{
if(同义词库.ContainsKey(keyWord ))
{
文章.Replace(keyWord,同义词库[keyWord]);
}
}

[wuyq11]

通过regex替换
lucence.net 就是不错的分词组件，还有ICTCLAS分词系统
http://topic.csdn.net/u/20091028/13/df7cd47d-0f30-4361-9695-a6aa547b8d7a.html

[ProjectDD]

那你这个属于“敏感触发” 你伪代码写得明白，只要词集里有敏感的词就会导致被替换

最后输出一篇被替换的文章是吧，你这个代码已经够简单的了，你的意思是还要增加效率？

我觉得难度最大的地方，就是百度打的那个 广告所说的，“领先的中文分词技术” 这个如果你都

可以搞定，那后面的工作 就象你的伪码那样了，如果再想增加运行效率，就只有考虑并行 计算了

比如把 Words分成4块同时 搜索，同时替换什么的。。。

-----------

[idaydayup]

[Quote=引用 12 楼 didibaba 的回复:]
具体的需求就是这样：我在做一个伪原创的工具，就是把别人的文章通过同义词替换，让搜索引擎误认为我的文章是原创。

我的思路写成个大概的逻辑代码，方便大家理解！
Hashtable 同义词库 = 初始化同义词库();
ArrayList KeyWords = 分词工具.分词(文章的内容);

foreach(string keyWord in KeyWords )
{
if(同义词……
[/Quote]
我也是这么做的 不知道有更好的方法吗

[x15104572541]

[Quote=引用楼主 的回复:]
需求：对一篇文章内容进行同义词替换，生成一篇新的文章，对语义无需求。
1、假设有一个同义词库（数量级6万左右）
2、一个高性能的中文分词工具

想请大家帮帮忙整理一个效率最高的替换思路，请高手踊跃发言:D
[/Quote]

楼主，这个东西的代码能跟我共享一下吗。现在做设计需要这个类似的功能