使用boost的正则库来过滤一篇文章的多余单词

[hmsuccess]

使用boost的正则库来过滤一篇文章的多余单词，这些单词如a an the that this which what where however等一些无意义的单词，
不知道有没有什么好的方法，谢谢

[baihacker]

直接replace掉?

[waizqfor]

帮顶!~~ 先想想

[baihacker]

#include <string>
#include <iostream>
#include <boost/regex.hpp>
using namespace std;
using namespace boost;

int main()
{
//直接replace会有公共前缀的问题
//两边加上空白符吧...还有\t之类没有写,只作示例
	regex	word_reg(" a | an | the | that | this | which | what | where | however");
	string	str ="this is an apple. where is the pig? that is it";
	str = regex_replace(str, word_reg, "@");
	cout << str << endl;
    return 0;
}

[ch1oE]

学习。。还没用过boost。。。惭愧。。。

[hmsuccess]

[Quote=引用 3 楼 baihacker 的回复:]
C/C++ code#include<string>#include<iostream>#include<boost/regex.hpp>usingnamespacestd;usingnamespaceboost;intmain()
{//直接replace会有公共前缀的问题//两边加上空白符吧...还有\t之类没有写,只作示例regex word_reg("a | an | the | that | this | which | what | where | however");stringstr="this is an apple. where is the pig? that is it";
str=regex_replace(str, word_reg,"@");
cout<<str<<endl;…
[/Quote]
您这样是把所有需要去掉的单词全部写出来，然后replace掉，可以是可以
但是我总觉得有点麻烦

[old-six-programmer]

要不你想怎样

那就读配置文件
[Quote=引用 5 楼 hmsuccess 的回复:]
引用 3 楼 baihacker 的回复:
C/C++ code#include <string>#include <iostream>#include <boost/regex.hpp>usingnamespacestd;usingnamespaceboost;intmain()
{//直接replace会有公共前缀的问题//两边加上空白符吧...还有\t之类没有写,只作示例regex word_reg("a | an | the | that | this | which | what | where | however");stringstr="this is an apple. where is the pig? that is it";
str=regex_replace(str,…
[/Quote]

[waizqfor]

[Quote=引用 5 楼 hmsuccess 的回复:]
引用 3 楼 baihacker 的回复:
C/C++ code#include <string>#include <iostream>#include <boost/regex.hpp>usingnamespacestd;usingnamespaceboost;intmain()
{//直接replace会有公共前缀的问题//两边加上空白符吧...还有\t之类没有写,只作示例regex word_reg("a | an | the | that | this | which | what | where | however");stringstr="this is an apple. where is the pig? that is it";
str=regex_replace(str,…
[/Quote]
查找一个一个的去掉 跟这个比起来差不多撒

[hmsuccess]

还有，就是去掉的单词不止这些，还有其他无意义的

[猫已经找不回了]

这个用泛型unique就可以搞定了啊，需要boost吗？

[wuyu637]

建个垃圾单词表，把这个表里的单词读入的一个hash表中，


然后读入过滤即可。。

[hmsuccess]

[Quote=引用 10 楼 wuyu637 的回复:]
建个垃圾单词表，把这个表里的单词读入的一个hash表中，


然后读入过滤即可。。
[/Quote]
当初，我也是这么想的，读入一个单词，然后在垃圾集合中找对应的，如果有的话删除，没有就保留，
可是我觉得可能效率有点慢，谢谢

[lightnut]

boost::program_options + boost::regex
要去掉的垃圾由boost::program_options 提供就可以了.

[hmsuccess]

program_options?哦
我先看看，谢谢

[zqz981]

mark

[hmsuccess]

那么，我这么问
比如在搜索引擎中，关于英文的分词技术，怎么过滤掉那些无用的东西
谢谢

[waizqfor]

[Quote=引用 15 楼 hmsuccess 的回复:]
那么，我这么问
比如在搜索引擎中，关于英文的分词技术，怎么过滤掉那些无用的东西
谢谢
[/Quote]
http://jerrie.9hy.com/contents/1209364234.phtml这有介绍

[hmsuccess]

[Quote=引用 16 楼 waizqfor 的回复:]
引用 15 楼 hmsuccess 的回复:
那么，我这么问
比如在搜索引擎中，关于英文的分词技术，怎么过滤掉那些无用的东西
谢谢

http://jerrie.9hy.com/contents/1209364234.phtml这有介绍
[/Quote]
谢谢

[lzh9955]

up

[alan001]

mark