[原创]SQL SERVER 2005/2008 全文索引介绍 (二)

coleling 2011-03-21 05:40:30
加精
上接[原创]SQL SERVER 2005/2008 全文索引介绍 (一)

对于例1，这里涉及到全文索引的一个重要概念，干扰词(Noise Words)。
为了精简全文索引，Microsoft SQL Server 提供了一种机制，用来去掉那些经常出现但对搜索没有帮助的词。这些词称为“干扰词”或“终止词”。

如英文中的"a"、"and"和"the"等，中文中的"的"、"了"、"在"等，凭经验就知道这些词对于搜索意义不大。因此将他们排除在全文索引之外。

对于SQL 2005，干扰词存放在$SQL_Server_Install_Path\Microsoft SQL Server\MSSQL.1\MSSQL\FTDATA\ 目录中，每种语言对应一个文件。
对于SQL 2008，干扰词存放在系统表sys.fulltext_stopwords中，可通过下面的语句查看：


SELECT stopword FROM sys.fulltext_stopwords WHERE language_id = 2052 --简体中文

--下面是部分结果：

/*

后

因

在

好

它

小	--请注意这里

已

并

很

我

*/

现在我们应该知道，例1中我们使用CONTAINS(*,'小')语句之所以查不到任何结果，是因为"小"字被系统当作干扰词，系统中没有存储关于"小"字的任何信息。

那么，这些干扰词我们可以修改么？答案是肯定的。对于SQL 2005，我们可以直接修改相应语言对应的干扰词文件；对于SQL 2008，我们可以用T-SQL语句来增加、删除干扰词。
----------------------------------------------------------------------------------------------------------
对于例2，和干扰词无关，是由于全文引擎断词不当造成的。这也是全文索引最为人诟病的一点。
在SQL 2008之前版本中，我们无法看到全文引擎到底是怎样断词的，但在SQL 2008中，我们可以通过查询系统表值函数sys.dm_fts_index_keywords
和sys.dm_fts_index_keywords_by_document来查看断词结果。

如对于第二条记录，我们可以这样看断词后的结果:
SELECT display_term 

FROM sys.dm_fts_index_keywords_by_document(DB_ID('TestFT'),OBJECT_ID('TB')) 

WHERE document_id=2 and column_id = 3 --全文键值为2 第3列

/*

display_term

---------------

宁夏

固

原有

位

网友

给

敬爱

苍老	--注意这里

师

写

封

信

END OF FILE

*/

根据上述结果，我们可以看到，全文引擎将"苍老"当成了一个词，所以我们用CONTAINS(*,'苍')查询不到这条记录。同理，我们用CONTAINS(*,'老师')也查不到这条记录。

对于每种断字符语言，断词结果是无法改变的。如果实在想要改变，只能通过微软公布的接口，自行编程修改相应的组件。

除了使用上面的两个表值函数外，还可以使用sys.dm_fts_parser来分析断词结果，sys.dm_fts_parser函数用起来更加灵活。
比如，针对同样的一句话，我们可以比较繁体中文和简体中文的断词结果:


SELECT special_term,display_term FROM sys.dm_fts_parser('宁夏固原有一位网友给敬爱的苍老师写了一封信',1028,0,0) --繁体中文

/*

special_term     display_term

---------------- ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Exact Match      宁

Exact Match      夏

Exact Match      固

Exact Match      原有

Noise Word       一

Exact Match      位

Exact Match      网

Exact Match      友

Exact Match      给

Exact Match      敬

Exact Match      爱

Noise Word       的

Exact Match      苍		--注意这里

Exact Match      老

Exact Match      师

Exact Match      写

Noise Word       了

Noise Word       一

Exact Match      封

Exact Match      信



(20 行受影响)

*/



SELECT special_term,display_term FROM sys.dm_fts_parser('宁夏固原有一位网友给敬爱的苍老师写了一封信',2052,0,0) --简体中文

/*

special_term     display_term

---------------- ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

Exact Match      宁夏

Exact Match      固

Exact Match      原有

Noise Word       一

Exact Match      位

Exact Match      网友

Exact Match      给

Exact Match      敬爱

Noise Word       的

Exact Match      苍老	--注意这里

Exact Match      师

Exact Match      写

Noise Word       了

Noise Word       一

Exact Match      封

Exact Match      信



(16 行受影响)

*/

可以看到，对于"苍老师"，简体和繁体的断词结果是不同的，对于繁体中文，用CONTAINS(*,'苍')是能够查到这条记录的.
顺便说一句，有意使用别的语言也是对付断词不准的一种方法.

后记：本来想写的全面一点，详细一点，但现在想想，这是个吃力不讨好的活儿，就此草草收场，文不对题，本人十分惭愧，对此有兴趣的同学，可以光临本人博客，我们私下交流。
...全文
1730 88 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
88 条回复
切换为时间正序
请发表友善的回复…
发表回复
qq1099569 2011-03-28
  • 打赏
  • 举报
 回复
支持啊
huiyiguoqu0 2011-03-27
  • 打赏
  • 举报
 回复
顶一个，谢谢分享。
jierenli 2011-03-25
  • 打赏
  • 举报
 回复
我们学过了，不过看了还是很有用
Sstephanie 2011-03-24
  • 打赏
  • 举报
 回复
呵呵 支持一下。我们正学这个着呢
kid_wang 2011-03-24
  • 打赏
  • 举报
 回复
先冒个头，等着看。
昵称被占用了 2011-03-24
  • 打赏
  • 举报
 回复
搂主有没有研究过组合词的问题

比如
SELECT special_term,display_term FROM sys.dm_fts_parser('身份证',2052,0,0) --简体中文
和你把“身份证”插入表后
SELECT display_term
FROM sys.dm_fts_index_keywords_by_document(DB_ID('TestFT'),OBJECT_ID('TB'))
WHERE document_id=2 and column_id = 3 --全文键值为2 第3列
比较，会发现前者有“身份证”、“身份”、“证”三个词，后者只有“身份”、“证”两个词，少了组合词。
yangs2013 2011-03-24
  • 打赏
  • 举报
 回复
支持，学习
kewei320 2011-03-24
  • 打赏
  • 举报
 回复
SELECT * FROM TB WHERE CONTAINS(*,'苍老师')
这条select语句在sql 2008 R2 里运行 报错

消息 30046，级别 16，状态 1，第 1 行
SQL Server 在与全文筛选器后台程序宿主(FDHost)进程通信时遇到错误 0x80070422。请确保 FDHost 进程正在运行。若要重新启动 FDHost 进程，请运行 sp_fulltext_service 'restart_all_fdhosts' 命令或重新启动 SQL Server 实例。
请问是什么原因啊
Delta 2011-03-24
  • 打赏
  • 举报
 回复
[Quote=引用 7 楼 dawugui 的回复:]
谢谢分享.
[/Quote]收了。。。
裸奔在上海 2011-03-24
  • 打赏
  • 举报
 回复
占个位子，回家学习，公司不允许上网，每天有时间流量监控的，超过要罚钱
gw6328 2011-03-23
  • 打赏
  • 举报
 回复
楼主，我遇到情况了。之前我按照你的方法可以创建全文索引，但后来我删了数据库
再创建就不行了。能创建，但是查询不出来数据。
- -!
zjgj790326 2011-03-23
  • 打赏
  • 举报
 回复
对我很有用哦
duoduoduos 2011-03-23
  • 打赏
  • 举报
 回复
>>>>>>>>>>>SADfasdfsadfasdf
乐居猫 2011-03-23
  • 打赏
  • 举报
 回复
SELECT stopword FROM sys.fulltext_stopwords WHERE language_id = 2052--简体中文
-----------------------------------
消息 208，级别 16，状态 1，第 1 行
对象名 'sys.fulltext_stopwords' 无效。
yywd4 2011-03-23
  • 打赏
  • 举报
 回复
好资料，学习。
mengweidsg 2011-03-23
  • 打赏
  • 举报
 回复
学习了 biaozhun.yu@meitipu.com
biaozhun.shu@meitipu.com
biaozhun.ku@meitipu.com
enter1110 2011-03-23
  • 打赏
  • 举报
 回复
很好啊，谢谢
enter1110 2011-03-23
  • 打赏
  • 举报
 回复
谢谢啦
formyfurture 2011-03-23
  • 打赏
  • 举报
 回复
很好啊。。。
yingbo781 2011-03-22
  • 打赏
  • 举报
 回复
谢谢分享.
加载更多回复（14）
.NET开发平台结合Microsoft SQL Server文档管理
原创开源C# ASP.NET 文档管理门户 - DocFlow Document Portal下载 DocFlow文档管理门户说明： DocFlow展示了使用.NET开发平台结合Microsoft SQL Server数据库和Microsoft Indexing Service索引服务同样也能创建功能强大的文档管理门户。 DocFlow提供文档的存储和管理，全文搜索，基于用户角色的安全访问机制。DocFlow支持多种文档格式包括 Microsoft Office办公文档。 最新版本的更新、源代码、说明文档请访问以下网页： http://www.uupx.com/down/DocumentManagement
Tutorialspoint Selenium SQLServer Swift Solr SVN SQLite Socket Smarty Shell 教程
Tutorialspoint Selenium SQLServer Swift Solr SVN SQLite Socket Smarty Shell Sed 教程
原创开源C# ASP.NET 文档管理门户 - DocFlow Document Portal下载
DocFlow展示了使用.NET开发平台结合Microsoft SQL Server数据库和Microsoft Indexing Service索引服务同样也能创建功能强大的文档管理门户。 DocFlow提供文档的存储和管理，全文搜索，基于用户角色的安全访问机制。DocFlow支持多种文档格式包括 Microsoft Office办公文档。 http://www.uupx.com/down/DocumentManagement/DocFlowCN.html
SQL Server 使用全文索引进行页面搜索
标签：SQL SERVER/MSSQL SERVER/数据库/DBA/全文索引 概述   全文引擎使用全文索引中的信息来编译可快速搜索表中的特定词或词组的全文查询。全文索引将有关重要的词及其位置的信息存储在数据库表的一列或多列中。全文索引是一种特殊类型的基于标记的功能性索引，它是由 SQL Server 全文引擎生成和维护的。生成全文索引的过程不同于生成其他类型的索引。全文引擎并非基于
全文索引完全图解
全文索引完全图解全文索引是解决海量数据模糊查询的较好解决办法。 全文检索可以对varchar,text,image型字段进行检索,但一个表最多只能建一个全文索引SQL Server 2000 引入了对存储在 image 列中的这些类型的数据执行全文检索的能力。如果没有全文索引，对字符的模糊查询只能对基表进行全表扫描（或索引扫描），执行模糊查询都需要对全表扫描或索引扫描意味着消耗大量IO。如
MS-SQL Server

34,838

社区成员

254,632

社区内容

发帖
与我相关
我的任务
社区描述
MS-SQL Server相关内容讨论专区
社区管理员
  • 基础类社区
  • 二月十六
  • 卖水果的net
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章