关键字过滤算法

2006-07-19 05:49:09 547 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

Januarius_ 墨衍会员 · AI 创作全网分发关注 + 加入社区

jQuery对表格的操作表格变色 1.普通的隔行变色 HTML代码： <table> <thead> <tr><th>姓名</th><th>性别</th><th>居住地</th></tr> </thead> <... 阅读详情

post一篇文章的时候，系统首先要根据banned word list来找出文章中的不允许的关键字，只需找出位置。在banned word list很长，可能达到几千的情况下，怎样做效率才能比较高呢？大家提
提建议

...全文

从AI画稿到3D虚拟时装：Illustrator与Substance 3D的服装设计工作流本文旨在解决传统服装与纺织品设计师在产品开发流程中，面临的“2D印花图案无法直观预见3D上身效果”、“物理打样成本高昂且周期漫长”的核心痛点。我们将介绍一套纯数字化的3D可视化工作流，核心是利用 Adobe Illustrator 进行矢量印花图案创作，通过 Adobe Substance 3D Sampler 将其转化为逼真的PBR（基于物理渲染）布料材质，并最终在 Adobe Substance 3D Stager 中，将该材质应用于3D服装模型，渲染出照片级的虚拟样衣。本指南将帮助设计师以极低的成本和阅读详情

Januarius_

数据结构与算法 33,026 成员 35,334 内容

+ 关注 + 加入社区

切换为时间正序

U2USoft 2006-07-22

打赏
举报

用多个KMP同时计算吧

hchf_1 2006-07-20

打赏
举报

如果你用Java或者C++，可以把banned word list放在hashmap里，快的很，这样就相当于扫描一边文档了，每个字最多也就组合四次，算起来扫描四遍文档，检索4×文档字数次。只要检索速度跟的上很好实现的。建议你用数组存banned word list，采用二分查找。这样其实比你用java或者stl的map快，因为他们底层实现其实是树，效率不如有序的二分快。如果能找到一个碰撞率的hash函数那效率就非常高了。

还有就是如果你有分词程序的话那就分词在查找，飞快！

universes 2006-07-20

打赏
举报

mark

我一开始想HASH是最快的，但仔细想一下还是很慢，对于中文来说就更慢了（1－N个字）

期望有高手能给出更好的答案！

Januarius_ 2006-07-19

打赏
举报

嗯，我也在考虑用这种方法，不过程序实现起来比较复杂，而且算法复杂度是和直接一个词一个词比较一样的,只能在常数上尝试改进了

hchf_1 2006-07-19

打赏
举报

中文的英文的？

文章是看成字符串吗？

如果是英文的那可以把文章断成词，然后把banned word list建成一个有序数组或者hash表，在banned word list表中查找文章的词，用二分应该挺快的，hash更快。
中文也是差不多吧，把banned word list建成一个有序数组或者hash表，同时记录最长的词的字数n。逐字扫描文章，对每个字做如下处理
在banned word list表中查找这个字，有得话记录这个字，跳过这个字继续扫描；没有的话，把这个字后面的第一到第n个字逐个连到这个字上，作为一个词在banned word list表中查找，如果有就记录这个词并跳过这个词。如果都没有跳过这个字。

可能写的很乱，不理解的话可以讨论。这个效率还有提高的空间，应该比用banned word list的词一个一个的strstr来的快

关键字过滤算法

相关推荐