Class WordTree
java.lang.Object
com.sure.tool.dfa.WordTree
敏感词树:基于前缀树(Trie)的 DFA 敏感词过滤,参考 Hutool 的
WordTree 设计。
支持停用词:敏感词中间出现停用词时自动跳过(如敏感词"大傻子"、停用词"说",文本"大说傻子"仍命中)。
线程安全约定:addWord(String) / addStopWord(String) 等写操作应在构建期完成(非线程安全),
构建完成后可并发执行 match(String) / contains(String) 等只读操作。
WordTree tree = new WordTree();
tree.addWords("赌博", "赌球");
boolean hit = tree.contains("我爱赌博"); // true
- Since:
- 0.1.0
- Author:
- suretool
-
Constructor Summary
Constructors -
Method Summary
Modifier and TypeMethodDescriptionaddStopWord(String word) 添加停用词:匹配敏感词过程中自动跳过(自动去除首尾空白,null/空词忽略)。addStopWords(Collection<String> words) 批量添加停用词。添加敏感词(自动去除首尾空白,null/空词忽略)。从文件加载敏感词(每行一个词,跳过空行)。批量添加敏感词。addWords(Collection<String> words) 批量添加敏感词。boolean文本是否包含任意敏感词。int敏感词总数。boolean文本是否完全等于某个敏感词(整词匹配,不涉及停用词)。匹配文本中的全部敏感词(含起止索引)。匹配文本中的全部敏感词(去重保序,不含位置)。
-
Constructor Details
-
WordTree
public WordTree()
-
-
Method Details
-
addWord
-
addWords
-
addWords
批量添加敏感词。- Parameters:
words- 敏感词集合- Returns:
- 本树(链式)
-
addWords
从文件加载敏感词(每行一个词,跳过空行)。- Parameters:
file- 词表文件charset- 文件字符集- Returns:
- 本树(链式)
- Throws:
IOException- 文件读取失败
-
addStopWord
-
addStopWords
批量添加停用词。- Parameters:
words- 停用词集合- Returns:
- 本树(链式)
-
match
-
matchAll
-
isMatch
文本是否完全等于某个敏感词(整词匹配,不涉及停用词)。- Parameters:
text- 待匹配文本- Returns:
- 是否完全匹配
-
contains
-
getWordCount
public int getWordCount()敏感词总数。- Returns:
- 敏感词数量
-