Class WordTree

java.lang.Object
com.sure.tool.dfa.WordTree

public class WordTree extends Object
敏感词树:基于前缀树(Trie)的 DFA 敏感词过滤,参考 Hutool 的 WordTree 设计。

支持停用词:敏感词中间出现停用词时自动跳过(如敏感词"大傻子"、停用词"说",文本"大说傻子"仍命中)。

线程安全约定:addWord(String) / addStopWord(String) 等写操作应在构建期完成(非线程安全), 构建完成后可并发执行 match(String) / contains(String) 等只读操作。

WordTree tree = new WordTree();
tree.addWords("赌博", "赌球");
boolean hit = tree.contains("我爱赌博"); // true
Since:
0.1.0
Author:
suretool
  • Constructor Details

    • WordTree

      public WordTree()
  • Method Details

    • addWord

      public WordTree addWord(String word)
      添加敏感词(自动去除首尾空白,null/空词忽略)。
      Parameters:
      word - 敏感词
      Returns:
      本树(链式)
    • addWords

      public WordTree addWords(String... words)
      批量添加敏感词。
      Parameters:
      words - 敏感词数组
      Returns:
      本树(链式)
    • addWords

      public WordTree addWords(Collection<String> words)
      批量添加敏感词。
      Parameters:
      words - 敏感词集合
      Returns:
      本树(链式)
    • addWords

      public WordTree addWords(File file, Charset charset) throws IOException
      从文件加载敏感词(每行一个词,跳过空行)。
      Parameters:
      file - 词表文件
      charset - 文件字符集
      Returns:
      本树(链式)
      Throws:
      IOException - 文件读取失败
    • addStopWord

      public WordTree addStopWord(String word)
      添加停用词:匹配敏感词过程中自动跳过(自动去除首尾空白,null/空词忽略)。
      Parameters:
      word - 停用词
      Returns:
      本树(链式)
    • addStopWords

      public WordTree addStopWords(Collection<String> words)
      批量添加停用词。
      Parameters:
      words - 停用词集合
      Returns:
      本树(链式)
    • match

      public List<FoundWord> match(String text)
      匹配文本中的全部敏感词(含起止索引)。每个命中位置可能对应多个词(前缀重叠), 同一 (词, 起, 止) 只记录一次。
      Parameters:
      text - 待匹配文本
      Returns:
      命中列表(空输入返回空列表)
    • matchAll

      public List<String> matchAll(String text)
      匹配文本中的全部敏感词(去重保序,不含位置)。
      Parameters:
      text - 待匹配文本
      Returns:
      去重后的敏感词列表
    • isMatch

      public boolean isMatch(String text)
      文本是否完全等于某个敏感词(整词匹配,不涉及停用词)。
      Parameters:
      text - 待匹配文本
      Returns:
      是否完全匹配
    • contains

      public boolean contains(String text)
      文本是否包含任意敏感词。
      Parameters:
      text - 待匹配文本
      Returns:
      是否包含
    • getWordCount

      public int getWordCount()
      敏感词总数。
      Returns:
      敏感词数量