Releases: houbb/sensitive-word
Releases · houbb/sensitive-word
stopword all, and stop_zh
【stopword.txt】全量的 stop word
【stopword_zh.txt】仅仅包含中文的 stop word
Slim the dict
格式统一化
-
将所有的大写字母统一转换为小写
-
将所有的全角转换为半角
-
移除所有【空格】【符号】(这个就是各种符号的过滤了)
-
繁体字统一转换为简体字
最后保证信息的去重。
移除大量的信息
-
移除 QQ 号的类似数字
-
移除所有网址(.com、cn、.org)
-
移除纯英文
-
移除乱码
�
备份相关信息。