HanLP分词工具中的ViterbiSegment分词流程( 三 )
我们知道了词典配置变量使用的位置后 , 就可以确定每个词典的使用条件了以及每个词典的使用顺序
1. 词语粗分
(1)构建词图
对应方法为void generateWordNet(final WordNet wordNetStorage) , 在此方法中系统使用CoreNatureDictionary.txt文件切分出所有可能的分词路径 。 此时如果配置变量useCustomDictionary为true , 则将CustomDictionary.txt中的词也考虑进来 , 说明CustomDictionary.txt优先级会高 。 另外大家可以看到CoreNatureDictionary.txt实际上也充当了隐马词性标注的发射矩阵 , 里边某些多词性词也列出了词性序列以及各词性对应的频次 。
(2)用户定制词典干预
如果配置变量useCustomDictionary为true , 即需要使用CustomDictionary.txt进行干预 , 则执行下边对应的方法 , 否则跳过该步骤 。 用户词典干预根据是否进行全切分有两种不同方法:当配置变量indexMode>0时 , 即系统处于全切分模式时 , 对应方法为
推荐阅读
- 魔兽世界|暴雪嘉年华内容遭泄露,引玩家众怒,魔兽世界成捞钱工具?
- canyon|恐怖的中野联动!许秀给Canyon当工具人,DK扳回一城
- 魔兽世界|暴雪嘉年华原定内容泄露,5个魔兽世界同步推进,wow变捞钱工具?
- 马戏团|剑与远征:新英雄曝出,造型酷似工具人,两款新皮齐上线春姑火了
- 打野|王者荣耀:本赛季还是工具人法师的天下,虽然法核能玩,但不推荐
- 原神|米游社的原神版块有什么?旅行工具和签到系统对玩家帮助很大!
- 猫神|KPL猫神沦为抵债工具?阿泰开播爆料: RNGM买6.6没给钱,拿猫抵债
- mod|《CS》最好玩的七个版本,MOD模组是个强大的工具
- 冲浪|阴阳师SP浪川削弱后强度详解 无脑人权卡即将变成二流强度工具人
- 张良|工具人中单墨子张良纷纷落榜,只剩控制优秀的她深受玩家喜爱!