HanLP分词工具中的ViterbiSegment分词流程

HanLP分词工具中的ViterbiSegment分词流程

----HanLP分词工具中的ViterbiSegment分词流程//---- http://

HanLP分词工具中的ViterbiSegment分词流程

本篇文章将重点讲解HanLP的ViterbiSegment分词器类 , 而不涉及感知机和条件随机场分词器 , 也不涉及基于字的分词器 。 因为这些分词器都不是我们在实践中常用的 , 而且ViterbiSegment也是作者直接封装到HanLP类中的分词器 , 作者也推荐使用该分词器 , 同时文本分类包以及其他一些自然语言处理任务包中的分词器也都间接使用了ViterbiSegment分词器 。

今天的文章还会介绍各分词词典文件的使用位置以及作用 , 相信小伙伴们看了今天的文章应该不会再在github上提出干预自定义不生效的问题了 。 进入正题 , 本篇的内容比较多 , 建议收藏后再细读 。

推荐阅读