Go中文分词：sego

Go中文分词

词典用前缀树实现，分词器算法为基于词频的最短路径加动态规划。

支持普通和搜索引擎两种分词模式，支持用户词典、词性标注，可运行JSON RPC服务。

分词速度单线程2.7MB/s，goroutines并发13MB/s, 处理器Core i7-3615QM 2.30GHz 8核。

使用

package main    import (      "fmt"      "github.com/huichen/sego"  )    func main() {      // 载入词典      var segmenter sego.Segmenter      segmenter.LoadDictionary("github.com/huichen/sego/data/dictionary.txt")        // 分词      text := []byte("中华人民共和国中央人民政府")      segments := segmenter.Segment(text)        // 处理分词结果      // 支持普通模式和搜索模式两种分词，见代码中SegmentsToString函数的注释。      fmt.Println(sego.SegmentsToString(segments, false))   }

项目主页：http://www.open-open.com/lib/view/home/1410329990851

本文由用户 jopen 自行上传分享，仅供网友学习交流。所有权归原作者，若您的权利被侵害，请联系管理员。

转载本站原创文章，请注明出处，并保留原始链接、图片水印。

本站是一个以用户分享为主的开源技术平台，欢迎各类分享！

本文地址：https://www.open-open.com/lib/view/open1410329990851.html

sego 中文分词

热门搜索

Go中文分词：sego

使用