| 注册
请输入搜索内容

热门搜索

Java Linux MySQL PHP JavaScript Hibernate jQuery Nginx
x286
9年前发布

Spark + ansj 对大数据量中文进行分词

    目前的分词器大部分都是单机服务器进行分词,或者使用hadoop mapreduce对存储在hdfs中大量的数据文本进行分词。由于mapreduce的速度较慢,相对spark来说代码书写较繁琐。本文使用 spark + ansj对存储在hdfs中的中文文本数据进行分词。
首先下载ansj源码文件,下载地址为https://github.com/NLPchina/ansj_seg,同时需要下载nlp-lang.jar包,下载地址上述网站中可以看到。由于spark传输数据必须进行序列化,而ansj中的属性类都没有实现序列化,需要将ansj_seg-master/src/main/java/org/ansj/domain中的属性类AnsjItem、Nature、 NewWord、NumNatureAttr、PersonNatureAttr、Term、TermNature、TermNatures分别实现 Serializable接口。然后使用maven的mvn install生成ansj_seg-2.0.8.jar包,将编译的ansj_seg-2.0.8.jar包 和之前下载的nlp-lang-0.3.jar包加入到spark依赖中,spark便可对hdfs中的文本进行分词。另外,将序列化后编译的jar上传至csdn,可以直接下载使用。
实例如下:

import org.apache.spark.SparkContext  import org.ansj.domain.Term  import org.ansj.splitWord.analysis.ToAnalysis  import org.ansj.util.FilterModifWord  import org.ansj.library.UserDefineLibrary  import java.util.Arrays    object TokenTest extends App  {    val sc = new SparkContext     val numpatitions = 100    val text = sc.textFile("/path/to/ChineseFile", numpatitions).map { x =>       val temp = ToAnalysis.parse(x)  //加入停用词   FilterModifWord.insertStopWords(Arrays.asList("r","n"))  //加入停用词性       FilterModifWord.insertStopNatures("w",null,"ns","r","u","e")  val filter = FilterModifWord.modifResult(temp)  //此步骤将会只取分词,不附带词性  val word = for(i<-Range(0,filter.size())) yield filter.get(i).getName       word.mkString("\t")      }    text.saveAsTextFile("/pathr/to/TokenFile")  }

 本文由用户 x286 自行上传分享,仅供网友学习交流。所有权归原作者,若您的权利被侵害,请联系管理员。
 转载本站原创文章,请注明出处,并保留原始链接、图片水印。
 本站是一个以用户分享为主的开源技术平台,欢迎各类分享!
 本文地址:https://www.open-open.com/lib/view/open1432542541707.html
Spark 中文分词