所用IKAnalyzer：IK-Analyzer-2012FF 百度云：http://pan.baidu.com/s/1bne9UKf
实例代码：
代码语言：javascript复制 1 package com.test.ik.analyzer;
2
3 import java.io.IOException;
4 import java.io.StringReader;
5 import java.util.ArrayList;
6 import java.util.List;
7
8 import org.apache.lucene.analysis.Analyzer;
9 import org.apache.lucene.analysis.TokenStream;
10 import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;
11 import org.wltea.analyzer.cfg.Configuration;
12 import org.wltea.analyzer.cfg.DefaultConfig;
13 import org.wltea.analyzer.dic.Dictionary;
14 import org.wltea.analyzer.lucene.IKAnalyzer;
15
16 /**
17 * 文件名称: IkAnalyzer<br>
18 * 文件描述: IkAnalyzer demo<br>
19 * 版权所有: jstarseven<br>
20 * 完成日期: 2015-10-20 下午4:18:54<br>
21 *
22 * @see
23 * @param
24 * @since JDK1.6
25 */
26 public class IkAnalyzer {
27
28 public static void main(String[] args) throws Exception {
29
30 // 检索内容
31 String text = "据说WWDC要推出iPhone6要出了？与iPhone5s土豪金相比华夏怎样呢？神圣纪事，天空之城，囧囧@2014巴西世界杯 test中文"
32 "我在漫长的纠结与反省中觉悟到时间其实改变不了什么的，至少对于放弃一种好的而去相信一种坏的甚至慵懒的事物是这样的。我曾经朝九晚五，不会去日晒雨淋，坐在舒适的办公环境里，友好的同事关系，虽然工资不高，生活却也是很惬意的，如果习惯了，时间它能改变些什么呢?我不知道，也不曾去幻想，因为眼前的景物足够我安静的睡去，做足了美梦，只觉得哪怕是睁开眼睛都是件疲惫的事情，都是一件多余的事情，不必去动脑经想生活的意义是什么?";
33 List<String> list = new ArrayList<String>();
34 list.add("test中文");
35 // 尚未初始化，因为第一次执行分词的时候才会初始化，为了在执行分此前手动添加额外的字典，需要先手动的初始化一下
36 Configuration configuration = DefaultConfig.getInstance();
37 // 主字典路径
38 String mainDictionaryPath = configuration.getMainDictionary();
39 // 量词字典路径
40 String quantifierDictionaryPath = configuration.getQuantifierDicionary();
41 // 获取停止词（stopword）字典路径列表，可一次返回多个停止词词典
42 List<String> stopList = configuration.getExtStopWordDictionarys();
43 // 获取扩展字典路径列表，可一次返回多个扩展词典
44 List<String> extlist = configuration.getExtDictionarys();
45 System.out.println(mainDictionaryPath);
46 System.out.println(quantifierDictionaryPath);
47 for (String word : extlist) {
48 System.out.println(word);
49 }
50 for (String word : stopList) {
51 System.out.println(word);
52 }
53 // DictionaryIK 分词器的词典对象
54 // initial 初始化字典实例 字典采用单例模式，一旦初始化，实例就固定 注意该方法只能调用一次
55 Dictionary.initial(configuration);
56 // getSingleton 获取初始化完毕的字典单例
57 // addWords 加载用户扩展的词汇列表到 IK 的主词典中，增加分词器的可识别词语
58 Dictionary.getSingleton().addWords(list);
59 // disableWords(Collection<String> words) 屏蔽词典中的词元
60
61 // 创建分词对象 true为smart模式
62 Analyzer analyzer = new IKAnalyzer(true);
63 StringReader reader = new StringReader(text);
64
65 TokenStream ts = analyzer.tokenStream("", reader);
66 CharTermAttribute term = ts.getAttribute(CharTermAttribute.class);
67 // 遍历分词数据
68 try {
69 while (ts.incrementToken()) {
70 System.out.print(term.toString() "|");
71 }
72 } catch (IOException e) {
73 e.printStackTrace();
74 } finally {
75 reader.close();
76 }
77 }
78 }运行效果：
org/wltea/analyzer/dic/main2012.dic org/wltea/analyzer/dic/quantifier.dic ext0.dic ext1.dic stopword.dic 加载扩展词典：ext0.dic 加载扩展词典：ext1.dic 加载扩展停止词典：stopword.dic 据说|wwdc|要|推出|iphone6|要|出了|与|iphone5s土豪金|相比|华夏|怎样|呢|神圣纪事|天空之城|囧囧|2014|巴西世界杯|test中文|我|在|漫长的纠结|与|反省|中|觉悟|到|时间|其实|改变|不|了|什么的|至少|对于|放弃|一种|好|的|而去|相信|一种|坏|的|甚至|慵懒|的|事物|是|这样|的|我|曾经|朝九晚五|不会|去|日晒雨淋|坐在|舒适|的|办公|环境|里|友好|的|同事|关系|虽然|工资|不高|生活|却|也是|很|惬意|的|如果|习|惯了|时间|它能|改|变些|什么|呢|我|不知道|也|不曾|去|幻想|因为|眼前|的|景物|足够|我|安静|的|睡去|做足了美梦|只|觉得|哪怕是|睁开眼睛|都是|件|疲惫|的|事情|都是|一件|多余|的|事情|不|必去|动脑|经|想|生活|的|意义|是什么|
配置文件：IKAnalyzer.cfg.xml
代码语言：javascript复制<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
<comment>IK Analyzer 扩展配置</comment>
<!--用户可以在这里配置自己的扩展字典-->
<entry key="ext_dict">ext0.dic;ext1.dic;</entry>
<!--用户可以在这里配置自己的扩展停止词字典-->
<entry key="ext_stopwords">stopword.dic;</entry>
</properties>文件路径：
扩展字典：
ext0.dic:
巴西世界杯 iPhone5s土豪金
ext1.dic:
神圣纪事 天空之城 囧囧 漫长的纠结 朝九晚五 美梦 觉悟 做足了美梦
-END-
