关于如何实现概率分词的初步想法

我们首先可以将需要分词索引的部分单独拿出来，自己进行分词，并对分词结果进行统计，最终将结果写到两个域中，一个是空格分离开的分词结果，我们导入lucene时使用空格分析器就ok了，这个域是要索引的，另一个域存储我们分词的统计信息，这些信息不需要索引