本文使用DoubleArrayTrie实现了一个性能极高的Aho Corasick自动机,应用于分词可以取得586万字每秒,约合18MB/s的分词速度。其中词典为150万词,构建耗时1801 ms。以前就在构想将AC自动机与双数组Trie树结合起来,考虑到持久化比较困难(goto和fail表是内存指针/引用),一直没下决心实现,今天终于成功了。AC自动机能高速完成多模式匹配,然而具体实现聪明与否决定最终性能高低。大部分实现都是一个Map<Character, State>了事,无论是TreeMa...
继续阅读: »
原文链接: