IK Analyzer 2012發布 中文分詞庫
IK Analyzer是一個開源的,基于java語言開發的輕量級的中文分詞工具包。從2006年12月推出1.0版開始, IKAnalyzer已經推出了4個大版本。最初,它是以開源項目Luence為應用主體的,結合詞典分詞和文法分析算法的中文分詞組件。從3.0版本開 始,IK發展為面向Java的公用分詞組件,獨立于Lucene項目,同時提供了對Lucene的默認優化實現。在2012版本中,IK實現了簡單的分詞 歧義排除算法,標志著IK分詞器從單純的詞典分詞向模擬語義分詞衍化。
IK Analyzer 2012特性:
- 采用了特有的“正向迭代最細粒度切分算法“,支持細粒度和智能分詞兩種切分模式;
- 在系統環境:Core2 i7 3.4G雙核,4G內存,window 7 64位, Sun JDK 1.6_29 64位 普通pc環境測試,IK2012具有160萬字/秒(3000KB/S)的高速處理能力。
- 2012版本的智能分詞模式支持簡單的分詞排歧義處理和數量詞合并輸出。
- 采用了多子處理器分析模式,支持:英文字母、數字、中文詞匯等分詞處理,兼容韓文、日文字符。
- 優化的詞典存儲,更小的內存占用。支持用戶詞典擴展定義。特別的,在2012版本,詞典支持中文,英文,數字混合詞語。
下載地址:http://code.google.com/p/ik-analyzer/downloads/list
原文鏈接:http://www.oschina.net/news/26788/ikanalyzer-2012
【編輯推薦】