基于Lucene的中文自然語言搜索引擎.pdf

1、Internet技術的飛速發(fā)展，信息的發(fā)布與共享超越了時空的限制，人類進入一個前所未有的“信息爆炸”時代。互聯(lián)網(wǎng)信息的極速膨脹提供給用戶海量的信息資源的同時，也帶來了尋找信息的困難。如果沒有一個強有力的工具來幫助人們尋找、發(fā)掘有用的信息，人們就會被湮沒在信息的海洋中，迷失方向。搜索引擎正是為了解決網(wǎng)絡“信息迷航”問題而誕生的技術。它以一定的策略在因特網(wǎng)中搜集、發(fā)現(xiàn)信息，對信息進行理解、提取、組織和處理，并為用戶提供檢索服務。它成為連接用

2、戶和互聯(lián)網(wǎng)的最佳紐帶，起到網(wǎng)絡信息導航的作用。然而由于搜索引擎技術涉及數(shù)據(jù)庫管理、信息檢索、人工智能、自然語言處理、機器學習等諸多學科，各商業(yè)公司都不愿意將自己的搜索技術公布于眾，這使得搜索引擎的應用，受到了某種程度的限制。然而，開源工具Lucene的出現(xiàn)，使得搜索引擎開發(fā)者可以簡單、快捷、并且有針對性地實現(xiàn)相當強大的搜索功能。 首先，本文針對Lucene中的中文分析器不符合漢語的習慣，造成檢索查全率、查準率以及檢索性能不夠理想

3、，實現(xiàn)基于標準中文詞庫和前向最大匹配算法的中文分析器。實驗證明：該分析器的分詞結果更符合漢語的習慣，并且在檢索速度方面性能提升了2-4倍，在檢索召回率方面性能提升了59％。 其次，本文對用戶查詢接口進行改進，實現(xiàn)基于自然語言理解的查詢接口。對用戶提交的以自然語言表述的問題進行分詞處理，去除相關輔助詞，最后提取出核心詞進行查詢。為更準確對用戶提交的自然語言進行分詞，本文采用兩種相結合的雙向掃描的方法，再利用利用詞句切分概率對歧義字

4、段進行處理。 另外，本文通過對網(wǎng)頁相關度、PageRank算法[1]Lucene評分系統(tǒng)進行研究，提出將PageRank算法引入Lucene評分系統(tǒng)，讓系統(tǒng)能夠將更重要的網(wǎng)頁更好的返回給用戶。同時利用simhash算法[2]來計算返回頁面之間的相似度，檢測過濾相似網(wǎng)頁。并且通過對排序算法的研究，改進原有快速排序。 最后，完成自然語言搜索引擎原型系統(tǒng)的設計和實現(xiàn)。原型系統(tǒng)對上海交通大學網(wǎng)絡資源進行整合。試驗證明，改原型系統(tǒng)