微博的短文本檢索查詢擴展與排序方法研究.pdf

1、隨著互聯(lián)網(wǎng)的進一步的發(fā)展和普及，微博作為一種強大有力的網(wǎng)絡(luò)平臺和社交傳播媒體日益流行起來。目前風靡全世界的Twitter和國內(nèi)的一些熱門微博如新浪微博、騰訊微博等有著龐大的用戶群體，同時每天產(chǎn)生數(shù)以億計的內(nèi)容。由于微博消息不超過140字符的長度限制，以及書寫隨意和夾雜很多網(wǎng)絡(luò)用語和表情符號。隨著微博數(shù)據(jù)的劇烈增長，如何從雜亂無章的微博短文本信息中檢索到用戶需要的有價值的實時信息變得尤為重要。傳統(tǒng)的信息檢索技術(shù)在解決這些問題的方面還存在許

2、多的不足。為了解決上述問題，本文在前人研究的基礎(chǔ)之上，以微博為研究對象，對微博短文本檢索的相關(guān)技術(shù)進行了深入的研究。
　　本文從相關(guān)性和實時性出發(fā)，盡可能使檢索結(jié)果與用戶查詢相關(guān)度高且相對較新。首先介紹了針對短文本檢索的查詢擴展技術(shù)，包括全局查詢擴展方式和基于查詢的查詢擴展方式。詳細介紹了基于詞激活力的全局查詢擴展方式，結(jié)合上下文和語義，模擬人腦，增加查詢擴展詞的選取的廣度。介紹了偽相關(guān)反饋中改進的相關(guān)模型的查詢擴展技術(shù)，相關(guān)模型

3、共需兩次檢索，在首次檢索的結(jié)果中取前TOP K個文檔（默認是相關(guān)的文檔）中，計算與原始查詢詞相關(guān)性，找出最相關(guān)的查詢擴展詞，提高查詢擴展詞選取的深度。本文介紹了在語言模型下采用詞激活力全局方式結(jié)合局部的改進相關(guān)模型的查詢擴展方式(WAF-IRM)提取查詢擴展詞語，在整體和局部、廣度和深度倆方面提高查詢擴展特征詞的選取精度。
　　在提取查詢擴展詞語后，需進行第二次檢索，檢索結(jié)果作為最終結(jié)果展示給用戶。在進行第二次檢索時，本文采用將原