基于最大熵模型的垃圾郵件過濾系統(tǒng)研究.pdf

1、電子郵件已經(jīng)成為人們日常生活中通信、交流的重要手段之一，但垃圾郵件的泛濫已帶來嚴重后果，有效地區(qū)分合法郵件和垃圾郵件成為一項緊迫的任務。 近年來，有關垃圾郵件過濾技術的研究逐漸興起，常見的過濾方法有黑／8名單技術、規(guī)則過濾等，但由于垃圾郵件的特征在不斷地變化，規(guī)則難以維護、準確率不高等原因，這些方法都具有一定的局限性。目前，把垃圾郵件過濾與機器學習、文本分類和信息過濾技術結合起來，對郵件正文內容進行分析，成為研究的熱點。基于內容

2、的分析能夠自動獲得垃圾郵件的特征，是一種更為精確的垃圾郵件過濾技術。 本文首先介紹了垃圾郵件過濾技術的研究背景，重點對目前常用的基于內容的垃圾郵件過濾算法進行了分析、比較。在此基礎上，對郵件進行預處理，將其表示成XML格式，為面向郵件的應用程序開發(fā)提供了統(tǒng)一的結構化表示。 最大熵模型是一個比較成熟的統(tǒng)計模型，其計算模型獨立于特定的任務，具有簡潔、通用和易于移植等特點，近年來在自然語言處理領域得到了廣泛應用。 本文

3、的重點工作是將最大熵方法應用到垃圾郵件過濾中，提出了基于最大熵的垃圾郵件過濾系統(tǒng)的基本框架；結合郵件的半結構化特性，提取郵件的結構特征、正文特征，對郵件內容進行初步的信息抽取，將郵件表示成郵件特征向量，并對使用不同特征集情況下的過濾性能進行了對比實驗；改進傳統(tǒng)最大熵模型中的特征函數(shù)定義，實驗結果表明詞頻特征函數(shù)具有較好的過濾性能；引入N-gram中性能較好的平滑算法對最大熵模型進行平滑，解決“稀疏”事件問題，對絕對折扣和高斯先驗兩種平滑

4、算法進行了對比；提出了過濾模型的自適應調整和學習算法，以適應郵件特征的變化，滿足用戶的個性化過濾要求；將最大熵方法與其它常用的垃圾郵件過濾方法進行了性能比較，實驗結果表明，這種方法在召回率、正確率、Fl值、錯誤率等方面表現(xiàn)出了良好的過濾性能。 最后，將基于最大熵的垃圾郵件過濾方法與Outlook提供的PIA相結合，開發(fā)出一個垃圾郵件過濾插件，在客戶端用最大熵方法實現(xiàn)了基于內容的垃圾郵件過濾，較好地幫助用戶解決了垃圾郵件泛濫的問題