高維數據下的特征選擇與聚類方法研究.pdf

1、在信息技術日新月異的今天，數據量呈幾何式增長，數據的維數越來越高，使得信息更為充分的同時，也給數據挖掘算法帶來了諸多挑戰(zhàn)，尤其是對分類和聚類問題的影響較為突出。數據的高維性不僅增加了算法的時間復雜度和空間復雜度，還降低了算法的求解精度，給最終的分析決策帶來負面影響。維度約簡作為數據挖掘領域的一個研究熱點，能有效解決這一問題。維度約簡的主要目的是使算法在構造模型的過程中，只關注那些任務目標相關的屬性特征，不考慮那些冗余或不相關的特征，從而

2、降低算法的時間和空間復雜度，提高算法運行效率。維度約簡技術針對數據的不同分布情況，采用不同的方法。當高維數據分布于同一個低維空間時，通常采用特征選擇方法;當高維數據分布于幾個不同低維空間時，通常選擇子空間聚類方法。現(xiàn)有的特征選擇和子空間聚類方法都存在各自的不足:特征選擇方法選擇的特征子集對分類識別精度不夠高，子空間聚類方法的聚類精度不夠高。本文圍繞特征選擇方法和子空間聚類方法主要做了如下兩方面的工作:
　　1.當高維數據分布于同一

3、個低維空間時，現(xiàn)有的基于信息論的特征選擇方法是通過已選特征而不是通過所有特征來評估候選特征，并沒有充分考慮特征的全局冗余性，導致選擇的特征子集對分類識別精度不夠高。對此，提出一種基于PageRank和遺傳算法的特征選擇方法，將每個特征視為網絡節(jié)點，利用互信息為節(jié)點創(chuàng)建邊，通過改進的PageRank對網絡節(jié)點的全局冗余性進行評估，依據本文評估準則對節(jié)點排序，并用遺傳算法選擇最優(yōu)特征子集。在UCI基準數據庫中10個數據集上進行測試，證明提出

4、的基于PageRank和遺傳算法的特征選擇方法能選擇出更優(yōu)的特征子集。
　　2.當高維數據分布于幾個不同低維空間時，目前性能最優(yōu)的算法是LS3C/NLS3C算法。然而，LS3C/NLS3C算法在稀疏編碼階段所獲得的系數矩陣中，有一些屬于不同子空間的數據對象之間線性表示的系數不為0（糟糕系數），導致由系數矩陣得到的關聯(lián)矩陣中存在部分屬于不同子空間的數據對象之間的相似度不為0（糟糕相似度），降低了LS3C/NLS3C算法的聚類精度。對

5、此，提出一種剔核潛空間稀疏子空間聚類(DLS3C/DNLS3C)方法。在求解關聯(lián)矩陣階段，對優(yōu)化函數中的系數矩陣添加一個Frobenius范數約束項，避免了在同一個線性表示中所有系數的絕對值同時趨于0，在仿射條件下，這種約束能迫使相似度大的數據對象的系數絕對值較大，而相似度小的數據對象的系數絕對值較小，再通過小系數剔除算法獲得一個更優(yōu)的系數矩陣，從而達到在譜聚類階段提高聚類精度的目的。在子空間聚類領域的基準數據集Hopkins155進行