大數(shù)據(jù)背景下的聚類算法研究.pdf

1、隨著計算機技術(shù)及互聯(lián)網(wǎng)的飛速發(fā)展，現(xiàn)代社會的數(shù)據(jù)正在以不可想象的速度膨脹，對大規(guī)模數(shù)據(jù)的管理利用已然成為一種現(xiàn)實需求和必然趨勢。聚類分析作為最常用的靜態(tài)數(shù)據(jù)分析方法，常用于模式識別、機器學(xué)習(xí)、數(shù)據(jù)挖掘等領(lǐng)域。隨著大數(shù)據(jù)時代的到來，聚類分析在大數(shù)據(jù)中的應(yīng)用也變得非常普遍。
　　Hadoop是云計算環(huán)境下一種分布式計算框架，它以低成本和高效率的特性贏得了市場的認(rèn)可，正成為一種大數(shù)據(jù)處理的開發(fā)環(huán)境。很多聚類算法在Hadoop平臺已實現(xiàn)，

2、比如K-means算法、譜聚類算法等。本文針對大數(shù)據(jù)處理背景下聚類算法的改進，展開了如下主要工作:
　　(1)在Hadoop平臺下提出了一種基于Hash改進的K-means算法。將海量高維的數(shù)據(jù)映射到一個壓縮的標(biāo)識空間，進而挖掘其聚類關(guān)系，選取初始聚類中心，避免了傳統(tǒng)K-means算法對隨機選取初始聚類中心的敏感性，降低了K-means算法的迭代次數(shù)。又結(jié)合MapReduce框架將算法整體并行化，并通過Partition、Comb

3、ine等機制加強了并行化程度和執(zhí)行效率。實驗表明，該算法不僅提高了聚類的準(zhǔn)確率和穩(wěn)定性，同時具有良好的處理速度;
　　(2)在Hadoop平臺下提出一種樹形聚類算法PAClustering。先基于權(quán)重，將整體數(shù)據(jù)按分布劃分成若干數(shù)據(jù)塊，并針對每個數(shù)據(jù)塊將緊湊的數(shù)據(jù)抽象成一個向量，形成微團，最后通過樹形合并進行聚類，在提高聚類準(zhǔn)確度的同時有效避免了傳統(tǒng)算法在聚類過程中的迭代運算。并在大小數(shù)據(jù)集上做了仿真實驗，實驗表明，PAClust