基于云計(jì)算平臺(tái)的聚類算法的研究.pdf

1、聚類算法一直是數(shù)據(jù)挖掘算法中比較重要的一個(gè)分支，在無(wú)需先驗(yàn)知識(shí)的前提下，聚類算法可以幫助研究人員從數(shù)據(jù)集合中獲取數(shù)據(jù)特有的規(guī)律和組織結(jié)構(gòu)。伴隨著科技的發(fā)展，數(shù)據(jù)集中包含的數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng)，傳統(tǒng)模式的聚類分析算法已經(jīng)不足以應(yīng)付當(dāng)前的數(shù)據(jù)規(guī)模，Hadoop、Spark等分布式平臺(tái)的出現(xiàn)為聚類分析的發(fā)展和研究提供了一個(gè)新的方向，同時(shí)，聚類算法也成了研究的重中之重。
　　本文針對(duì)傳統(tǒng)聚類算法難以有效解決大數(shù)據(jù)聚類處理的問(wèn)題，通過(guò)對(duì)聚類算

2、法的研究和優(yōu)化，并結(jié)合當(dāng)前云計(jì)算模式的發(fā)展主要做了如下工作：
　　(1)首先對(duì)基于劃分的最典型的K-means算法做了深入的分析，主要介紹了該算法的特點(diǎn)和執(zhí)行過(guò)程。然后結(jié)合其自身特點(diǎn)，詳細(xì)的闡述了K-means算法存在的幾個(gè)缺點(diǎn)，并針對(duì)這些缺點(diǎn)，提出了通過(guò)對(duì)數(shù)據(jù)集進(jìn)行預(yù)處理以得出K-means算法初始條件的k值、初始聚類中心的方案。從優(yōu)化算法初始值的角度對(duì)算法進(jìn)行了一定程度的改進(jìn)。由于基于劃分的聚類算法對(duì)數(shù)據(jù)集形狀比較敏感，而基于

3、密度的聚類算法卻能夠很好的解決此類問(wèn)題。因此，本文接著對(duì)基于密度的DBSCAN算法進(jìn)行了分析和改進(jìn)，改進(jìn)的算法從一定程度上降低了算法執(zhí)行的時(shí)間消耗。
　　(2)為了解決傳統(tǒng)模式的聚類算法難以處理大數(shù)據(jù)集的問(wèn)題，文中探討了MapReduce編程模型，并基于此基礎(chǔ)，把改進(jìn)后的算法在Hadoop的MapReduce框架下做了并行化的設(shè)計(jì)。
　　(3)通過(guò)對(duì)比實(shí)驗(yàn)比較了兩種算法在處理任意形狀數(shù)據(jù)集時(shí)的特點(diǎn)；論證了優(yōu)化初始值后的K-m