篩選逐步回歸方法的改進(jìn)研究.pdf

1、回歸分析是利用最小平方法確定自變數(shù)與依變數(shù)之間數(shù)量化關(guān)系的統(tǒng)計(jì)分析方法，并對(duì)目標(biāo)變數(shù)作出數(shù)值分析和預(yù)測(cè)。相比其它統(tǒng)計(jì)分析方法而言，有更悠久的歷史，由于其應(yīng)用的假定條件大多能夠得到滿足，統(tǒng)計(jì)推斷的基礎(chǔ)牢固，故結(jié)論也較為可信。線性回歸分析的應(yīng)用非常廣泛，求算過(guò)程簡(jiǎn)單，容易為大多數(shù)使用者掌握，現(xiàn)有統(tǒng)計(jì)軟件包使各種回歸方法計(jì)算十分方便。然而，在科學(xué)研究的許多領(lǐng)域，例如農(nóng)學(xué)、生物學(xué)、化工學(xué)等，自變量與依變量之間的關(guān)系并非僅是線性，還可能存在冪響應(yīng)

2、和互作效應(yīng)等；自變量之間還可能存在多重共線性，較大程度影響回歸分析的結(jié)果。這是多元線性回歸分析中普遍存在的現(xiàn)象，出現(xiàn)以上問(wèn)題時(shí)，利用最小平方法無(wú)法或不能準(zhǔn)確估計(jì)回歸參數(shù)。在做具體科研試驗(yàn)特別是醫(yī)學(xué)實(shí)驗(yàn)和工業(yè)試驗(yàn)時(shí)，由于經(jīng)費(fèi)、試驗(yàn)條件等方面的限制，還有可能出現(xiàn)考察自變量個(gè)數(shù)大于甚至遠(yuǎn)遠(yuǎn)大于試驗(yàn)次數(shù)的情況，即超飽和模型的問(wèn)題。針對(duì)實(shí)際運(yùn)用中回歸分析可能存在的各種復(fù)雜情形，至今已提出不少解決各類問(wèn)題的方法，有處理多重共線性提出的方法和處理超飽

3、和模型的方法。
　　 本文對(duì)處理多重共線性和處理超飽和模型的一些較常用的方法進(jìn)行總結(jié)介紹，分析各種方法的特點(diǎn)。多重共線性的概念提出較早，處理方法也較多，較常用的方法有嶺回歸，主成分回歸，逐步回歸和偏最小二乘回歸等。處理超飽和模型的方法可歸為兩類，即變量篩選和縮減估計(jì)。變量篩選是一種降維的重要方法，有最優(yōu)子集法和逐步回歸法兩類。篩選標(biāo)準(zhǔn)是變量篩選的關(guān)鍵問(wèn)題之一?？s減估計(jì)是將所有選入變量的回歸估計(jì)值向零縮減，而不是將不顯著的變量從模

4、型中剔除。顧世梁多年前提出的一種新的回歸分析方法--篩選逐步回歸，屬于變量篩選。該方法不僅具有傳統(tǒng)逐步回歸分析的功效，而且適用于處理多重共線性和超飽和模型的分析。該方法對(duì)于回歸參數(shù)的估計(jì)相當(dāng)準(zhǔn)確，而且該方法直觀易懂，容易被使用者掌握。但是該方法也存在一些不足，在變量篩選的顯著性標(biāo)準(zhǔn)等問(wèn)題上還需進(jìn)一步優(yōu)化，提高算法程序的敏感度和特異度，同時(shí)也應(yīng)縮短運(yùn)算時(shí)間，提高運(yùn)算效率。
　　 為了解決多元線性回歸分析中存在的各種問(wèn)題，得到更優(yōu)化

5、的參數(shù)估計(jì)，促進(jìn)多元線性回歸分析方法的廣泛應(yīng)用，本文對(duì)篩選逐步回歸方法進(jìn)行重點(diǎn)研究。新方法采用在基本自變數(shù)回歸基礎(chǔ)上逐一篩選其余自變數(shù)，并對(duì)已剔除的自變數(shù)進(jìn)行多輪篩選過(guò)程，改變顯著自變數(shù)項(xiàng)選入和剔除的標(biāo)準(zhǔn)，獲得包含主要效應(yīng)分量的優(yōu)化回歸方程。本文對(duì)于新算法基于MATLAB平臺(tái)編制算法軟件，以各種模擬和實(shí)例驗(yàn)證其統(tǒng)計(jì)功效。
　　 本研究采用了不同類型的數(shù)據(jù)，模擬了不同復(fù)雜程度的效應(yīng)，用改良后的篩選逐步回歸法進(jìn)行回歸分析，并與E-b