網(wǎng)絡(luò)貸款用戶的信用評估問題對互聯(lián)網(wǎng)借貸公司有著非常重要的意義,本文嘗試?yán)糜脩籼卣黝A(yù)測用戶未來的負(fù)債情況,以對現(xiàn)階段信用評估問題做出新的貢獻(xiàn)。線性回歸方法是最經(jīng)典的統(tǒng)計(jì)方法之一,直到今天仍有很多新的改進(jìn)與探討。本文將利用線性回歸模型對用戶的未來負(fù)債進(jìn)行預(yù)測并探討幾種方法的優(yōu)劣對比。在進(jìn)行多元回歸時,多重共線性會導(dǎo)致模型出現(xiàn)很多問題,為減小或消除多重共線性帶來的影響,本文主要介紹了傳統(tǒng)的有偏估計(jì)方法與機(jī)器學(xué)習(xí)方法,研究內(nèi)容可主要分為以下幾個部分:首先,簡單回顧了最小二乘法與多重共線性對其造成的影響,并介紹了負(fù)債分析的含義、作用及可行性。然后,分兩部分分別介紹了用于建立線性回歸模型的有偏估計(jì)方法和機(jī)器學(xué)習(xí)方法:Liu估計(jì),主成分估計(jì)和Lasso估計(jì),支持向量回歸機(jī)和XGBoost模型。分別討論了這些方法的相關(guān)理論、實(shí)現(xiàn)過程以及它們改善多重共線性的原理。最后,獲取數(shù)據(jù)進(jìn)行實(shí)證分析,取2018年5月數(shù)據(jù)預(yù)測用戶8月的負(fù)債借款情況,得到預(yù)測結(jié)果并對比幾種方法在該情況下的適用性與優(yōu)劣性,最后給出結(jié)論。本文針對負(fù)債分析問題,對比了幾種線性回歸算法的預(yù)測效果,為今后的應(yīng)用提供了實(shí)例與依據(jù)。
【學(xué)位單位】：哈爾濱工業(yè)大學(xué)
【學(xué)位級別】：碩士
【學(xué)位年份】：2019
【中圖分類】：C81
【部分圖文】：

圖 3-1 lasso 估計(jì)與嶺估計(jì)的對比 3-1 表示的是當(dāng)只有兩個參數(shù)時，lasso 估計(jì)(左)與嶺估計(jì)(右)中誤差形狀。殘差平方和是以最小二乘估計(jì)為中心的橢圓輪廓。以原點(diǎn)為域分別是 lasso 與嶺估計(jì)的約束區(qū)域1 2 + t和2 21 2 + t. 系數(shù)影所示的約束區(qū)域內(nèi)，那么最先接觸到陰影部分的點(diǎn)就是符合最小的點(diǎn)。Lasso 與嶺估計(jì)的主要區(qū)別是 lasso 估計(jì)的約束區(qū)域是有頂點(diǎn)輪廓與菱形約束的邊相切時，其余情況該最小誤差平方和的點(diǎn)大多頂點(diǎn)，也就是說這時其中一個自變量系數(shù)(即圖 3-1 情況中的1 )取值lasso 估計(jì)在計(jì)算符合條件的最優(yōu)參數(shù)的同時也完成了特征選擇的工作(3-28)也可寫成懲罰函數(shù)表示的形式201 1 11arg min2Np plassoi ij j ji j jy x + 現(xiàn)，lasso 估計(jì)的懲罰函數(shù)是在最小二乘估計(jì)的懲罰函數(shù)上增加了一pj .

圖 3-1 lasso 估計(jì)與嶺估計(jì)的對比 3-1 表示的是當(dāng)只有兩個參數(shù)時，lasso 估計(jì)(左)與嶺估計(jì)(右)中誤差形狀。殘差平方和是以最小二乘估計(jì)為中心的橢圓輪廓。以原點(diǎn)為域分別是 lasso 與嶺估計(jì)的約束區(qū)域1 2 + t和2 21 2 + t. 系數(shù)影所示的約束區(qū)域內(nèi)，那么最先接觸到陰影部分的點(diǎn)就是符合最小的點(diǎn)。Lasso 與嶺估計(jì)的主要區(qū)別是 lasso 估計(jì)的約束區(qū)域是有頂點(diǎn)輪廓與菱形約束的邊相切時，其余情況該最小誤差平方和的點(diǎn)大多頂點(diǎn)，也就是說這時其中一個自變量系數(shù)(即圖 3-1 情況中的1 )取值lasso 估計(jì)在計(jì)算符合條件的最優(yōu)參數(shù)的同時也完成了特征選擇的工作(3-28)也可寫成懲罰函數(shù)表示的形式201 1 11arg min2Np plassoi ij j ji j jy x + 現(xiàn)，lasso 估計(jì)的懲罰函數(shù)是在最小二乘估計(jì)的懲罰函數(shù)上增加了一pj .

是構(gòu)建 X 來估計(jì)Y .如圖 3-2 所示，該算法從0 0開始，這度更小，相似程度更大，也就是( ) ( )1 0 2 0c c , 故沿1x 方向逼1 0 1 1 + x擇算法中，會取1 使得1 等于 y 在 方向上的投影；在向前梯度于某個固定的較小的步長 . 而在此算法中，令 ( ) ( 1 1 2 1c c 令2 1 2 2 + u, 其中2u 表示1x 和2x 角平分線方向的單位向量。接受的程度時結(jié)束，求得估計(jì)參數(shù) .
【相似文獻(xiàn)】

相關(guān)期刊論文 前10條

1 王義鬧;盧慶華;;關(guān)于多重共線性的三個知識點(diǎn)的準(zhǔn)確表述[J];溫州大學(xué)學(xué)報(bào)(自然科學(xué)版);2019年03期

2 韓存;毛劍芬;;多重共線性問題及其補(bǔ)救措施[J];內(nèi)蒙古統(tǒng)計(jì);2009年01期

3 韓存;毛劍芬;;多重共線性問題及其補(bǔ)救措施[J];統(tǒng)計(jì)與決策;2008年09期

4 師應(yīng)來;多重共線性問題探討[J];統(tǒng)計(jì)與決策;1994年05期

5 宋九洲，盧軍;動物性狀中多重共線性初探[J];黃牛雜志;1995年S1期

6 趙玉新;;多元線性回歸中多重共線性的研究[J];產(chǎn)業(yè)與科技論壇;2019年03期

7 李從欣;張?jiān)偕?李國柱;;解決多重共線性的新思路:路徑分析[J];統(tǒng)計(jì)與決策;2013年01期

8 楊梅;肖靜;蔡輝;;多元分析中的多重共線性及其處理方法[J];中國衛(wèi)生統(tǒng)計(jì);2012年04期

9 陳玲燕;;多重共線性下的線性回歸方法綜述[J];市場研究;2008年04期

10 劉瓊;;多重共線性的程序選優(yōu)法[J];商場現(xiàn)代化;2008年32期

相關(guān)博士學(xué)位論文 前2條

1 羅偉林;基于支持向量機(jī)方法的船舶操縱運(yùn)動建模研究[D];上海交通大學(xué);2009年

2 嚴(yán)筱永;無線傳感器網(wǎng)絡(luò)節(jié)點(diǎn)定位技術(shù)研究[D];南京理工大學(xué);2013年

相關(guān)碩士學(xué)位論文 前10條

1 徐嘉;負(fù)債分析中的多重共線性問題研究[D];哈爾濱工業(yè)大學(xué);2019年

2 程書生;關(guān)于GM(1,N)模型中多重共線性與自相關(guān)性問題的研究[D];武漢理工大學(xué);2018年

3 高陽;對多重共線性檢測指標(biāo)的一些研究[D];蘭州大學(xué);2019年

4 于曉牧;logistic回歸多重共線性診斷方法的研究[D];大連醫(yī)科大學(xué);2010年

5 張曉麗;偏最小二乘回歸分析若干問題的研究[D];東北師范大學(xué);2010年

6 郭媛媛;基于核主成分回歸的多重共線性消除問題研究[D];河北聯(lián)合大學(xué);2014年

7 張鳳蓮;多元線性回歸中多重共線性問題的解決辦法探討[D];華南理工大學(xué);2010年

8 郭鵬妮;嶺回歸與分位數(shù)回歸的研究及結(jié)合應(yīng)用[D];哈爾濱工業(yè)大學(xué);2014年

9 李娜娜;多元線性模型與多指標(biāo)預(yù)測[D];武漢科技大學(xué);2006年

10 姚玉臣;影響GDP增長的經(jīng)濟(jì)因素分析[D];哈爾濱工業(yè)大學(xué);2014年

本文編號：2860961