深度學習作為機器學習技術(shù)的研究熱點,其核心是特征學習,通過多層神經(jīng)網(wǎng)絡結(jié)構(gòu)在大量數(shù)據(jù)中獲得不同層次的特征信息,從而有效地解決分類、回歸等問題。然而對于部分應用場景,可采集的訓練樣本集規(guī)模較小,若直接進行訓練,得到的模型可能產(chǎn)生嚴重的過擬合現(xiàn)象。因此我們希望利用小規(guī)模數(shù)據(jù)集訓練一個高性能的深度神經(jīng)網(wǎng)絡分類/回歸模型,盡可能消除由于訓練數(shù)據(jù)量不足帶來的擬合缺陷。針對上述問題,本文首先提出了一種基于隱變量模型的特征泛化算法,解決訓練數(shù)據(jù)不足導致模型過擬合的問題;其次提出了兩種基于特征泛化層的網(wǎng)絡優(yōu)化方法,用于提升模型的訓練效率以及分類準確率。特征泛化算法的核心在于生成模型的構(gòu)建以及優(yōu)化目標的確立。基于隱變量模型,本文在深度神經(jīng)網(wǎng)絡中構(gòu)建一個特征泛化層作為生成模型,此層結(jié)構(gòu)包含一對雙向的參數(shù)化映射,構(gòu)成數(shù)據(jù)空間與隱變量空間的變換關(guān)系。算法采用多目標協(xié)同優(yōu)化的思路定義兩個目標函數(shù),分別最小化特征泛化層的生成誤差與整個網(wǎng)絡的分類誤差,反向傳播階段兩個目標函數(shù)分區(qū)域?qū)?shù)進行更新。本文選取不同規(guī)模的樣本對網(wǎng)絡進行訓練,實驗結(jié)果顯示添加特征泛化層后,DNN模型的分類準確率在MNIST數(shù)據(jù)集上的增幅為0....

【文章頁數(shù)】：65 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 圖像數(shù)據(jù)的泛化方法
        1.2.2 生成模型的優(yōu)化結(jié)構(gòu)
            1.2.2.1 單目標函數(shù)統(tǒng)一優(yōu)化
            1.2.2.2 多目標函數(shù)聯(lián)合優(yōu)化
    1.3 本文主要工作
第2章 基于隱變量模型的特征泛化算法
    2.1 引言
    2.2 特征泛化層構(gòu)建原理
        2.2.1 隱變量模型
        2.2.2 特征泛化層的結(jié)構(gòu)
        2.2.3 重構(gòu)隨機節(jié)點
    2.3 特征泛化算法的雙重目標函數(shù)
    2.4 特征泛化算法的實現(xiàn)方案
    2.5 實驗結(jié)果及分析
        2.5.1 手寫數(shù)字圖像
        2.5.2 自然圖像中的字符
        2.5.3 計算機合成的字符圖像
    2.6 本章小結(jié)
第3章 基于特征泛化層的網(wǎng)絡優(yōu)化方法
    3.1 引言
    3.2 多分支并行前向傳播優(yōu)化方法
        3.2.1 深度神經(jīng)網(wǎng)絡中特征圖的數(shù)據(jù)結(jié)構(gòu)
        3.2.2 多分支并行結(jié)構(gòu)
        3.2.3 生成誤差目標函數(shù)的優(yōu)化
    3.3 特征圖的雙通道自適應矯正優(yōu)化方法
        3.3.1 雙通道矯正結(jié)構(gòu)
        3.3.2 加權(quán)系數(shù)的自適應取值
        3.3.3 目標函數(shù)中增添約束項
    3.4 實驗結(jié)果及分析
        3.4.1 優(yōu)化前后模型的性能比較
        3.4.2 不同樣本數(shù)量下兩種優(yōu)化結(jié)構(gòu)適用性的驗證
        3.4.3 兩種優(yōu)化結(jié)構(gòu)的訓練耗時對比
    3.5 本章小結(jié)
第4章 總結(jié)與展望
    4.1 總結(jié)
    4.2 展望
致謝
參考文獻
附錄 作者在讀期間發(fā)表的學術(shù)論文及參加的科研項目



本文編號：4055782