近年來深度學(xué)習(xí)技術(shù)的研究引起了學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注,推動(dòng)了人工智能的快速發(fā)展。卷積神經(jīng)網(wǎng)絡(luò)作為深度學(xué)習(xí)研究領(lǐng)域的一個(gè)重要分支,因其具有局部感受野、權(quán)值共享和下采樣的三個(gè)特征,在模式識(shí)別和圖像處理領(lǐng)域取得了突破性的研究進(jìn)展。然而,無論是在優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)還是處理海量數(shù)據(jù)集方面,仍然存在很大的研究空間。論文的主要研究內(nèi)容和創(chuàng)新工作如下:(1)為了提高卷積神經(jīng)網(wǎng)絡(luò)對特征提取的精確程度,改善模型對旋轉(zhuǎn)、平移和縮放三種變換的魯棒性,本文提出了一種自適應(yīng)加權(quán)池化算法。該算法聯(lián)合最大池化和平均池化的優(yōu)點(diǎn),同時(shí)將自適應(yīng)加權(quán)掩模融入到匯集操作中,這些掩�？梢灾甘揪矸e神經(jīng)網(wǎng)絡(luò)用于識(shí)別圖像的重要特征。實(shí)驗(yàn)證明,自適應(yīng)加權(quán)池化算法適用于各種圖片數(shù)據(jù)庫和網(wǎng)絡(luò)結(jié)構(gòu),可以顯著的提高網(wǎng)絡(luò)的分類效果。(2)針對現(xiàn)有激活函數(shù)存在的梯度消失問題及負(fù)區(qū)間神經(jīng)元壞死現(xiàn)象,本文分析了產(chǎn)生這些現(xiàn)象的原因,提出了一種參數(shù)可調(diào)節(jié)的激活函數(shù)Fexp,這種激活函數(shù)能夠通過適當(dāng)調(diào)整參數(shù),自由縮放梯度,從而減輕了梯度消失問題。經(jīng)過在MNIST手寫數(shù)據(jù)庫和磁片數(shù)據(jù)集上的實(shí)驗(yàn)證明,Fexp函數(shù)的提出是可行的,獲得了準(zhǔn)確率高和收斂速度快等優(yōu)良性能。(...

【文章頁數(shù)】：55 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖2-1卷積操作Figure2-1.Convolutionoperation

圖2-1卷積操作Figure2-1.Convolutionoperation激活層活層主要是針對卷積操作后的輸出信息進(jìn)行非線性映射變換。在所算中，每一層的輸出和上一層的輸入都呈現(xiàn)非線性關(guān)系。當(dāng)沒有激，不管神經(jīng)網(wǎng)絡(luò)的深度有多深，最開始的輸入和最后的輸出都是線沒有隱藏層是一....

圖2-2池化操作Figure2-2.Poolingoperation

圖2-2池化操作Figure2-2.Poolingoperation.1.5全連接層全連接層通常出現(xiàn)在卷積神經(jīng)網(wǎng)絡(luò)的后面幾層。它將卷積-池化層提取到的重新通過全值矩陣擬合，獲得完整的特征信息。在卷積神經(jīng)網(wǎng)絡(luò)中的最后一積層會(huì)采用Flatten操作，將最后輸出的特征信....

圖2-3全連接層操作

圖2-2池化操作Figure2-2.Poolingoperation層層通常出現(xiàn)在卷積神經(jīng)網(wǎng)絡(luò)的后面幾層。它將卷積-池化層全值矩陣擬合，獲得完整的特征信息。在卷積神經(jīng)網(wǎng)絡(luò)中用Flatten操作，將最后輸出的特征信息采用不同的卷積核平”后的特征值相加以后就會(huì)構(gòu)成全連接....

圖2-4卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程

積神經(jīng)網(wǎng)絡(luò)的工作原理積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程一般由兩個(gè)階段組成，如圖2-4所示。第一個(gè)低層次向高層次之間傳播，然后得到一個(gè)輸出結(jié)果，即前向傳播階段是，比較前向傳播得出的結(jié)果與預(yù)期輸出是否相符，計(jì)算誤差并底層次相應(yīng)調(diào)整網(wǎng)絡(luò)中的參數(shù)，即反向傳播階段。前向傳播和反向工作，直到網(wǎng)絡(luò)的輸出....

本文編號：4054795