圖像描述任務(wù)是目前人工智能領(lǐng)域極具挑戰(zhàn)性的研究課題之一,它的主要任務(wù)是讓計(jì)算機(jī)能夠識別、理解出圖像中的內(nèi)容并自動生成相應(yīng)的文本描述句子。人類能夠理解并描述出一幅圖像中蘊(yùn)含的信息,能夠讓計(jì)算機(jī)具備人類的這種能力有著重大的現(xiàn)實(shí)意義。在實(shí)際生活中也有著非常廣泛的應(yīng)用,例如,智能人機(jī)交互、幼兒早教、信息檢索、視覺障礙者協(xié)助等。近年來,基于深度學(xué)習(xí)的圖像描述技術(shù)發(fā)展迅速,特別是神經(jīng)網(wǎng)絡(luò)的運(yùn)用,使得圖像描述模型的性能得到很大的改善。通過分析基于深度學(xué)習(xí)的圖像描述技術(shù),同時借鑒神經(jīng)機(jī)器翻譯任務(wù)取得的階段性成果,本文提出了一種區(qū)別于當(dāng)前主流方法的圖像描述模型來解決復(fù)雜場景下的描述不準(zhǔn)確問題,其主要工作內(nèi)容包含以下幾點(diǎn):(1)為了充分提取圖像中所包含的語義信息,針對視覺特征信息的在卷積層的傳播過程中的損失導(dǎo)致模型無法全面理解輸入圖像語義的情況,本文提出了一種融合多模型跨層特征的方法,融合低層特征和高層特征,并訓(xùn)練出多個編碼器對特征進(jìn)行提取,實(shí)現(xiàn)語義特征和細(xì)節(jié)特征之間的信息互補(bǔ),從而學(xué)習(xí)到更形象具體的描述句子。(2)自然場景圖像中經(jīng)常包含多個目標(biāo)和復(fù)雜的背景信息,對應(yīng)的描述語句通常也是結(jié)構(gòu)復(fù)雜的長句子,當(dāng)前...

【文章頁數(shù)】：52 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景及其意義
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 論文研究內(nèi)容和主要貢獻(xiàn)
        1.3.1 論文的主要研究內(nèi)容
        1.3.2 論文的主要貢獻(xiàn)和創(chuàng)新點(diǎn)
    1.4 論文的組織結(jié)構(gòu)
第二章 基于端到端的圖像描述基礎(chǔ)
    2.1 編碼-解碼框架
    2.2 基于CNN+RNN架構(gòu)的圖像描述生成方法
        2.2.1 方法原理
        2.2.2 監(jiān)督學(xué)習(xí)
    2.3 基于CNN+CNN架構(gòu)的圖像描述生成方法
        2.3.1 方法原理
        2.3.2 監(jiān)督學(xué)習(xí)
    2.4 圖像描述數(shù)據(jù)集及評價(jià)指標(biāo)
        2.4.1 圖像描述數(shù)據(jù)集
        2.4.2 圖像描述評價(jià)指標(biāo)
    2.5 本章小結(jié)
第三章 跨層多模型特征融合與因果卷積解碼的圖像描述
    3.1 引言
    3.2 CMFF/CD模型
        3.2.1 視覺模塊
        3.2.2 語言模塊
        3.2.3 Attention模塊
        3.2.4 語句預(yù)測生成模塊
        3.2.5 訓(xùn)練與測試
    3.3 實(shí)驗(yàn)及結(jié)果分析
        3.3.1 實(shí)驗(yàn)平臺及參數(shù)設(shè)置
        3.3.2 實(shí)驗(yàn)結(jié)果分析
    3.4 本章小結(jié)
第四章 融合多層注意力的CNN語言模型用于圖像描述
    4.1 引言
    4.2 注意力機(jī)制
        4.2.1 注意力機(jī)制的作用與原理
        4.2.2 多層級注意力模型
    4.3 融合多層注意力的CNN語言模型用于圖像描述
    4.4 實(shí)驗(yàn)結(jié)果與分析
        4.4.1 實(shí)驗(yàn)數(shù)據(jù)集
        4.4.2 定量、定性及可視化實(shí)驗(yàn)結(jié)果分析
    4.5 本章小結(jié)
第五章 總結(jié)與展望
    5.1 本文工作總結(jié)
    5.2 研究展望
參考文獻(xiàn)
致謝
攻讀學(xué)位期間的研究成果



本文編號：4038238