傳統(tǒng)的情感分類算法大多基于淺層的機(jī)器學(xué)習(xí),采用人工設(shè)計(jì)的特征選擇方法進(jìn)行特征提取,但這些方法耗時(shí)長,訓(xùn)練難,人工成本高的缺陷很難適用于如今數(shù)據(jù)集龐大的應(yīng)用場景。基于深度學(xué)習(xí)的情感分類方法,能從海量數(shù)據(jù)中主動(dòng)學(xué)習(xí)包含語義信息的詞向量,通過不同的深度神經(jīng)網(wǎng)絡(luò)獲得句子或文檔的特征和情感表達(dá)。深度神經(jīng)網(wǎng)絡(luò)中的損失函數(shù)對模型訓(xùn)練過擬合影響力顯著,優(yōu)化損失函數(shù)能夠提高模型泛化能力,減少過擬合;情感詞在文本分類中占有重要地位,循環(huán)神經(jīng)網(wǎng)絡(luò)中對輸入詞在情感分類結(jié)果的貢獻(xiàn)度進(jìn)行快速排序,增加情感詞在文本分類中的影響,能夠定量減少情感信息的丟失;在情感分類任務(wù)中引入自注意力機(jī)制,能充分學(xué)習(xí)到句子內(nèi)部的詞依賴關(guān)系,優(yōu)化特征向量,有效解決信息冗余。基于上述思想,本文結(jié)合深度神經(jīng)網(wǎng)絡(luò)和自注意力機(jī)制展開文本情感分類方法的研究,通過設(shè)計(jì)模型結(jié)構(gòu)和優(yōu)化策略,提出四種情感分類模型,以期獲得更好的分類效果。本文主要研究工作和創(chuàng)新點(diǎn)如下:(1)以長短期記憶網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ),對二分類任務(wù)中所用的交叉熵?fù)p失函數(shù)進(jìn)行優(yōu)化,使模型更有效地去擬合預(yù)測錯(cuò)誤樣本,減少過擬合。基于優(yōu)化的交叉熵?fù)p失函數(shù),設(shè)計(jì)了 LSTM-BO(Lon...

【文章頁數(shù)】：75 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景及意義
    1.2 國內(nèi)外研究和發(fā)展現(xiàn)狀
        1.2.1 情感分析研究現(xiàn)狀
        1.2.2 深度學(xué)習(xí)研究現(xiàn)狀
        1.2.3 注意力機(jī)制研究現(xiàn)狀
    1.3 主要工作
    1.4 本文的組織結(jié)構(gòu)
2 相關(guān)理論概述
    2.1 詞向量
        2.1.1 詞的分布式表示
        2.1.2 Word2vec框架
    2.2 深度神經(jīng)網(wǎng)絡(luò)模型介紹
        2.2.1 卷積神經(jīng)網(wǎng)絡(luò)
        2.2.2 LSTM和 Bi-LSTM模型
    2.3 注意力機(jī)制
    2.4 評價(jià)指標(biāo)
    2.5 本章小結(jié)
3 基于深度學(xué)習(xí)的情感分類方法研究
    3.1 基于優(yōu)化損失函數(shù)的LSTM-BO和 CNN-BO模型
        3.1.1 合頁損失函數(shù)和三元組損失函數(shù)的本質(zhì)思想
        3.1.2 LSTM-BO和 CNN-BO模型
    3.2 融合情感詞權(quán)重的W-RNN模型
        3.2.1 循環(huán)神經(jīng)網(wǎng)絡(luò)
        3.2.2 W-RNN模型
        3.2.3 算法流程
    3.3 實(shí)驗(yàn)設(shè)置與結(jié)果分析
        3.3.1 實(shí)驗(yàn)設(shè)置
        3.3.2 基于LSTM-BO和 CNN-BO模型的實(shí)驗(yàn)結(jié)果分析
        3.3.3 基于W-RNN模型的實(shí)驗(yàn)結(jié)果分析
    3.4 本章小結(jié)
4 結(jié)合自注意力機(jī)制的SA-BiLSTM模型
    4.1 自注意力機(jī)制
        4.1.1 注意力機(jī)制本質(zhì)思想
        4.1.2 位置編碼
        4.1.3 復(fù)雜度分析
    4.2 SA-BiLSTM模型框架
    4.3 實(shí)驗(yàn)設(shè)置與結(jié)果分析
        4.3.1 實(shí)驗(yàn)設(shè)置
        4.3.2 基準(zhǔn)系統(tǒng)及超參數(shù)配置
        4.3.3 實(shí)驗(yàn)結(jié)果與分析
    4.4 本章小結(jié)
5 總結(jié)與展望
    5.1 本文總結(jié)
    5.2 工作展望
致謝
參考文獻(xiàn)
攻讀碩士學(xué)位期間主要科研成果



本文編號：4057028