互聯(lián)網(wǎng)中的信息伴隨著無序和雜亂,于是信息的整理和歸類便顯現(xiàn)出了重要性。文本分類技術(shù)應(yīng)運(yùn)而生,該技術(shù)旨在能夠快速并準(zhǔn)確地分類文本。文本分類是自然語言處理領(lǐng)域最為基礎(chǔ)的任務(wù)之一,已經(jīng)進(jìn)入了深度神經(jīng)網(wǎng)絡(luò)時代,深度神經(jīng)網(wǎng)絡(luò)能夠克服傳統(tǒng)文本表示存在的矩陣稀疏性、維度爆炸、難以表達(dá)語義等問題;能夠彌補(bǔ)傳統(tǒng)文本分類方法特征提取能力不足的劣勢。本文主要研究了中文文檔主題分類的相關(guān)技術(shù),深入探究了多種深度神經(jīng)網(wǎng)絡(luò)在文本分類上的應(yīng)用,并在此基礎(chǔ)上設(shè)計(jì)并實(shí)現(xiàn)了一個適合于文檔主題分類的文本分類模型。本文主要的研究工作內(nèi)容包含以下幾點(diǎn):針對不同領(lǐng)域語料之間的文本語義存在的差異性問題,本文選取與實(shí)驗(yàn)數(shù)據(jù)集相同領(lǐng)域內(nèi)的語料數(shù)據(jù)作為訓(xùn)練詞向量的語料庫內(nèi)容,在最大程度上保證語義一致性;同時采用時下流行的神經(jīng)語言模型Word2Vec去獲取連續(xù)而稠密的詞向量,以此作為后續(xù)任務(wù)的基礎(chǔ)。針對如何實(shí)現(xiàn)循環(huán)神經(jīng)網(wǎng)絡(luò)較好地在短語上建模問題,本文使用卷積算法提取相應(yīng)的短語(n-gram)特征;其次使用可以克服單向循環(huán)神經(jīng)網(wǎng)絡(luò)語義偏置問題的雙向循環(huán)神經(jīng)網(wǎng)絡(luò)提取包含完整上下文語義信息的特征,以及使用能夠捕捉數(shù)據(jù)內(nèi)部相關(guān)性特點(diǎn)的注意力機(jī)制對特...

【文章頁數(shù)】：64 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
abstract
第1章 引言
    1.1 研究背景與意義
    1.2 國內(nèi)外研究現(xiàn)狀
        1.2.1 文本表示方法
        1.2.2 文本分類方法
    1.3 本文研究內(nèi)容
    1.4 本文結(jié)構(gòu)組織
第2章 相關(guān)工作
    2.1 中文分詞
    2.2 詞向量
    2.3 卷積神經(jīng)網(wǎng)絡(luò)
        2.3.1 CNN
        2.3.2 Text-CNN
    2.4 循環(huán)神經(jīng)網(wǎng)絡(luò)
        2.4.1 長短時記憶(LSTM)
        2.4.2 門控循環(huán)單元(GRU)
        2.4.3 簡單循環(huán)單元(SRU)
    2.5 注意力機(jī)制
    2.6 本章小結(jié)
第3章 基于卷積循環(huán)的文本分類模型框架
    3.1 引言
    3.2 模型整體介紹
    3.3 基于Word2vec的詞嵌入
    3.4 基于卷積的短語特征提取結(jié)構(gòu)
        3.4.1 n-gram特征
        3.4.2 短語特征提取結(jié)構(gòu)
    3.5 基于注意力機(jī)制的文本向量生成結(jié)構(gòu)
        3.5.1 自注意力機(jī)制
        3.5.2 文本表示向量生成結(jié)構(gòu)
    3.6 本章小結(jié)
第4章 模型實(shí)驗(yàn)以及結(jié)果分析
    4.1 引言
    4.2 實(shí)驗(yàn)設(shè)計(jì)
        4.2.1 實(shí)驗(yàn)環(huán)境
        4.2.2 實(shí)驗(yàn)細(xì)節(jié)
        4.2.3 實(shí)驗(yàn)評價指標(biāo)
    4.3 實(shí)驗(yàn)結(jié)果和分析
        4.3.1 分詞實(shí)驗(yàn)結(jié)果
        4.3.2 詞向量訓(xùn)練結(jié)果
        4.3.3 模型Conv-BSA測試結(jié)果
        4.3.4 循環(huán)結(jié)構(gòu)對比實(shí)驗(yàn)結(jié)果
        4.3.5 與其他分類模型對比實(shí)驗(yàn)結(jié)果
        4.3.6 參數(shù)實(shí)驗(yàn)
    4.4 本章小結(jié)
第5章 結(jié)論與展望
    5.1 結(jié)論
    5.2 進(jìn)一步工作的方向
致謝
參考文獻(xiàn)
攻讀學(xué)位期間的研究成果



本文編號：4055006