如今,隨著智能終端的普及和互聯(lián)網(wǎng)的快速發(fā)展,互聯(lián)網(wǎng)已經(jīng)成為人們分享知識(shí)和在線交流的重要場合。尤其是網(wǎng)絡(luò)新聞平臺(tái)的迅速發(fā)展,某些新聞在互聯(lián)網(wǎng)中被大量轉(zhuǎn)發(fā)與評論,并且不斷更新,在互聯(lián)網(wǎng)中留下了海量的數(shù)據(jù)信息。這些數(shù)據(jù)中既存在正面的有利的信息,也隱藏著不利的言論,對網(wǎng)絡(luò)空間的安全和現(xiàn)實(shí)社會(huì)的穩(wěn)定產(chǎn)生著重要的影響。因此,有必要對網(wǎng)絡(luò)新聞話題進(jìn)行追蹤,從而實(shí)時(shí)掌握網(wǎng)絡(luò)輿情的發(fā)展趨勢。本文對話題檢測與追蹤的相關(guān)技術(shù)進(jìn)行了研究,在前人的研究成果之上進(jìn)行改進(jìn),以提高話題追蹤效果。本文的工作主要有以下3個(gè)方面:1.隨著時(shí)間的推移,話題的演變,后續(xù)新聞報(bào)道的特征也在發(fā)生變化,通過初始新聞報(bào)道訓(xùn)練的話題模型,無法有效捕捉后續(xù)新聞報(bào)道特征。本文提出了一種基于樸素貝葉斯分類的并行自適應(yīng)話題追蹤算法(PATT-NB)。算法提出了一種自適應(yīng)話題更新策略,使用最小屬性可信度閾值截取后續(xù)相關(guān)新聞報(bào)道更新訓(xùn)練集,豐富話題的特征表達(dá)。實(shí)驗(yàn)表明,本算法有效地緩解了話題漂移現(xiàn)象并可以有效地對大數(shù)據(jù)進(jìn)行并行處理。2.設(shè)計(jì)了一種基于N-Gram的并行話題追蹤算法(PTT-Gram)。該算法使用N-Gram語言模型充分利用詞語間的語序...

【文章頁數(shù)】：59 頁

【學(xué)位級別】：碩士

【文章目錄】：
摘要
Abstract
1 緒論
    1.1 研究背景
    1.2 國內(nèi)外研究現(xiàn)狀
    1.3 本文主要內(nèi)容和組織結(jié)構(gòu)
2 相關(guān)技術(shù)
    2.1 話題追蹤相關(guān)技術(shù)
        2.1.1 話題追蹤基本概念
        2.1.2 話題追蹤基本實(shí)現(xiàn)思想
    2.2 傳統(tǒng)分類算法介紹
        2.2.1 k NN分類
        2.2.2 決策樹分類
        2.2.3 樸素貝葉斯分類
    2.3 N-Gram語言模型
        2.3.1 N-Gram語言模型語言單元切分法
        2.3.2 基于N-Gram語言模型的文本表示
    2.4 Hadoop平臺(tái)概述
        2.4.1 HDFS文件系統(tǒng)
        2.4.2 MapReduce計(jì)算模型
    2.5 小結(jié)
3 基于樸素貝葉斯分類的并行自適應(yīng)話題追蹤算法PATT-NB
    3.1 基于樸素貝葉斯分類的話題追蹤
    3.2 自適應(yīng)話題追蹤系統(tǒng)
    3.3 話題模型更新策略
    3.4 PATT-NB算法設(shè)計(jì)
        3.4.1 PATT-NB算法的訓(xùn)練階段
        3.4.2 PATT-NB算法的驗(yàn)證階段
        3.4.3 PATT-NB算法的測試階段
    3.5 實(shí)驗(yàn)結(jié)果與分析
        3.5.1 度量標(biāo)準(zhǔn)
        3.5.2 實(shí)驗(yàn)和結(jié)果
    3.6 小結(jié)
4 基于N-Gram的并行話題追蹤算法PTT-Gram
    4.1 基于N-Gram語言模型的話題追蹤
    4.2 PTT-Gram算法設(shè)計(jì)
        4.2.1 訓(xùn)練階段
        4.2.2 測試階段
    4.3 實(shí)驗(yàn)結(jié)果與分析
    4.4 小結(jié)
5 基于N-Gram的并行自適應(yīng)話題追蹤算法PATT-Gram
    5.1 背景及意義
    5.2 PATT-Gram算法設(shè)計(jì)
        5.2.1 算法的驗(yàn)證階段
        5.2.2 算法的測試階段
    5.3 實(shí)驗(yàn)結(jié)果與分析
    5.4 小結(jié)
6 總結(jié)與展望
參考文獻(xiàn)
致謝
攻讀碩士期間發(fā)表的論文
攻讀碩士期間參與的會(huì)議
附錄一 表目錄
附錄二 圖目錄



本文編號(hào)：4052609