在網(wǎng)絡(luò)中信息爆炸的大背景下,每一相同新聞主題中的信息存在著大量的冗余。不同編輯報(bào)道不同的新聞,會(huì)從成百上千種角度對(duì)新聞進(jìn)行描述。這其中雖存在著不一樣的重點(diǎn)信息,但同時(shí)也存在著大量的重復(fù)冗余。用戶(hù)想要利用碎片時(shí)間在短時(shí)間內(nèi)獲取到新聞內(nèi)容的精簡(jiǎn)信息已是難上加難。為了滿(mǎn)足用戶(hù)獲取目標(biāo)信息的需求,多文檔自動(dòng)摘要技術(shù)被越來(lái)越多的研究者們作為科研目標(biāo)。所謂多文檔摘要,即為在同一新聞主題下的多篇新聞文檔中提取出該主題包含的關(guān)鍵信息,并去除大量冗余信息而組合成的內(nèi)容摘要文檔。通過(guò)閱讀系統(tǒng)生成的新聞內(nèi)容摘要文檔可以讓用戶(hù)快捷而全面的了解到新聞關(guān)鍵信息,從而避免因冗余信息過(guò)多而浪費(fèi)時(shí)間。同時(shí)若用戶(hù)對(duì)某新聞或某主題產(chǎn)生興趣,也可以對(duì)原版新聞內(nèi)容進(jìn)行詳細(xì)閱讀。本系統(tǒng)實(shí)現(xiàn)的主要需求模塊包括新聞獲取及預(yù)處理、新聞檢索、摘要文檔生成和數(shù)據(jù)分析報(bào)表。新聞獲取及預(yù)處理模塊主要是利用爬蟲(chóng)獲取新聞數(shù)據(jù)并把數(shù)據(jù)處理為系統(tǒng)所需的格式。新聞檢索模塊可滿(mǎn)足按照新聞內(nèi)容、發(fā)布時(shí)間、渠道來(lái)源進(jìn)行單項(xiàng)檢索或復(fù)合檢索的需求。摘要文檔生成主要使用中科院NLPIR進(jìn)行分詞,而后基于語(yǔ)義詞典進(jìn)行語(yǔ)義去歧確定詞語(yǔ)唯一詞義,并根據(jù)網(wǎng)絡(luò)新聞的特點(diǎn)對(duì)新詞...

【文章頁(yè)數(shù)】：69 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
abstract
第1章 緒論
    1.1 研究背景與意義
    1.2 國(guó)內(nèi)外相關(guān)工作
    1.3 主要研究?jī)?nèi)容
    1.4 本文主要工作及組織結(jié)構(gòu)
第2章 相關(guān)工作
    2.1 多新聞文檔自動(dòng)摘要
    2.2 中文語(yǔ)料分詞
    2.3 語(yǔ)義去歧
    2.4 新縮寫(xiě)詞挖掘
    2.5 新縮寫(xiě)詞相似度計(jì)算
    2.6 相似度計(jì)算
    2.7 聚類(lèi)算法
    2.8 摘要句抽取
    2.9 小結(jié)
第3章 系統(tǒng)總體設(shè)計(jì)
    3.1 系統(tǒng)功能需求分析
        3.1.1 系統(tǒng)總體需求分析
        3.1.2 新聞獲取及預(yù)處理需求分析
        3.1.3 新聞檢索需求分析
        3.1.4 摘要文檔生成需求分析
        3.1.5 數(shù)據(jù)分析報(bào)表需求分析
    3.2 系統(tǒng)總體設(shè)計(jì)
        3.2.1 系統(tǒng)總體結(jié)構(gòu)設(shè)計(jì)
        3.2.2 系統(tǒng)各模塊設(shè)計(jì)
    3.3 數(shù)據(jù)存儲(chǔ)設(shè)計(jì)
        3.3.1 系統(tǒng)E-R圖
        3.3.2 數(shù)據(jù)庫(kù)表
    3.4 本章小結(jié)
第4章 系統(tǒng)關(guān)鍵技術(shù)
    4.1 語(yǔ)義去歧
    4.2 新縮寫(xiě)詞挖掘
        4.2.1 基于互信息的新縮寫(xiě)詞挖掘
        4.2.2 基于鄰接熵的新縮寫(xiě)詞挖掘范圍判定
    4.3 基于語(yǔ)義詞典的相似度計(jì)算
        4.3.1 常規(guī)詞相似度計(jì)算
        4.3.2 新縮寫(xiě)詞相似度計(jì)算
    4.4 基于密度的詞語(yǔ)句子聚類(lèi)分析
        4.4.1 詞語(yǔ)聚類(lèi)
        4.4.2 句子聚類(lèi)
    4.5 內(nèi)容判定的評(píng)分方式
        4.5.1 子主題內(nèi)容判定
        4.5.2 句子內(nèi)容判定
    4.6 句法識(shí)別的評(píng)分方式
    4.7 本章小結(jié)
第5章 系統(tǒng)實(shí)現(xiàn)與測(cè)試
    5.1 系統(tǒng)主要功能模塊實(shí)現(xiàn)
        5.1.1 新聞獲取及預(yù)處理功能實(shí)現(xiàn)
        5.1.2 新聞檢索功能實(shí)現(xiàn)
        5.1.3 摘要文檔生成功能實(shí)現(xiàn)
        5.1.4 數(shù)據(jù)分析報(bào)表功能實(shí)現(xiàn)
    5.2 多新聞文檔摘要評(píng)分方法分析
    5.3 實(shí)驗(yàn)結(jié)果與分析
    5.4 系統(tǒng)功能測(cè)試
        5.4.1 新聞獲取及預(yù)處理測(cè)試用例
        5.4.2 新聞檢索測(cè)試用例
        5.4.3 摘要文檔生成測(cè)試用例
        5.4.4 數(shù)據(jù)分析報(bào)表測(cè)試用例
    5.5 系統(tǒng)性能測(cè)試
    5.6 本章小結(jié)
第6章 總結(jié)與展望
    6.1 研究結(jié)論
    6.2 論文展望
致謝
參考文獻(xiàn)
攻讀學(xué)位期間發(fā)表的學(xué)術(shù)論文以及參加科研情況



本文編號(hào)：4057119