隨著移動(dòng)互聯(lián)網(wǎng)的快速發(fā)展和移動(dòng)智能終端的普及,人們?cè)隗w驗(yàn)移動(dòng)通信所帶來便利的同時(shí),也時(shí)常遭受到大量垃圾信息的影響。目前,垃圾信息以各種媒體形式,并借助方便的即時(shí)通信進(jìn)行傳播,給社會(huì)造成極大危害。為營(yíng)造良好的通信環(huán)境,研究準(zhǔn)確、高效的垃圾即時(shí)消息檢測(cè)及過濾方法一直是人們關(guān)注的焦點(diǎn)。針對(duì)移動(dòng)互聯(lián)網(wǎng)環(huán)境下垃圾即時(shí)消息的特點(diǎn),本文從即時(shí)消息文本內(nèi)容出發(fā),設(shè)計(jì)并實(shí)現(xiàn)了基于樸素貝葉斯方法的垃圾即時(shí)消息檢測(cè)。首先將搜集的垃圾即時(shí)消息數(shù)據(jù)集分成訓(xùn)練集和測(cè)試集兩部分,分別對(duì)其進(jìn)行文本預(yù)處理,并將向量表示的即時(shí)消息文本特征用于訓(xùn)練樸素貝葉斯分類器,再將測(cè)試集輸入給訓(xùn)練好的分類器進(jìn)行分類。實(shí)驗(yàn)結(jié)果表明基于樸素貝葉斯算法的垃圾即時(shí)消息檢測(cè)方法訓(xùn)練時(shí)間短,實(shí)現(xiàn)簡(jiǎn)單。由于基于樸素貝葉斯算法的垃圾即時(shí)消息檢測(cè)方法忽略了即時(shí)消息文本特征之間的聯(lián)系,導(dǎo)致分類準(zhǔn)確率和召回率都偏低。本文利用深度信念網(wǎng)絡(luò)模型能充分挖掘文本特征之間的相關(guān)性,設(shè)計(jì)并實(shí)現(xiàn)了基于深度信念網(wǎng)絡(luò)模型的文本分類器來實(shí)現(xiàn)垃圾即時(shí)消息的檢測(cè)。其過程為首先對(duì)垃圾即時(shí)消息進(jìn)行預(yù)處理,之后采用信息增益(IG)方法提取有效特征,通過TF-IDF權(quán)重計(jì)算對(duì)選取的特征進(jìn)...

【文章頁數(shù)】：62 頁

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖2.1垃圾即時(shí)消息檢測(cè)流程圖

中南民族大學(xué)專業(yè)碩士學(xué)位論文基于樸素貝葉斯算法的垃圾即時(shí)消消息檢測(cè)總體設(shè)計(jì)學(xué)習(xí)算法的檢測(cè)方法通常分為兩個(gè)階段，一是構(gòu)造分建的分類器進(jìn)行檢測(cè)的測(cè)試階段。如圖2.1所示，即本分類器，主要包括構(gòu)建垃圾即時(shí)消息語料庫、預(yù)處練分類器等一系列步驟。對(duì)于待檢測(cè)的數(shù)據(jù)樣本，也和文本表示等操....

圖2.2正向最大匹配法分詞過程

9圖2.2正向最大匹配法分詞過程向最大匹配法對(duì)垃圾即時(shí)消息進(jìn)行分詞，得到表2.1分詞結(jié)果刷卡送好禮！即日起至11月20日，使用您名下任意中行付寶快捷支付消費(fèi)任意一筆滿59元即可獲贈(zèng)2萬積分（限千積分即可兌換星巴克任意大杯飲品，周日更享兌一送一刷卡送好禮....

圖2.3貝葉斯分類器設(shè)計(jì)流程圖

圖2.3貝葉斯分類器設(shè)計(jì)流程圖實(shí)現(xiàn)消息文本語料庫涉及個(gè)人隱私問題，目前還沒有一個(gè)公實(shí)驗(yàn)數(shù)據(jù)是從網(wǎng)上搜集和移動(dòng)手機(jī)終時(shí)消息，其中垃圾即時(shí)消息600條，分為騷擾類、廣告推銷類、違法類和詐消息和普通消息等。選取100條，正常消息100條共500條訓(xùn)練集和測(cè)試集，其中....

圖2.4貝葉斯分類器訓(xùn)練時(shí)長(zhǎng)和分類時(shí)長(zhǎng)對(duì)比圖

建貝葉斯分類器，首先提取出用于訓(xùn)練分類器的特征{,,...12Ttt要構(gòu)建訓(xùn)練集和測(cè)試集，對(duì)訓(xùn)練集中的特征進(jìn)行提取，本文以詞為算詞頻，選取權(quán)重較大的詞作為特征項(xiàng)集合；對(duì)于選定的所有特征每個(gè)特征項(xiàng)的特征值以及在各類即時(shí)消息文本訓(xùn)練集中出現(xiàn)的頻型庫，從而為分類器提供分類依據(jù)....

本文編號(hào)：3994904