Quality Phrase挖掘是從文本語料庫中提取有意義短語的過程,是文檔摘要、信息檢索等任務(wù)的基礎(chǔ)。然而現(xiàn)有的無監(jiān)督短語挖掘方法存在候選短語質(zhì)量不高、Quality Phrase的特征權(quán)重平均分配的問題。本文提出基于統(tǒng)計(jì)特征的Quality Phrase挖掘方法,將頻繁N-Gram挖掘、多詞短語組合性約束及單詞短語拼寫檢查相結(jié)合,保證了候選短語的質(zhì)量;引入公共知識(shí)庫對(duì)候選短語添加類別標(biāo)簽,實(shí)現(xiàn)了Quality Phrase特征權(quán)重的分配,并考慮特征之間相互影響設(shè)置懲罰因子調(diào)整權(quán)重比例;按照候選短語的特征加權(quán)函數(shù)得分排序,提取Quality Phrase。實(shí)驗(yàn)結(jié)果表明,基于統(tǒng)計(jì)特征的Quality Phrase挖掘方法明顯提高了短語挖掘的精度,與最優(yōu)的無監(jiān)督短語挖掘方法相比,精確率、召回率及F1-Score分別提升了5.97%,1.77%和4.02%。

【文章頁數(shù)】：16 頁

【文章目錄】：
引言
1相關(guān)定義
2 Quality Phrase評(píng)價(jià)準(zhǔn)則
3基于統(tǒng)計(jì)特征的候選短語挖掘方法
    3.1頻繁N?Gram短語挖掘
    3.2多詞短語組合性約束
    3.3單詞短語拼寫檢查
4基于統(tǒng)計(jì)特征的Quality Phrase選擇方法
    4.1特征對(duì)Quality Phrase的貢獻(xiàn)程度
    4.2特征之間相互影響
5實(shí)驗(yàn)驗(yàn)證
    5.1數(shù)據(jù)集
    5.2對(duì)比算法
    5.3評(píng)價(jià)指標(biāo)
    5.4實(shí)驗(yàn)結(jié)果
        5.4.1組合性統(tǒng)計(jì)意義度量選擇
        5.4.2候選短語挖掘階段實(shí)驗(yàn)結(jié)果對(duì)比
        5.4.3本文算法與其他算法的對(duì)比
6結(jié)束語



本文編號(hào)：4011740