現(xiàn)實(shí)世界的數(shù)據(jù)往往是不完整,不一致和有噪音的,致使我們在進(jìn)行數(shù)據(jù)挖掘之前必須進(jìn)行一定的數(shù)據(jù)預(yù)處理工作。數(shù)據(jù)預(yù)處理的主要內(nèi)容包括:數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)變換和數(shù)據(jù)規(guī)約。本文是在系統(tǒng)分析總結(jié)數(shù)據(jù)預(yù)處理各種方法的前提下,針對某移動通信公司離網(wǎng)用戶數(shù)據(jù)共有70多張表,400多個(gè)屬性,最高缺失率為28.3%,含記錄最多的表有200多萬條的特點(diǎn),選用了數(shù)據(jù)預(yù)處理中的10余種方法對數(shù)據(jù)進(jìn)行預(yù)處理的過程。 本文的主要工作如下: (1)文中首先提出了數(shù)據(jù)質(zhì)量問題的概念,并對各種數(shù)據(jù)質(zhì)量問題對應(yīng)的數(shù)據(jù)預(yù)處理方法進(jìn)行了總結(jié)。 (2)針對28.3%的數(shù)據(jù)缺失情況,放棄簡單刪除的傳統(tǒng)做法。提出采用數(shù)據(jù)插補(bǔ)方法,并對各類數(shù)據(jù)插補(bǔ)方法進(jìn)行對比分析,最終選取多重插補(bǔ)算法。由于應(yīng)用插補(bǔ)的數(shù)據(jù)有683715條,屬于大規(guī)模數(shù)據(jù),為了保證插補(bǔ)效果,我們先通過小樣本實(shí)驗(yàn)的方法,在比較插補(bǔ)效果后,確定了最佳插補(bǔ)次數(shù),最終完成插補(bǔ)過程。得到了完整的并且近似真實(shí)的數(shù)據(jù)集。 (3)通過多重插補(bǔ)、屬性子集選擇、屬性集成、屬性構(gòu)造、離散化數(shù)據(jù)、規(guī)范化數(shù)據(jù)、數(shù)據(jù)抽樣等方法后,將得到的數(shù)據(jù)代入數(shù)據(jù)挖掘模型中,所獲取的信息得到了項(xiàng)目方的充分肯...

【文章頁數(shù)】：59 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖1-1論文組織結(jié)構(gòu)圖

出狀織結(jié)構(gòu)第的第第四章數(shù)據(jù)預(yù)處理方法在移動通數(shù)據(jù)預(yù)處理方法理論基礎(chǔ)

圖2-5聚類

[10]。通過函數(shù)來擬合數(shù)據(jù)，函數(shù)多為回歸函數(shù)�；匦曰貧w。線性回歸通過擬合兩個(gè)屬性間的最佳線來（可擴(kuò)展到多個(gè)屬性）。[10]。聚類是將處理對象的集合分組為多個(gè)由相似對到一組由數(shù)據(jù)對象組成的集合，即簇。如果有對象需要先驗(yàn)知識，即可直接形成簇并對簇進(jìn)行描述。

圖2-9數(shù)據(jù)立方體在數(shù)據(jù)挖掘中的挖掘主題可能只跟數(shù)據(jù)集中的部分屬性有關(guān)，而數(shù)據(jù)集中

圖2-9數(shù)據(jù)立方體挖掘主題可能只跟數(shù)據(jù)集中的部分屬性有關(guān)，而屬性子集選擇即維規(guī)約，是從目標(biāo)數(shù)據(jù)集中選擇集，這一數(shù)據(jù)集的分布接近原分布。它減少了數(shù)式更易于理解。方法包括以下技術(shù)，如2-10圖。圖2-10屬性子集選擇選擇[10,24]。這是在屬性子集選擇中使用較多的一

圖4-4插補(bǔ)模式選擇腳的目才大;五汞十廷如

定義分組變量，根據(jù)變量將數(shù)據(jù)集分成若干組分別進(jìn)行語句定義VAR語句中的分類變量。分類變量既可以是型變量。OCMI<選項(xiàng)>；BY變量名或變量列表；CLASS變量名或變量列表；EM<選項(xiàng)>；FREQ變量名；MCMC<選項(xiàng)>；MCMC<選項(xiàng)>；MONOTONE<選....

本文編號：3981309