Ⅰ k鍧囧艱仛綾葷畻娉
k鍧囧艱仛綾葷畻娉曟槸錛氬厛闅忔満閫夊彇K涓瀵硅薄浣滀負鍒濆嬬殑鑱氱被涓蹇冦傜劧鍚庤$畻姣忎釜瀵硅薄涓庡悇涓縐嶅瓙鑱氱被涓蹇冧箣闂寸殑璺濈伙紝榪欎釜榪囩▼灝嗕笉鏂閲嶅嶇洿鍒版弧瓚蟲煇涓緇堟㈡潯浠躲
鑱氱被涓蹇冧互鍙婂垎閰嶇粰瀹冧滑鐨勫硅薄灝變唬琛ㄤ竴涓鑱氱被銆傛瘡鍒嗛厤涓涓鏍鋒湰錛岃仛綾葷殑鑱氱被涓蹇冧細鏍規嵁鑱氱被涓鐜版湁鐨勫硅薄琚閲嶆柊璁$畻銆傝繖涓榪囩▼灝嗕笉鏂閲嶅嶇洿鍒版弧瓚蟲煇涓緇堟㈡潯浠躲傜粓姝㈡潯浠跺彲浠ユ槸娌℃湁錛堟垨鏈灝忔暟鐩錛夊硅薄琚閲嶆柊鍒嗛厤緇欎笉鍚岀殑鑱氱被錛屾病鏈夛紙鎴栨渶灝忔暟鐩錛夎仛綾諱腑蹇冨啀鍙戠敓鍙樺寲錛岃宸騫蟲柟鍜屽矓閮ㄦ渶灝忋
k鍧囧艱仛綾繪槸鏈钁楀悕鐨勫垝鍒嗚仛綾葷畻娉曪紝鐢變簬綆媧佸拰鏁堢巼浣垮緱浠栨垚涓烘墍鏈夎仛綾葷畻娉曚腑鏈騫挎硾浣跨敤鐨勩傜粰瀹氫竴涓鏁版嵁鐐歸泦鍚堝拰闇瑕佺殑鑱氱被鏁扮洰k錛宬鐢辯敤鎴鋒寚瀹氾紝k鍧囧肩畻娉曟牴鎹鏌愪釜璺濈誨嚱鏁板弽澶嶆妸鏁版嵁鍒嗗叆k涓鑱氱被涓銆
k鍧囧艱仛綾葷畻娉曠殑浼樼己鐐
1銆佷紭鐐
鍘熺悊姣旇緝綆鍗曪紝瀹炵幇涔熸槸寰堝規槗錛屾敹鏁涢熷害蹇錛涜仛綾繪晥鏋滆緝浼橈紝綆楁硶鐨勫彲瑙i噴搴︽瘮杈冨己銆傝仛綾葷畻娉曞師鐞嗙畝鍗曪紝鍙瑙i噴寮猴紝瀹炵幇鏂逛究錛屽彲騫挎硾搴旂敤鍦ㄦ暟鎹鎸栨帢銆佽仛綾誨垎鏋愩佹暟鎹鑱氱被銆佹ā寮忚瘑鍒銆侀噾鋙嶉庢帶銆佹暟鎹縐戝︺佹櫤鑳借惀閿鍜屾暟鎹榪愯惀絳夊氫釜棰嗗煙錛屾湁鐫騫挎硾鐨勫簲鐢ㄥ墠鏅銆
2銆佺己鐐
K鍊肩殑閫夊彇涓嶅ソ鎶婃彙錛涘逛簬涓嶆槸鍑哥殑鏁版嵁闆嗘瘮杈冮毦鏀舵暃錛涘傛灉鍚勯殣鍚綾誨埆鐨勬暟鎹涓嶅鉤琛★紝姣斿傚悇闅愬惈綾誨埆鐨勬暟鎹閲忎弗閲嶅け琛★紝鎴栬呭悇闅愬惈綾誨埆鐨勬柟宸涓嶅悓錛屽垯鑱氱被鏁堟灉涓嶄匠錛涢噰鐢ㄨ凱浠f柟娉曪紝寰楀埌鐨勭粨鏋滃彧鏄灞閮ㄦ渶浼橈紱瀵瑰櫔闊沖拰寮傚父鐐規瘮杈冪殑鏁忔劅銆
浠ヤ笂鍐呭瑰弬鑰鐧懼害鐧劇-K鍧囧艱仛綾葷畻娉
Ⅱ 數據挖掘演算法有哪些
統計和可視化要想建立一個好的預言模型,你必須了解自己的數據。最基本的方法是計算各種統計變數(平均值、方差等)和察看數據的分布情況。你也可以用數據透視表察看多維數據。數據的種類可分為連續的,有一個用數字表示的值(比如銷售量)或離散的,分成一個個的類別(如紅、綠、藍)。離散數據可以進一步分為可排序的,數據間可以比較大小(如,高、中、低)和標稱的,不可排序(如郵政編碼)。圖形和可視化工具在數據准備階段尤其重要,它能讓你快速直觀的分析數據,而不是給你枯燥乏味的文本和數字。它不僅讓你看到整個森林,還允許你拉近每一棵樹來察看細節。在圖形模式下人們很容易找到數據中可能存在的模式、關系、異常等,直接看數字則很難。可視化工具的問題是模型可能有很多維或變數,但是我們只能在2維的屏幕或紙上展示它。比如,我們可能要看的是信用風險與年齡、性別、婚姻狀況、參加工作時間的關系。因此,可視化工具必須用比較巧妙的方法在兩維空間內展示n維空間的數據。雖然目前有了一些這樣的工具,但它們都要用戶「訓練」過他們的眼睛後才能理解圖中畫的到底是什麼東西。對於眼睛有色盲或空間感不強的人,在使用這些工具時可能會遇到困難。聚集(分群)聚集是把整個資料庫分成不同的群組。它的目的是要群與群之間差別很明顯,而同一個群之間的數據盡量相似。與分類不同(見後面的預測型數據挖掘),在開始聚集之前你不知道要把數據分成幾組,也不知道怎麼分(依照哪幾個變數)。因此在聚集之後要有一個對業務很熟悉的人來解釋這樣分群的意義。很多情況下一次聚集你得到的分群對你的業務來說可能並不好,這時你需要刪除或增加變數以影響分群的方式,經過幾次反復之後才能最終得到一個理想的結果。神經元網路和K-均值是比較常用的聚集演算法。不要把聚集與分類混淆起來。在分類之前,你已經知道要把數據分成哪幾類,每個類的性質是什麼,聚集則恰恰相反。關聯分析關聯分析是尋找資料庫中值的相關性。兩種常用的技術是關聯規則和序列模式。關聯規則是尋找在同一個事件中出現的不同項的相關性,比如在一次購買活動中所買不同商品的相關性。序列模式與此類似,他尋找的是事件之間時間上的相關性,如對股票漲跌的分析。關聯規則可記為A==>B,A稱為前提和左部(LHS),B稱為後續或右部(RHS)。如關聯規則「買錘子的人也會買釘子」,左部是「買錘子」,右部是「買釘子」。要計算包含某個特定項或幾個項的事務在資料庫中出現的概率只要在資料庫中直接統計即可。某一特定關聯(「錘子和釘子」)在資料庫中出現的頻率稱為支持度。比如在總共1000個事務中有15個事務同時包含了「錘子和釘子」,則此關聯的支持度為1.5%。非常低的支持度(比如1百萬個事務中只有一個)可能意味著此關聯不是很重要,或出現了錯誤數據(如,「男性和懷孕」)。要找到有意義的規則,我們還要考察規則中項及其組合出現的相對頻率。當已有A時,B發生的概率是多少?也即概率論中的條件概率。回到我們的例子,也就是問「當一個人已經買了錘子,那他有多大的可能也會買釘子?」這個條件概率在數據挖掘中也稱為可信度,計算方法是求百分比:(A與B同時出現的頻率)/(A出現的頻率)。讓我們用一個例子更詳細的解釋這些概念: 總交易筆數(事務數):1,000包含「錘子」:50包含「釘子」:80包含「鉗子」:20包含「錘子」和「釘子」:15包含「鉗子」和「釘子」:10包含「錘子」和「鉗子」:10包含「錘子」、「鉗子」和「釘子」:5 則可以計算出: 「錘子和釘子」的支持度=1.5%(15/1,000)「錘子、釘子和鉗子」的支持度=0.5%(5/1,000)「錘子==>釘子」的可信度=30%(15/50)「釘子==>錘子」的可信度=19%(15/80)「錘子和釘子==>鉗子」的可信度=33%(5/15)「鉗子==>錘子和釘子」的可信度=25%(5/20)