數據挖掘股票演算法

Ⅰ 數據挖掘演算法有哪些

統計和可視化要想建立一個好的預言模型，你必須了解自己的數據。最基本的方法是計算各種統計變數（平均值、方差等）和察看數據的分布情況。你也可以用數據透視表察看多維數據。數據的種類可分為連續的，有一個用數字表示的值（比如銷售量）或離散的，分成一個個的類別（如紅、綠、藍）。離散數據可以進一步分為可排序的，數據間可以比較大小（如，高、中、低）和標稱的，不可排序（如郵政編碼）。圖形和可視化工具在數據准備階段尤其重要，它能讓你快速直觀的分析數據，而不是給你枯燥乏味的文本和數字。它不僅讓你看到整個森林，還允許你拉近每一棵樹來察看細節。在圖形模式下人們很容易找到數據中可能存在的模式、關系、異常等，直接看數字則很難。可視化工具的問題是模型可能有很多維或變數，但是我們只能在2維的屏幕或紙上展示它。比如，我們可能要看的是信用風險與年齡、性別、婚姻狀況、參加工作時間的關系。因此，可視化工具必須用比較巧妙的方法在兩維空間內展示n維空間的數據。雖然目前有了一些這樣的工具，但它們都要用戶「訓練」過他們的眼睛後才能理解圖中畫的到底是什麼東西。對於眼睛有色盲或空間感不強的人，在使用這些工具時可能會遇到困難。聚集（分群）聚集是把整個資料庫分成不同的群組。它的目的是要群與群之間差別很明顯，而同一個群之間的數據盡量相似。與分類不同（見後面的預測型數據挖掘），在開始聚集之前你不知道要把數據分成幾組，也不知道怎麼分（依照哪幾個變數）。因此在聚集之後要有一個對業務很熟悉的人來解釋這樣分群的意義。很多情況下一次聚集你得到的分群對你的業務來說可能並不好，這時你需要刪除或增加變數以影響分群的方式，經過幾次反復之後才能最終得到一個理想的結果。神經元網路和K-均值是比較常用的聚集演算法。不要把聚集與分類混淆起來。在分類之前，你已經知道要把數據分成哪幾類，每個類的性質是什麼，聚集則恰恰相反。關聯分析關聯分析是尋找資料庫中值的相關性。兩種常用的技術是關聯規則和序列模式。關聯規則是尋找在同一個事件中出現的不同項的相關性，比如在一次購買活動中所買不同商品的相關性。序列模式與此類似，他尋找的是事件之間時間上的相關性，如對股票漲跌的分析。關聯規則可記為A==>B，A稱為前提和左部（LHS），B稱為後續或右部（RHS）。如關聯規則「買錘子的人也會買釘子」，左部是「買錘子」，右部是「買釘子」。要計算包含某個特定項或幾個項的事務在資料庫中出現的概率只要在資料庫中直接統計即可。某一特定關聯（「錘子和釘子」）在資料庫中出現的頻率稱為支持度。比如在總共1000個事務中有15個事務同時包含了「錘子和釘子」，則此關聯的支持度為1.5%。非常低的支持度（比如1百萬個事務中只有一個）可能意味著此關聯不是很重要，或出現了錯誤數據（如，「男性和懷孕」）。要找到有意義的規則，我們還要考察規則中項及其組合出現的相對頻率。當已有A時，B發生的概率是多少？也即概率論中的條件概率。回到我們的例子，也就是問「當一個人已經買了錘子，那他有多大的可能也會買釘子？」這個條件概率在數據挖掘中也稱為可信度，計算方法是求百分比：（A與B同時出現的頻率）/（A出現的頻率）。讓我們用一個例子更詳細的解釋這些概念： 總交易筆數（事務數）：1,000包含「錘子」：50包含「釘子」：80包含「鉗子」：20包含「錘子」和「釘子」：15包含「鉗子」和「釘子」：10包含「錘子」和「鉗子」：10包含「錘子」、「鉗子」和「釘子」：5 則可以計算出： 「錘子和釘子」的支持度=1.5%（15/1,000）「錘子、釘子和鉗子」的支持度=0.5%（5/1,000）「錘子==>釘子」的可信度=30%（15/50）「釘子==>錘子」的可信度=19%（15/80）「錘子和釘子==>鉗子」的可信度=33%（5/15）「鉗子==>錘子和釘子」的可信度=25%（5/20）

Ⅱ 數據挖掘的演算法及技術的應用的研究論文

數據挖掘的演算法及技術的應用的研究論文

摘要： 數據挖掘是從大量的、不完全的、有雜訊的、模糊的、隨機的實際應用數據中發現隱含的、規律性的、人們事先未知的, 但又是潛在有用的並且最終可被理解的信息和知識的非平凡過程。任何有數據管理和知識發現需求的地方都可以藉助數據挖掘技術來解決問題。本文對數據挖掘的演算法以及數據挖掘技術的應用展開研究, 論文對數據挖掘技術的應用做了有益的研究。

關鍵詞： 數據挖掘; 技術; 應用;

引言: 數據挖掘技術是人們長期對資料庫技術進行研究和開發的結果。起初各種商業數據是存儲在計算機的資料庫中的, 然後發展到可對資料庫進行查詢和訪問, 進而發展到對資料庫的即時遍歷。數據挖掘使資料庫技術進入了一個更高級的階段, 它不僅能對過去的數據進行查詢和遍歷, 並且能夠找出過去數據之間的潛在聯系, 從而促進信息的傳遞。

一、數據挖掘概述

數據挖掘是從大量的、不完全的、有雜訊的、模糊的、隨機的實際應用數據中發現隱含的、規律性的、人們事先未知的, 但又是潛在有用的並且最終可被理解的信息和知識的非平凡過程。

二、數據挖掘的基本過程

(1) 數據選擇:選擇與目標相關的數據進行數據挖掘。根據不同的數據挖掘目標, 對數據進行處理, 不僅可以排除不必要的數據干擾, 還可以極大地提高數據挖掘的效率。 (2) 數據預處理:主要進行數據清理、數據集成和變換、數據歸約、離散化和概念分層生成。 (3) 模式發現:從數據中發現用戶感興趣的模式的過程.是知識發現的主要的處理過程。 (4) 模式評估:通過某種度量得出真正代表知識的模式。一般來說企業進行數據挖掘主要遵循以下流程——准備數據, 即收集數據並進行積累, 此時企業就需要知道其所需要的是什麼樣的數據, 並通過分類、編輯、清洗、預處理得到客觀明確的目標數據。數據挖掘這是最為關鍵的步驟, 主要是針對預處理後的數據進行進一步的挖掘, 取得更加客觀准確的數據, 方能引入決策之中, 不同的企業可能採取的數據挖掘技術不同, 但在當前來看暫時脫離不了上述的挖掘方法。當然隨著技術的進步, 大數據必定會進一步成為企業的立身之本, 在當前已經在很多領域得以應用。如市場營銷, 這是數據挖掘應用最早的領域, 旨在挖掘用戶消費習慣, 分析用戶消費特徵進而進行精準營銷。就以令人深惡痛絕的彈窗廣告來說, 當消費者有網購習慣並在網路上搜索喜愛的產品, 當再一次進行搜索時, 就會彈出很多針對消費者消費習慣的商品。

三、數據挖掘方法

1、聚集發現。

聚集是把整個資料庫分成不同的群組。它的目的是要群與群之間差別很明顯.而同一個群之間的數據盡量相似.聚集在電子商務上的典型應用是幫助市場分析人員從客戶基本庫中發現不同的客戶群, 並且用購買模式來刻畫不同客戶群的特徵。此外聚類分析可以作為其它演算法 (如特徵和分類等) 的預處理步驟, 這些演算法再在生成的簇上進行處理。與分類不同, 在開始聚集之前你不知道要把數據分成幾組, 也不知道怎麼分 (依照哪幾個變數) .因此在聚集之後要有一個對業務很熟悉的人來解釋這樣分群的意義。很多情況下一次聚集你得到的分群對你的業務來說可能並不好, 這時你需要刪除或增加變數以影響分群的方式, 經過幾次反復之後才能最終得到一個理想的結果.聚類方法主要有兩類, 包括統計方法和神經網路方法.自組織神經網路方法和K-均值是比較常用的`聚集演算法。

2、決策樹。

這在解決歸類與預測上能力極強, 通過一系列的問題組成法則並表達出來, 然後經過不斷詢問問題導出所需的結果。典型的決策樹頂端是一個樹根, 底部擁有許多樹葉, 記錄分解成不同的子集, 每個子集可能包含一個簡單法則。

四、數據挖掘的應用領域

4.1市場營銷

市場銷售數據採掘在銷售業上的應用可分為兩類:資料庫銷售和籃子數據分析。前者的任務是通過互動式查詢、數據分割和模型預測等方法來選擇潛在的顧客以便向它們推銷產品, 而不是像以前那樣盲目地選擇顧客推銷;後者的任務是分析市場銷售數據以識別顧客的購買行為模式, 從而幫助確定商店貨架的布局排放以促銷某些商品。

4.2金融投資

典型的金融分析領域有投資評估和股票交易市場預測, 分析方法一般採用模型預測法。這方面的系統有Fidelity Stock Selector, LBS Capital Management。前者的任務是使用神經網路模型選擇投資, 後者則使用了專家系統、神經網路和基因演算法技術輔助管理多達6億美元的有價證券。

結論:數據挖掘是一種新興的智能信息處理技術。隨著相關信息技術的迅猛發展, 數據挖掘的應用領域不斷地拓寬和深入, 特別是在電信、軍事、生物工程和商業智能等方面的應用將成為新的研究熱點。同時, 數據挖掘應用也面臨著許多技術上的挑戰, 如何對復雜類型的數據進行挖掘, 數據挖掘與資料庫、數據倉庫和Web技術等技術的集成問題, 以及數據挖掘的可視化和數據質量等問題都有待於進一步研究和探索。

參考文獻

[1]孟強, 李海晨.Web數據挖掘技術及應用研究[J].電腦與信息技術, 2017, 25 (1) :59-62.

[2]高海峰.智能交通系統中數據挖掘技術的應用研究[J].數字技術與應用, 2016 (5) :108-108.