股票價格數據挖掘

Ⅰ 請通俗的講一下什麼是數據挖掘

利用數據挖掘，我們還可以做非常多的事情。

1.發現數據項之間的相關性

比如我們拿到各個城市環境、人口、交通等數據，就可以通過相關性分析來看人均汽車保有量，和空氣質量各個指標之間的關系，從而定量化地幫助制定產業經濟和環保政策。比如要不要進行更嚴厲的限購，要不要收取為其的排放稅等等。

2.把數據對象進行聚類

比如我們知道大量的人在電子商務網路消費數據，我么就可以根據消費的特徵把他們聚成很多類，每一類人我們制定不同的營銷手段，從而能夠取得銷售量的提升。比如電信運營商對人群進行聚類，然後針對性地推出電話套餐。

3.把數據對象進行分類

當我們已經有了分類之後，來了一些新的數據之後，我們可以把他分到不同不同的類去。比如醫療影像上查看肺部的病灶，可能是肺結核、可能是早起肺癌，中晚期肺癌，可能是肺上的癤結，可能是癒合的病灶等等，來了一張新的片子，我們可以通過圖像處理，就把它分到不同的類別（當然這需要我們提前對很多片子的數據進行學習）。

4.預測缺失數據或者未來的數據

很多數據集中，比如生物數據，我們已知的知識全部數據集中的一小部分，這需要我們做一些事情去預測這些數據。還有一些，想大選、股票價格預測、河流徑流量預測、城市用電量預測等，這些就是對未來數據的預測。

Ⅱ 請問什麼是數據挖掘

數據挖掘是從大量的數據中，抽取出潛在的、有價值的知識（模型或規則）的過程。
1. 數據挖掘能做什麼？

1)數據挖掘能做以下六種不同事情（分析方法）：

· 分類 （Classification）

· 估值（Estimation）

· 預言（Prediction）

· 相關性分組或關聯規則（Affinity grouping or association rules）

· 聚集（Clustering）

· 描述和可視化（Des cription and Visualization）

2)數據挖掘分類

以上六種數據挖掘的分析方法可以分為兩類：直接數據挖掘；間接數據挖掘

· 直接數據挖掘

目標是利用可用的數據建立一個模型，這個模型對剩餘的數據，對一個特定的變數（可以

理解成資料庫中表的屬性，即列）進行描述。

· 間接數據挖掘

目標中沒有選出某一具體的變數，用模型進行描述；而是在所有的變數中建立起某種關系

。

· 分類、估值、預言屬於直接數據挖掘；後三種屬於間接數據挖掘

3)各種分析方法的簡介

· 分類 （Classification）

首先從數據中選出已經分好類的訓練集，在該訓練集上運用數據挖掘分類的技術，建立分

類模型，對於沒有分類的數據進行分類。

例子：

a. 信用卡申請者，分類為低、中、高風險

b. 分配客戶到預先定義的客戶分片

注意： 類的個數是確定的，預先定義好的

· 估值（Estimation）

估值與分類類似，不同之處在於，分類描述的是離散型變數的輸出，而估值處理連續值的

輸出；分類的類別是確定數目的，估值的量是不確定的。

例子：

a. 根據購買模式，估計一個家庭的孩子個數

b. 根據購買模式，估計一個家庭的收入

c. 估計real estate的價值

一般來說，估值可以作為分類的前一步工作。給定一些輸入數據，通過估值，得到未知的

連續變數的值，然後，根據預先設定的閾值，進行分類。例如：銀行對家庭貸款業務，運

用估值，給各個客戶記分（Score 0~1）。然後，根據閾值，將貸款級別分類。

· 預言（Prediction）

通常，預言是通過分類或估值起作用的，也就是說，通過分類或估值得出模型，該模型用

於對未知變數的預言。從這種意義上說，預言其實沒有必要分為一個單獨的類。

預言其目的是對未來未知變數的預測，這種預測是需要時間來驗證的，即必須經過一定時

間後，才知道預言准確性是多少。

· 相關性分組或關聯規則（Affinity grouping or association rules）

決定哪些事情將一起發生。

例子：

a. 超市中客戶在購買A的同時，經常會購買B，即A => B(關聯規則)

b. 客戶在購買A後，隔一段時間，會購買B （序列分析）

· 聚集（Clustering）

聚集是對記錄分組，把相似的記錄在一個聚集里。聚集和分類的區別是聚集不依賴於預先

定義好的類，不需要訓練集。

例子：

a. 一些特定症狀的聚集可能預示了一個特定的疾病

b. 租VCD類型不相似的客戶聚集，可能暗示成員屬於不同的亞文化群

聚集通常作為數據挖掘的第一步。例如，"哪一種類的促銷對客戶響應最好？"，對於這一

類問題，首先對整個客戶做聚集，將客戶分組在各自的聚集里，然後對每個不同的聚集，

回答問題，可能效果更好。

· 描述和可視化（Des cription and Visualization）

是對數據挖掘結果的表示方式。

2.數據挖掘的商業背景

數據挖掘首先是需要商業環境中收集了大量的數據，然後要求挖掘的知識是有價值的。有

價值對商業而言，不外乎三種情況：降低開銷；提高收入；增加股票價格。

1)數據挖掘作為研究工具 （Research）

2)數據挖掘提高過程式控制制（Process Improvement）

3)數據挖掘作為市場營銷工具（Marketing）

4)數據挖掘作為客戶關系管理CRM工具(Customer Relationship Management)

3.數據挖掘的技術背景

1)數據挖掘技術包括三個主要部分：演算法和技術；數據；建模能力

2)數據挖掘和機器學習（Machine Learning）

· 機器學習是計算機科學和人工智慧AI發展的產物

· 機器學習分為兩種學習方式：自組織學習（如神經網路）；從例子中歸納出規則（如決

策樹）

· 數據挖掘由來

數據挖掘是八十年代，投資AI研究項目失敗後，AI轉入實際應用時提出的。它是一個新興

的，面向商業應用的AI研究。選擇數據挖掘這一術語，表明了與統計、精算、長期從事預

言模型的經濟學家之間沒有技術的重疊。

3)數據挖掘和統計

統計也開始支持數據挖掘。統計本包括預言演算法（回歸）、抽樣、基於經驗的設計等

4)數據挖掘和決策支持系統

· 數據倉庫

· OLAP（聯機分析處理）、Data Mart（數據集市）、多維資料庫

· 決策支持工具融合

將數據倉庫、OLAP，數據挖掘融合在一起，構成企業決策分析環境。

4. 數據挖掘的社會背景

數據挖掘與個人預言：數據挖掘號稱能通過歷史數據的分析，預測客戶的行為，而事實上

，客戶自己可能都不明確自己下一步要作什麼。所以，數據挖掘的結果，沒有人們想像中

神秘，它不可能是完全正確的。

客戶的行為是與社會環境相關連的，所以數據挖掘本身也受社會背景的影響。比如說，在

美國對銀行信用卡客戶信用評級的模型運行得非常成功，但是，它可能不適合中國

轉載的

Ⅲ 如何獲得股票行情數據，自己編程處理進行數據挖掘

行情數據可到通達信或者同花順觀看

Ⅳ 什麼叫數據挖掘

數據挖掘是從大量的數據中，抽取出潛在的、有價值的知識（模型或規則）的過程。
1. 數據挖掘能做什麼？
1)數據挖掘能做以下六種不同事情（分析方法）：
分類 （Classification）
估值（Estimation）
預言（Prediction）
相關性分組或關聯規則（Affinity grouping or association rules）
聚集（Clustering）
描述和可視化（Des cription and Visualization）
2)數據挖掘分類
以上六種數據挖掘的分析方法可以分為兩類：直接數據挖掘；間接數據挖掘
直接數據挖掘
目標是利用可用的數據建立一個模型，這個模型對剩餘的數據，對一個特定的變數（可以
理解成資料庫中表的屬性，即列）進行描述。
間接數據挖掘
目標中沒有選出某一具體的變數，用模型進行描述；而是在所有的變數中建立起某種關系
。
分類、估值、預言屬於直接數據挖掘；後三種屬於間接數據挖掘
3)各種分析方法的簡介
分類 （Classification）
首先從數據中選出已經分好類的訓練集，在該訓練集上運用數據挖掘分類的技術，建立分
類模型，對於沒有分類的數據進行分類。
例子：
a. 信用卡申請者，分類為低、中、高風險
b. 分配客戶到預先定義的客戶分片
注意： 類的個數是確定的，預先定義好的
估值（Estimation）
估值與分類類似，不同之處在於，分類描述的是離散型變數的輸出，而估值處理連續值的
輸出；分類的類別是確定數目的，估值的量是不確定的。
例子：
a. 根據購買模式，估計一個家庭的孩子個數
b. 根據購買模式，估計一個家庭的收入
c. 估計real estate的價值
一般來說，估值可以作為分類的前一步工作。給定一些輸入數據，通過估值，得到未知的
連續變數的值，然後，根據預先設定的閾值，進行分類。例如：銀行對家庭貸款業務，運
用估值，給各個客戶記分（Score 0~1）。然後，根據閾值，將貸款級別分類。
預言（Prediction）
通常，預言是通過分類或估值起作用的，也就是說，通過分類或估值得出模型，該模型用
於對未知變數的預言。從這種意義上說，預言其實沒有必要分為一個單獨的類。
預言其目的是對未來未知變數的預測，這種預測是需要時間來驗證的，即必須經過一定時
間後，才知道預言准確性是多少。
相關性分組或關聯規則（Affinity grouping or association rules）
決定哪些事情將一起發生。
例子：
a. 超市中客戶在購買A的同時，經常會購買B，即A => B(關聯規則)
b. 客戶在購買A後，隔一段時間，會購買B （序列分析）
聚集（Clustering）
聚集是對記錄分組，把相似的記錄在一個聚集里。聚集和分類的區別是聚集不依賴於預先
定義好的類，不需要訓練集。
例子：
a. 一些特定症狀的聚集可能預示了一個特定的疾病
b. 租VCD類型不相似的客戶聚集，可能暗示成員屬於不同的亞文化群
聚集通常作為數據挖掘的第一步。例如，"哪一種類的促銷對客戶響應最好？"，對於這一類問題，首先對整個客戶做聚集，將客戶分組在各自的聚集里，然後對每個不同的聚集，回答問題，可能效果更好。
描述和可視化（Des cription and Visualization）
是對數據挖掘結果的表示方式。
2.數據挖掘的商業背景
數據挖掘首先是需要商業環境中收集了大量的數據，然後要求挖掘的知識是有價值的。有
價值對商業而言，不外乎三種情況：降低開銷；提高收入；增加股票價格。
1)數據挖掘作為研究工具 （Research）
2)數據挖掘提高過程式控制制（Process Improvement）
3)數據挖掘作為市場營銷工具（Marketing）
4)數據挖掘作為客戶關系管理CRM工具(Customer Relationship Management)
3.數據挖掘的技術背景
1)數據挖掘技術包括三個主要部分：演算法和技術；數據；建模能力
2)數據挖掘和機器學習（Machine Learning）
機器學習是計算機科學和人工智慧AI發展的產物
機器學習分為兩種學習方式：自組織學習（如神經網路）；從例子中歸納出規則（如決策樹）
數據挖掘由來
數據挖掘是八十年代，投資AI研究項目失敗後，AI轉入實際應用時提出的。它是一個新興
的，面向商業應用的AI研究。選擇數據挖掘這一術語，表明了與統計、精算、長期從事預
言模型的經濟學家之間沒有技術的重疊。
3)數據挖掘和統計
統計也開始支持數據挖掘。統計本包括預言演算法（回歸）、抽樣、基於經驗的設計等
4)數據挖掘和決策支持系統
數據倉庫
OLAP（聯機分析處理）、Data Mart（數據集市）、多維資料庫
決策支持工具融合
將數據倉庫、OLAP，數據挖掘融合在一起，構成企業決策分析環境。
4. 數據挖掘的社會背景
數據挖掘與個人預言：數據挖掘號稱能通過歷史數據的分析，預測客戶的行為，而事實上，客戶自己可能都不明確自己下一步要作什麼。所以，數據挖掘的結果，沒有人們想像中神秘，它不可能是完全正確的。
5．數據挖掘技術實現
在技術上可以根據它的工作過程分為：數據的抽取、數據的存儲和管理、數據的展現等關鍵技術。
1) 數據的抽取
數據的抽取是數據進入倉庫的入口。由於數據倉庫是一個獨立的數據環境，它需要通過抽取過程將數據從聯機事務處理系統、外部數據源、離線的數據存儲介質中導入數據倉庫。數據抽取在技術上主要涉及互連、復制、增量、轉換、調度和監控等幾個方面的處理。在數據抽取方面，未來的技術發展將集中在系統功能集成化方面，以適應數據倉庫本身或數據源的變化，使系統更便於管理和維護。
2) 數據的存儲和管理
數據倉庫的組織管理方式決定了它有別於傳統資料庫的特性，也決定了其對外部數據的表現形式。數據倉庫管理所涉及的數據量比傳統事務處理大得多，且隨時間的推移而快速累積。在數據倉庫的數據存儲和管理中需要解決的是如何管理大量的數據、如何並行處理大量的數據、如何優化查詢等。目前，許多資料庫廠家提供的技術解決方案是擴展關系型資料庫的功能，將普通關系資料庫改造成適合擔當數據倉庫的伺服器。
3) 數據的展現
在數據展現方面主要的方式有：
查詢：實現預定義查詢、動態查詢、OLAP查詢與決策支持智能查詢；報表：產生關系數據表格、復雜表格、OLAP表格、報告以及各種綜合報表；可視化：用易於理解的點線圖、直方圖、餅圖、網狀圖、互動式可視化、動態模擬、計算機動畫技術表現復雜數據及其相互關系；統計：進行平均值、最大值、最小值、期望、方差、匯總、排序等各種統計分析；挖掘：利用數據挖掘等方法，從數據中得到關於數據關系和模式的知識。
6.數據挖掘與數據倉庫融合發展
數據挖掘和數據倉庫的協同工作，一方面，可以迎合和簡化數據挖掘過程中的重要步驟，提高數據挖掘的效率和能力，確保數據挖掘中數據來源的廣泛性和完整性。另一方面，數據挖掘技術已經成為數據倉庫應用中極為重要和相對獨立的方面和工具。
數據挖掘和數據倉庫是融合與互動發展的，其學術研究價值和應用研究前景將是令人振奮的。它是數據挖掘專家、數據倉庫技術人員和行業專家共同努力的成果，更是廣大渴望從資料庫「奴隸」到資料庫「主人」轉變的企業最終用戶的通途。

Ⅳ 什麼是數據挖掘

數據挖掘（Data Mining）是指通過大量數據集進行分類的自動化過程，以通過數據分析來識別趨勢和模式，建立關系來解決業務問題。換句話說，數據挖掘是從大量的、不完全的、有雜訊的、模糊的、隨機的數據中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。

原則上講，數據挖掘可以應用於任何類型的信息存儲庫及瞬態數據（如數據流），如資料庫、數據倉庫、數據集市、事務資料庫、空間資料庫（如地圖等）、工程設計數據（如建築設計等）、多媒體數據（文本、圖像、視頻、音頻）、網路、數據流、時間序列資料庫等。也正因如此，數據挖掘存在以下特點：

（1）數據集大且不完整
數據挖掘所需要的數據集是很大的，只有數據集越大，得到的規律才能越貼近於正確的實際的規律，結果也才越准確。除此以外，數據往往都是不完整的。

（2）不準確性
數據挖掘存在不準確性，主要是由雜訊數據造成的。比如在商業中用戶可能會提供假數據；在工廠環境中，正常的數據往往會收到電磁或者是輻射干擾，而出現超出正常值的情況。這些不正常的絕對不可能出現的數據，就叫做雜訊，它們會導致數據挖掘存在不準確性。

（3）模糊的和隨機的
數據挖掘是模糊的和隨機的。這里的模糊可以和不準確性相關聯。由於數據不準確導致只能在大體上對數據進行一個整體的觀察，或者由於涉及到隱私信息無法獲知到具體的一些內容，這個時候如果想要做相關的分析操作，就只能在大體上做一些分析，無法精確進行判斷。
而數據的隨機性有兩個解釋，一個是獲取的數據隨機；我們無法得知用戶填寫的到底是什麼內容。第二個是分析結果隨機。數據交給機器進行判斷和學習，那麼一切的操作都屬於是灰箱操作。

Ⅵ 最近學金融，好多知識看不懂啊::>_<:: 請結合大數據的理念對數據分析和數據挖掘能在金融市場的

首先是通過大數據可以分析客戶的個人信息，收入，風險偏好等，可以推薦相應的金融產品，如果哪些年齡段和工作的人群適合基金，保險和其它有價證券；
其次是金融產品的開發上，主要有保險產品和一些其它產品，通過發病率，災情概率等進行精算，開發出保險產品，一些其它的金融新產品也會涉及到數據分析；
再次是金融產品的定價及投資分析上，很多因素都會影響金融產品，如股票，期貨，現貨等，通過數據挖掘，找出其影響因素，進行價格分析。
大數據和數據挖掘主要有這幾方面的應用，當然還有其它的方面，很多論述金融與數據分析的書中有很多的，可以進一步研究，還望採納。

Ⅶ 數據挖掘問題··

1。數據挖掘是從4大c量的數據中5，抽取出潛在的、有價值的知識（模型或規則）的過程。 4。 數據挖掘能做什2么r？ 7)數據挖掘能做以4下v六7種不m同事情（分7析方2法）： · 分0類 （Classification） · 估值（Estimation） · 預言（Prediction） · 相關性分8組或關聯規則（Affinity grouping or association rules） · 聚集（Clustering） · 描述和可視化1（Des cription and Visualization） 8)數據挖掘分5類 以8上r六2種數據挖掘的分6析方6法可以6分0為3兩類：直接數據挖掘；間接數據挖掘 · 直接數據挖掘 目標是利用可用的數據建立一x個i模型，這個e模型對剩餘的數據，對一u個k特定的變數（可以2 理解成資料庫中7表的屬性，即列）進行描述。 · 間接數據挖掘 目標中5沒有選出某一u具體的變數，用模型進行描述；而是在所有的變數中5建立起某種關系 · 分6類、估值、預言屬於e直接數據挖掘；後三j種屬於r間接數據挖掘 2)各種分1析方6法的簡介2 · 分2類 （Classification） 首先從1數據中1選出已i經分6好類的訓練集，在該訓練集上v運用數據挖掘分3類的技術，建立分2 類模型，對於a沒有分4類的數據進行分4類。 例子x： a。 信用卡申請者，分4類為8低、中2、高風5險 b。 分0配客戶4到預先定義e的客戶0分2片0 注意： 類的個s數是確定的，預先定義q好的 · 估值（Estimation） 估值與e分2類類似，不p同之z處在於m，分7類描述的是離散型變數的輸出，而估值處理連續值的 輸出；分7類的類別是確定數目的，估值的量是不b確定的。 例子w： a。 根據購買模式，估計8一w個f家庭的孩子h個c數 b。 根據購買模式，估計7一z個r家庭的收入l c。 估計5real estate的價值 一b般來說，估值可以0作為2分1類的前一v步工e作。給定一r些輸入w數據，通過估值，得到未知的 連續變數的值，然後，根據預先設定的閾值，進行分6類。例如：銀行對家庭貸款業務，運 用估值，給各個z客戶8記分3（Score 0~1）。然後，根據閾值，將貸款級別分7類。 · 預言（Prediction） 通常，預言是通過分1類或估值起作用的，也k就是說，通過分3類或估值得出模型，該模型用 於v對未知變數的預言。從8這種意義l上e說，預言其實沒有必要分0為6一s個o單獨的類。 預言其目的是對未來未知變數的預測，這種預測是需要時間來驗證的，即必須經過一b定時 間後，才q知道預言准確性是多少6。 · 相關性分6組或關聯規則（Affinity grouping or association rules） 決定哪些事情將一c起發生。 例子e： a。 超市中1客戶2在購買A的同時，經常會購買B，即A => B(關聯規則) b。 客戶4在購買A後，隔一g段時間，會購買B （序列分5析） · 聚集（Clustering） 聚集是對記錄分2組，把相似的記錄在一t個s聚集里。聚集和分0類的區z別是聚集不s依賴於c預先 定義y好的類，不g需要訓練集。 例子z： a。 一y些特定症狀的聚集可能預示7了z一s個r特定的疾病 b。 租VCD類型不b相似的客戶1聚集，可能暗示7成員屬於b不o同的亞文7化2群 聚集通常作為3數據挖掘的第一b步。例如，"哪一j種類的促銷對客戶6響應最好？"，對於j這一p 類問題，首先對整個y客戶8做聚集，將客戶5分5組在各自的聚集里，然後對每個a不a同的聚集， 回答問題，可能效果更好。 · 描述和可視化8（Des cription and Visualization） 是對數據挖掘結果的表示6方1式。 8。數據挖掘的商業背景 數據挖掘首先是需要商業環境中3收集了j大i量的數據，然後要求挖掘的知識是有價值的。有 價值對商業而言，不i外乎三t種情況：降低開l銷；提高收入e；增加股票價格。 6)數據挖掘作為0研究工e具 （Research） 0)數據挖掘提高過程式控制制（Process Improvement） 6)數據挖掘作為5市場營銷工q具（Marketing） 8)數據挖掘作為7客戶7關系管理CRM工m具(Customer Relationship Management) 7。數據挖掘的技術背景 2)數據挖掘技術包括三c個v主要部分3：演算法和技術；數據；建模能力w 6)數據挖掘和機器學習u（Machine Learning） · 機器學習n是計8算機科學和人x工f智能AI發展的產物 · 機器學習o分6為2兩種學習m方6式：自組織學習z（如神經網路）；從8例子r中8歸納出規則（如決 策樹） · 數據挖掘由來 數據挖掘是八r十c年代，投資AI研究項目失敗後，AI轉入v實際應用時提出的。它是一z個d新興 的，面向商業應用的AI研究。選擇數據挖掘這一y術語，表明了d與z統計3、精算、長0期從3事預 言模型的經濟學家之q間沒有技術的重疊。 5)數據挖掘和統計6 統計8也d開o始支y持數據挖掘。統計0本包括預言演算法（回歸）、抽樣、基於t經驗的設計8等 1)數據挖掘和決策支h持系統 · 數據倉1庫 · OLAP（聯機分5析處理）、Data Mart（數據集市）、多維資料庫 · 決策支n持工k具融合 將數據倉8庫、OLAP，數據挖掘融合在一n起，構成企業決策分0析環境。 8。 數據挖掘的社會背景 數據挖掘與d個n人w預言：數據挖掘號稱能通過歷f史數據的分8析，預測客戶2的行為7，而事實上v ，客戶8自己m可能都不p明確自己u下x一c步要作什3么u。所以2，數據挖掘的結果，沒有人y們想像中1 神秘，它不z可能是完全正確的。 客戶5的行為3是與c社會環境相關連的，所以4數據挖掘本身也w受社會背景的影響。比6如說，在 美國對銀行信用卡客戶0信用評級的模型運行得非常成功，但是，它可能不i適合中0國。 2。數據倉7庫是在企業管理和決策中4面向主題的、集成的、與w時間相關的、不o可修改的數據集合 數據倉2庫，英文1名稱為4Data Warehouse，可簡寫為1DW。 數據倉1庫之q父8Bill Inmon在4512年出版的「Building the Data Warehouse」一m書2中0所提出的定義f被廣s泛接受——數據倉3庫（Data Warehouse）是一y個s面向主題的（Subject Oriented）、集成的（Integrated）、相對穩定的（Non-Volatile）、反2映歷b史變化8（Time Variant）的數據集合，用於f支l持管理決策(Decision Making Support)。 ◆面向主題：操作型資料庫的數據組織面向事務處理任務，各個p業務系統之b間各自分6離，而數據倉0庫中3的數據是按照一r定的主題域進行組織的。 ◆集成的：數據倉8庫中3的數據是在對原有分2散的資料庫數據抽取、清理的基礎上j經過系統加工l、匯總和整理得到的，必須消除源數據中4的不e一r致性，以2保證數據倉6庫內4的信息是關於m整個b企業的一s致的全局信息。 ◆相對穩定的：數據倉8庫的數據主要供企業決策分0析之w用，所涉及t的數據操作主要是數據查詢，一f旦某個t數據進入u數據倉3庫以2後，一d般情況下c將被長7期保留，也v就是數據倉0庫中8一p般有大v量的查詢操作，但修改和刪除操作很少3，通常只需要定期的載入、刷新。 ◆反8映歷h史變化3：數據倉3庫中2的數據通常包含歷e史信息，系統記錄了j企業從4過去某一q時點(如開d始應用數據倉7庫的時點)到目前的各個p階段的信息，通過這些信息，可以0對企業的發展歷j程和未來趨勢做出定量分2析和預測。 數據倉4庫是一k個u過程而不n是一d個q項目。 數據倉2庫系統是一f個f信息提供平台，他從4業務處理系統獲得數據，主要以6星型模型和雪花模型進行數據組織，並為2用戶8提供各種手8段從7數據中0獲取信息和知識。 從7功能結構化6分6，數據倉1庫系統至少6應該包含數據獲取（Data Acquisition）、數據存儲（Data Storage）、數據訪問（Data Access）三x個z關鍵部分2 數據挖掘(Data Mining)，又i稱為3資料庫中3的知識發現(Knowledge Discovery in Database, KDD)，就是從5大x量數據中0獲取有效的、新穎的、潛在有用的、最終可理解的模式的非平凡l過程，簡單的說，數據挖掘就是從6大o量數據中7提取或「挖掘」知識。 並非所有的信息發現任務都被視為0數據挖掘。例如，使用資料庫管理系統查找個z別的記錄，或通過網際網路的搜索引4擎查找特定的Web頁面，則是信息檢索（。rmation retrieval）領域的任務。雖然這些任務是重要的，可能涉及n使用復雜的演算法和數據結構，但是它們主要依賴傳統的計8算機科學技術和數據的明顯特徵來創建索引3結構，從7而有效地組織和檢索信息。盡管如此，數據挖掘技術也u已g用來增強信息檢索系統的能力h。 2。數據挖掘和數據倉4庫以3資料庫為8基礎。 b〔b〔fu瑩qθx駭礎τyケqθtr●

Ⅷ 股票的數據挖掘用什麼演算法最合適

寫個貝葉斯分類演算法
對文本進行分類

Ⅸ 股票市場搞數據挖掘，數據分析來炒股有沒機會

有機會，而且機會不小，但是我等散戶靠數據分析，可能自身實力差的太懸殊了。
硬體設備就不達標哦。

Ⅹ 數據挖掘演算法與生活中的應用案例

數據挖掘演算法與生活中的應用案例

如何分辨出垃圾郵件」、「如何判斷一筆交易是否屬於欺詐」、「如何判斷紅酒的品質和檔次」、「掃描王是如何做到文字識別的」、「如何判斷佚名的著作是否出自某位名家之手」、「如何判斷一個細胞是否屬於腫瘤細胞」等等，這些問題似乎都很專業，都不太好回答。但是，如果了解一點點數據挖掘的知識，你，或許會有柳暗花明的感覺。
本文，主要想簡單介紹下數據挖掘中的演算法，以及它包含的類型。然後，通過現實中觸手可及的、活生生的案例，去詮釋它的真實存在。 一般來說，數據挖掘的演算法包含四種類型，即分類、預測、聚類、關聯。前兩種屬於有監督學習，後兩種屬於無監督學習，屬於描述性的模式識別和發現。
有監督學習有監督的學習，即存在目標變數，需要探索特徵變數和目標變數之間的關系，在目標變數的監督下學習和優化演算法。例如，信用評分模型就是典型的有監督學習，目標變數為「是否違約」。演算法的目的在於研究特徵變數（人口統計、資產屬性等）和目標變數之間的關系。
分類演算法分類演算法和預測演算法的最大區別在於，前者的目標變數是分類離散型（例如，是否逾期、是否腫瘤細胞、是否垃圾郵件等），後者的目標變數是連續型。一般而言，具體的分類演算法包括，邏輯回歸、決策樹、KNN、貝葉斯判別、SVM、隨機森林、神經網路等。
預測演算法預測類演算法，其目標變數一般是連續型變數。常見的演算法，包括線性回歸、回歸樹、神經網路、SVM等。
無監督學習無監督學習，即不存在目標變數，基於數據本身，去識別變數之間內在的模式和特徵。例如關聯分析，通過數據發現項目A和項目B之間的關聯性。例如聚類分析，通過距離，將所有樣本劃分為幾個穩定可區分的群體。這些都是在沒有目標變數監督下的模式識別和分析。
聚類分析聚類的目的就是實現對樣本的細分，使得同組內的樣本特徵較為相似，不同組的樣本特徵差異較大。常見的聚類演算法包括kmeans、系譜聚類、密度聚類等。
關聯分析關聯分析的目的在於，找出項目（item）之間內在的聯系。常常是指購物籃分析，即消費者常常會同時購買哪些產品（例如游泳褲、防曬霜），從而有助於商家的捆綁銷售。
基於數據挖掘的案例和應用上文所提到的四種演算法類型（分類、預測、聚類、關聯），是比較傳統和常見的。還有其他一些比較有趣的演算法分類和應用場景，例如協同過濾、異常值分析、社會網路、文本分析等。下面，想針對不同的演算法類型，具體的介紹下數據挖掘在日常生活中真實的存在。下面是能想到的、幾個比較有趣的、和生活緊密關聯的例子。
基於分類模型的案例這裡面主要想介紹兩個案例，一個是垃圾郵件的分類和判斷，另外一個是在生物醫葯領域的應用，即腫瘤細胞的判斷和分辨。
垃圾郵件的判別郵箱系統如何分辨一封Email是否屬於垃圾郵件？這應該屬於文本挖掘的范疇，通常會採用樸素貝葉斯的方法進行判別。它的主要原理是，根據郵件正文中的單詞，是否經常出現在垃圾郵件中，進行判斷。例如，如果一份郵件的正文中包含「報銷」、「發票」、「促銷」等詞彙時，該郵件被判定為垃圾郵件的概率將會比較大。
一般來說，判斷郵件是否屬於垃圾郵件，應該包含以下幾個步驟。
第一，把郵件正文拆解成單片語合，假設某篇郵件包含100個單詞。
第二，根據貝葉斯條件概率，計算一封已經出現了這100個單詞的郵件，屬於垃圾郵件的概率和正常郵件的概率。如果結果表明，屬於垃圾郵件的概率大於正常郵件的概率。那麼該郵件就會被劃為垃圾郵件。
醫學上的腫瘤判斷如何判斷細胞是否屬於腫瘤細胞呢？腫瘤細胞和普通細胞，有差別。但是，需要非常有經驗的醫生，通過病理切片才能判斷。如果通過機器學習的方式，使得系統自動識別出腫瘤細胞。此時的效率，將會得到飛速的提升。並且，通過主觀（醫生）+客觀（模型）的方式識別腫瘤細胞，結果交叉驗證，結論可能更加靠譜。
如何操作？通過分類模型識別。簡言之，包含兩個步驟。首先，通過一系列指標刻畫細胞特徵，例如細胞的半徑、質地、周長、面積、光滑度、對稱性、凹凸性等等，構成細胞特徵的數據。其次，在細胞特徵寬表的基礎上，通過搭建分類模型進行腫瘤細胞的判斷。
基於預測模型的案例這裡面主要想介紹兩個案例。即通過化學特性判斷和預測紅酒的品質。另外一個是，通過搜索引擎來預測和判斷股價的波動和趨勢。
紅酒品質的判斷如何評鑒紅酒？有經驗的人會說，紅酒最重要的是口感。而口感的好壞，受很多因素的影響，例如年份、產地、氣候、釀造的工藝等等。但是，統計學家並沒有時間去品嘗各種各樣的紅酒，他們覺得通過一些化學屬性特徵就能夠很好地判斷紅酒的品質了。並且，現在很多釀酒企業其實也都這么幹了，通過監測紅酒中化學成分的含量，從而控制紅酒的品質和口感。
那麼，如何判斷鑒紅酒的品質呢？
第一步，收集很多紅酒樣本，整理檢測他們的化學特性，例如酸性、含糖量、氯化物含量、硫含量、酒精度、PH值、密度等等。
第二步，通過分類回歸樹模型進行預測和判斷紅酒的品質和等級。
搜索引擎的搜索量和股價波動一隻南美洲熱帶雨林中的蝴蝶，偶爾扇動了幾下翅膀，可以在兩周以後，引起美國德克薩斯州的一場龍卷風。你在互聯網上的搜索是否會影響公司股價的波動？
很早之前，就已經有文獻證明，互聯網關鍵詞的搜索量（例如流感）會比疾控中心提前1到2周預測出某地區流感的爆發。
同樣，現在也有些學者發現了這樣一種現象，即公司在互聯網中搜索量的變化，會顯著影響公司股價的波動和趨勢，即所謂的投資者注意力理論。該理論認為，公司在搜索引擎中的搜索量，代表了該股票被投資者關注的程度。因此，當一隻股票的搜索頻數增加時，說明投資者對該股票的關注度提升，從而使得該股票更容易被個人投資者購買，進一步地導致股票價格上升，帶來正向的股票收益。這是已經得到無數論文驗證了的。
基於關聯分析的案例：沃爾瑪的啤酒尿布啤酒尿布是一個非常非常古老陳舊的故事。故事是這樣的，沃爾瑪發現一個非常有趣的現象，即把尿布與啤酒這兩種風馬牛不相及的商品擺在一起，能夠大幅增加兩者的銷量。原因在於，美國的婦女通常在家照顧孩子，所以，她們常常會囑咐丈夫在下班回家的路上為孩子買尿布，而丈夫在買尿布的同時又會順手購買自己愛喝的啤酒。沃爾瑪從數據中發現了這種關聯性，因此，將這兩種商品並置，從而大大提高了關聯銷售。
啤酒尿布主要講的是產品之間的關聯性，如果大量的數據表明，消費者購買A商品的同時，也會順帶著購買B產品。那麼A和B之間存在關聯性。在超市中，常常會看到兩個商品的捆綁銷售，很有可能就是關聯分析的結果。
基於聚類分析的案例：零售客戶細分對客戶的細分，還是比較常見的。細分的功能，在於能夠有效的劃分出客戶群體，使得群體內部成員具有相似性，但是群體之間存在差異性。其目的在於識別不同的客戶群體，然後針對不同的客戶群體，精準地進行產品設計和推送，從而節約營銷成本，提高營銷效率。
例如，針對商業銀行中的零售客戶進行細分，基於零售客戶的特徵變數（人口特徵、資產特徵、負債特徵、結算特徵），計算客戶之間的距離。然後，按照距離的遠近，把相似的客戶聚集為一類，從而有效的細分客戶。將全體客戶劃分為諸如，理財偏好者、基金偏好者、活期偏好者、國債偏好者、風險均衡者、渠道偏好者等。
基於異常值分析的案例：支付中的交易欺詐偵測採用支付寶支付時，或者刷信用卡支付時，系統會實時判斷這筆刷卡行為是否屬於盜刷。通過判斷刷卡的時間、地點、商戶名稱、金額、頻率等要素進行判斷。這裡面基本的原理就是尋找異常值。如果您的刷卡被判定為異常，這筆交易可能會被終止。
異常值的判斷，應該是基於一個欺詐規則庫的。可能包含兩類規則，即事件類規則和模型類規則。第一，事件類規則，例如刷卡的時間是否異常（凌晨刷卡）、刷卡的地點是否異常（非經常所在地刷卡）、刷卡的商戶是否異常（被列入黑名單的套現商戶）、刷卡金額是否異常（是否偏離正常均值的三倍標准差）、刷卡頻次是否異常（高頻密集刷卡）。第二，模型類規則，則是通過演算法判定交易是否屬於欺詐。一般通過支付數據、賣家數據、結算數據，構建模型進行分類問題的判斷。
基於協同過濾的案例：電商猜你喜歡和推薦引擎電商中的猜你喜歡，應該是大家最為熟悉的。在京東商城或者亞馬遜購物，總會有「猜你喜歡」、「根據您的瀏覽歷史記錄精心為您推薦」、「購買此商品的顧客同時也購買了商品」、「瀏覽了該商品的顧客最終購買了商品」，這些都是推薦引擎運算的結果。
這裡面，確實很喜歡亞馬遜的推薦，通過「購買該商品的人同時購買了**商品」，常常會發現一些質量比較高、較為受認可的書。一般來說，電商的「猜你喜歡」（即推薦引擎）都是在協同過濾演算法（Collaborative Filter）的基礎上，搭建一套符合自身特點的規則庫。即該演算法會同時考慮其他顧客的選擇和行為，在此基礎上搭建產品相似性矩陣和用戶相似性矩陣。基於此，找出最相似的顧客或最關聯的產品，從而完成產品的推薦。
基於社會網路分析的案例：電信中的種子客戶種子客戶和社會網路，最早出現在電信領域的研究。即，通過人們的通話記錄，就可以勾勒出人們的關系網路。電信領域的網路，一般會分析客戶的影響力和客戶流失、產品擴散的關系。
基於通話記錄，可以構建客戶影響力指標體系。採用的指標，大概包括如下，一度人脈、二度人脈、三度人脈、平均通話頻次、平均通話量等。基於社會影響力，分析的結果表明，高影響力客戶的流失會導致關聯客戶的流失。其次，在產品的擴散上，選擇高影響力客戶作為傳播的起點，很容易推動新套餐的擴散和滲透。
此外，社會網路在銀行（擔保網路）、保險（團伙欺詐）、互聯網（社交互動）中也都有很多的應用和案例。
基於文本分析的案例這裡面主要想介紹兩個案例。一個是類似「掃描王」的APP，直接把紙質文檔掃描成電子文檔。相信很多人都用過，這里准備簡單介紹下原理。另外一個是，江湖上總是傳言紅樓夢的前八十回和後四十回，好像並非都是出自曹雪芹之手，這裡面准備從統計的角度聊聊。
字元識別：掃描王APP手機拍照時會自動識別人臉，還有一些APP，例如掃描王，可以掃描書本，然後把掃描的內容自動轉化為word。這些屬於圖像識別和字元識別（Optical Character Recognition）。圖像識別比較復雜，字元識別理解起來比較容易些。
查找了一些資料，字元識別的大概原理如下，以字元S為例。
第一，把字元圖像縮小到標准像素尺寸，例如12*16。注意，圖像是由像素構成，字元圖像主要包括黑、白兩種像素。
第二，提取字元的特徵向量。如何提取字元的特徵，採用二維直方圖投影。就是把字元（12*16的像素圖）往水平方向和垂直方向上投影。水平方向有12個維度，垂直方向有16個維度。這樣分別計算水平方向上各個像素行中黑色像素的累計數量、垂直方向各個像素列上的黑色像素的累計數量。從而得到水平方向12個維度的特徵向量取值，垂直方向上16個維度的特徵向量取值。這樣就構成了包含28個維度的字元特徵向量。
第三，基於前面的字元特徵向量，通過神經網路學習，從而識別字元和有效分類。
文學著作與統計：紅樓夢歸屬這是非常著名的一個爭論，懸而未決。對於紅樓夢的作者，通常認為前80回合是曹雪芹所著，後四十回合為高鶚所寫。其實主要問題，就是想確定，前80回合和後40回合是否在遣詞造句方面存在顯著差異。
這事讓一群統計學家比較興奮了。有些學者通過統計名詞、動詞、形容詞、副詞、虛詞出現的頻次，以及不同詞性之間的相關系做判斷。有些學者通過虛詞（例如之、其、或、亦、了、的、不、把、別、好），判斷前後文風的差異。有些學者通過場景（花卉、樹木、飲食、醫葯與詩詞）頻次的差異，來做統計判斷。總而言之，主要通過一些指標量化，然後比較指標之間是否存在顯著差異，藉此進行寫作風格的判斷。

以上是小編為大家分享的關於數據挖掘演算法與生活中的應用案例的相關內容，更多信息可以關注環球青藤分享更多干貨