股票的數據挖掘

1. 請通俗的講一下什麼是數據挖掘

利用數據挖掘，我們還可以做非常多的事情。

1.發現數據項之間的相關性

比如我們拿到各個城市環境、人口、交通等數據，就可以通過相關性分析來看人均汽車保有量，和空氣質量各個指標之間的關系，從而定量化地幫助制定產業經濟和環保政策。比如要不要進行更嚴厲的限購，要不要收取為其的排放稅等等。

2.把數據對象進行聚類

比如我們知道大量的人在電子商務網路消費數據，我么就可以根據消費的特徵把他們聚成很多類，每一類人我們制定不同的營銷手段，從而能夠取得銷售量的提升。比如電信運營商對人群進行聚類，然後針對性地推出電話套餐。

3.把數據對象進行分類

當我們已經有了分類之後，來了一些新的數據之後，我們可以把他分到不同不同的類去。比如醫療影像上查看肺部的病灶，可能是肺結核、可能是早起肺癌，中晚期肺癌，可能是肺上的癤結，可能是癒合的病灶等等，來了一張新的片子，我們可以通過圖像處理，就把它分到不同的類別（當然這需要我們提前對很多片子的數據進行學習）。

4.預測缺失數據或者未來的數據

很多數據集中，比如生物數據，我們已知的知識全部數據集中的一小部分，這需要我們做一些事情去預測這些數據。還有一些，想大選、股票價格預測、河流徑流量預測、城市用電量預測等，這些就是對未來數據的預測。

2. 什麼是數據挖掘

數據挖掘是指從大量的數據中通過演算法搜索隱藏於其中信息的過程。
數據挖掘通常與計算機科學有關，並通過統計、在線分析處理、情報檢索、機器學習、專家系統（依靠過去的經驗法則）和模式識別等諸多方法來實現上述目標。
數據挖掘是資料庫中知識發現(knowledge discovery in database, KDD)不可缺少的一部分，而KDD是將未加工的數據轉換為有用信息的整個過程，該過程包括一系列轉換步驟， 從數據的預處理到數據挖掘結果的後處理。

數據挖掘的起源
來自不同學科的研究者匯集到一起，開始著手開發可以處理不同數據 類型的更有效的、可伸縮的工具。這些工作都是建立在研究者先前使用的方法學和演算法之上，而在數據挖掘領域達到高潮。
特別地，數據挖掘利用了來自如下一些領域的思想：(1)來自統計學的抽樣、估計和假設檢驗；(2)人工智慧、模式識別和機器學習含皮的搜索演算法建模技術和學習理弊茄論。
數據挖掘也迅速地接納了來自其他領域的思想，這些領域包括最優化、進化計算、資訊理論、信號處理、可視化和信息檢索。
一些其他領域也起到重要的支撐作用。資料庫系統提供有效的存儲、索引和查詢處理支持。源於高性能（並行）計算的技術在處理海量數據集方面常常是重要的。分布式技術也能幫助處理海量數據，並且當數據不能集中到一起處理時更是至關重要。

KDD(Knowledge Discovery from Database)
數據清理
消除雜訊和不一致的數據；
數據集成
多種數據源可以組合在一起；
數據選擇
從資料庫中提取與分析任務相關的數據；
數據變換
通過匯總或聚集操作，把數據變換和統一成適合挖掘的形式；
數據挖掘
基本步驟，使用智能方法提取數據模式；
模式評估
根據某種興趣度，識別代表知識的真正有趣的模式；
知識表示
使用可視化和知識表示技術，向用戶提供挖掘的知識。

數據挖掘方法論
業務理解（business understanding）
從商業角度理解項目的目標和要求，接著把這些理解知識通過理論分析轉化為數據挖掘可操作的問題，制定實現目標的初步規劃；
數據理解（data understanding）
數據理解階段開始於原始數據的收集，然後是熟悉數據、甄別數據質量問題、探索對數據的初步理解、發覺令人感興趣的子集以形成對探索信息的假設；
數據准備（data preparation）
數據准備階段指從最初原始數據中未加工的數據構造數據挖掘所需信息的活動。數據准備任務可能被實施多次，而且沒有任何規定的順序。這些任務的主要目的是從源系統根據維度分析的要求，獲取所需要的信息，需要對數據進行轉換、清洗、構造、整合等數據預處理工作；
建模（modeling）
在此階段，主要是選擇和應用各種建模技術。同時對它們的參數進行調優，以達到最優值。通常對同一個數據挖掘問題類型，會有多種建模技術。一些技術對數據形式有特殊的要求，常常需要重新返回到數據准備階段；
模型評估（evaluation）
在模型部署發布前，需要從技術層面判斷模型效果和檢查建立模型的各個步驟，以及根據商業目標評估模型在實際商業場景中的實用性。此階段關鍵目的是判斷是否存在一些重要的商業問題仍未得到充分考慮；
模型部署（deployment）
模型完成後，由模型使用者（客戶）根據當時背景和目標完成情況，封裝滿足業務系統使用需求。

數據挖掘任務
通常，數據挖掘任務分為下面兩大類。
預測任務。這些任務的目標是根據其他屬性的值，預測特定屬性的值。被預測的屬性一 般稱目標變數(targetvariable)或因變數(dependentvariable), 而用來做預測的屬性稱說明變數(explanatoryvariable)或自變數(independentvariable)。
描述任務。其目標是導出概括數據中潛在聯系的模式（相談卜差關、趨勢、聚類、軌跡和異常）。本質上，描述性數據挖掘任務通常是探查性的，並且常常需要後處理技術驗證和解釋結果。

預測建模(predictivemodeling) 涉及以說明變數函數的方式為目標變數建立模型。
有兩類預測建模任務：分類(classification)，用於預測離散的目標變數；回歸(regression)，用於預測連續的目標變數。
例如，預測一個Web用戶是否會在網上書店買書是分類任務，因為該目標變數是二值的，而預測某股票的未來價格則是回歸任務，因為價格具有連續值屬性。
兩項任務目標都是訓練一個模型，使目標變數預測值與實際值之間的誤差達到最小。預測建模可以用來確定顧客對產品促銷活動的反應，預測地球生態系統的擾動，或根據檢查結果判斷病人是否患有某種疾病。
關聯分析(association analysis) 用來發現描述數據中強關聯特徵的模式。
所發現的模式通常用蘊涵規則或特徵子集的形式表示。由於搜索空間是指數規模的，關聯分析的目標是以有效的方式提取最有趣的模式。關聯分析的應用包括找出具有相關功能的基因組、識別用戶一起訪問的Web頁面、 理解地球氣候系統不同元素之間的聯系等。
聚類分析(cluster analysis)旨在發現緊密相關的觀測值組群，使得與屬於不同簇的觀測值相比， 屬於同一簇的觀測值相互之間盡可能類似。聚類可用來對相關的顧客分組、找出顯著影響 地球氣候的海洋區域以及壓縮數據等。
異常檢測(anomaly detection) 的任務是識別其特徵顯著不同於其他數據的觀測值。
這樣的觀測值稱為異常點(anomaly)或離群點(outlier)。異常檢測演算法的目標是發現真正的異常點，而避免錯誤地將正常的對象標注為異常點換言之，一個好的異常檢測器必須具有高檢測率和低誤報率。
異常檢測的應用包括檢測欺詐、網路攻擊、疾病的不尋常模式、生態系統擾動等。

3. 如何利用機器學習和人工智慧技術來預測股票市場的走勢和風險

利用機器學習和人工智慧技術來預測股票市場的走勢和風險是當前熱門的研究領域之一。以下是一些常見的方法：
1. 數據收集：機器學習和人工智慧技術需要大量的數據來訓練和預測。因此，首先需要收集各種市場數據，如股票價格、公司財務報表、新聞報道等等。
2. 特徵選擇：在數據收集之後，需要對數據進行處理和特徵提取。此時可以運用一些數據挖掘技術，如主成分分析（PCA）或線性判別分析（LDA），來選擇最相關的特徵。
3. 模型選擇：根據數據特徵和預測需求，可以選擇適合的機器學習或人工智慧模型。例如，可以使用決策樹、神經網路、支持向量機等演算法來預測股票價格或市場走勢。
4. 訓練和預測：在選擇好模型之後，需要使用歷史數據來訓練模型，並根據訓練結果進行調整和優化。然後，可以利用訓練好的模型來預測市場的走勢和風險。
5. 風險控制：在使用機器學習和人工智慧技術預測股票市場之前，需要對結果進行評估和風險控制。如何評估模型的准確性和穩定性，如何控制模型產生的誤差和風險，這些都是需要注意的問題。
需要注意的是，股票市場的走勢和風險受到多種因素的影響，如政策、經濟、地緣政治等等，因此穗跡單純依靠機器學習和人工智慧技術是不能完全預測和控制市場的念穗。猜高並

4. 怎樣選出所有「在某個價格區間」的股票急！！！

《通達信集成版》軟體是通達信電子科技有限公司開發的基於Windows平台運行的新一代網上行情交易軟體。該軟體廣泛用於中國證券行業，擁有眾多客戶包括證券公司、基金公司、商業銀行以及廣大的股民朋友，在證券行業有極高的聲譽。《通達信集成版》軟體融合且優化了目前國內證券主流分析軟體的主要功能，集行情分析、技術分析、財務分析、資訊信息、互動交流、個人理財於一體，《通達信集成版》軟體功能強大，操作簡便，具有全方位擴展性，是你理想的行情分析軟體。
功能特性
一、 版面定製，展現個性
版面定製可以讓用戶按照自己的需要將軟體的分析界面任性設置成多個分析窗口，讓用戶可以在同一個版面上查看到更多的信息。用戶也可以將定製好的版面保存、導出或導入，和其它的用戶交流定製的版面。
二、 ETF分析
ETF 分析通過將上證50指數與ETF的疊加對比，把握折價、溢價關系變化，捕捉更多套利機會
三、 智能選股，篩選黑馬
《通達信集成版》軟體智能選股器為您提供條件選股、定製選股、智能選股、插件選股和綜合選股五種選股模式，無論從技術面還是基本面，您都能快速的選出自己心儀的股票。您還可以將不同分析周期的多個條件組合起來進行組合條件選股，並將選股結果保存到板塊中。
四、 自編公式，隨心所欲
用戶可通過公式管理器自定義指標公式、條件選股公式、交易系統公式和五彩K線公式，把自己的想法變成公式，充分發揮您的聰明才智。通過自定義指標公式，您可以用自己的指標來分析歷史數據；通過自定義條件選股公式，您可以選出您想找的股票；通過專家系統公式，您可以自己作專家，確定買賣時機；通過自定義五彩K線公式，您可以在K線圖上搜尋特殊的K線形態。此時的您已由一名普通股民晉級為一名高級投資者了。
五、 多日分時圖
讓用戶可以在同一版面上同時顯示1－10天的股票分時走勢圖，細致的了解股市的發展變化。
六、 歷史走勢圖
將游標移動到K線圖上的任何一天，確定後就可以顯示出該股票當天的歷史分時走勢圖，以及當天的詳細買賣盤數據
七、 交易指示，五彩K線
通過交易系統指示，本系統可以幫助您在K線圖上標出醒目的買入賣出信號，您可以更好地分析某隻股票的歷史規律，以預測未來。自動識別各種典型的K線組合！特定的K線模式往往有非常准確的指示作用，系統提供許多種常用五彩K線公式，當選中某一模式後，系統自動在K線圖上將屬於該模式的K線標識出來，一目瞭然。另外，系統還支持最高最低點指示。
八、 個人理財
全新的智能化投資管理器，提供三類報表：匯總標、理財紀錄表、個股歷史交易表。可以設置密碼。
本系統特地設置了備忘錄功能，以方便股民們用該記事本隨時記錄一些重要消息和事件，以及靈光突現的炒股感悟和心得。
投資盈虧計算，在進行買賣股票之前，可方便快捷計算出自己的盈虧價位、手續費、資金額。
九、 理財金算盤
在進行買賣股票之前，可方便快捷計算出自己的盈虧價位、手續費、資金額。新的理財金算盤還增加了儲蓄存款計算、個人貸款計算、國債收益計算、外幣兌換計算、所得稅計算和計算器功能。
十、 實時預警
系統預警
實時預警根據投資者設定的條件監控整個股票市場的動向，幫助投資者發現可能忽略或者不能注意到的風吹草動！投資者可以自己定義漲跌幅度、量比、絕對價位、成交量異動、指標突破價位、封停和打開停板等一系列的預警條件，系統將在條件滿足時提醒投資者有異動的股票及其異動的特徵，投資者可以在分析的同時把握住市場異常變化的瞬間，抓住每一個買賣的時機。投資者只需要設定預警條件，系統就可以為投資者做完所需的監控工作。
指定預警
用戶可選擇一些自己感興趣的股票進行指定預警，可以設定價位突破的上下限值。如果這些股票的行情變動異常，則彈出對話框進行預警。
十一、 資訊信息，內容豐富
資訊信息中除了可以顯示文字信息外，還可以顯示圖片和FLASH動畫。可同時接入證券公司的網站、各類財經網站，並可實現個股相關同步，如在顯示個股行情時，同時顯示與該個股相關的財經新聞。 可接入多家資訊和可接入多家F10資料。
十二、 動態播報資訊
軟體在盤中動態發布不同分析師對最新滬深股市的股評訊息。一旦有解盤的信息發布，在屏幕的右下角系統會自動跳出一個提示框，告訴您現市場的變化和熱點。
十三、 熱門板塊報表
主要以市場上成交活躍程度作為報表分析對象，以區間換手為主要手段，對板塊漲跌幅進行動態排序，並設有「板塊領漲股「欄目，點擊「漲跌幅排序「便於及時發現熱門板塊、領漲的龍頭股，點擊「板塊」名稱，進入板塊內的個股排序報價表，可對板塊內的個股進行多種排序操作。在捕捉個股行情行情方面有獨到的功效，也是板塊聯動戰法的必備工具。
十四、 歷史行情報表
查看歷史行情，有助於投資者分析和觀察某些股票在過去一段時期的行情統計或某一日的行情，以便對以後的操作做出一個正確的判斷。
十五、 強弱分析報表
強弱比較表示股票在不同周期內的強弱程度為分析對象，對股票的不同區間漲跌情況進行統計。列出了個股的今日強度、3日強度、5日強度、10日強度、20日強度、60日強度及年線強度，是證券綜合分析的主要工具。配合「強弱」、RSI指標、拖動滑鼠右鍵的「漲跌幅統計」功能，可進行任意區間的強弱統計分析，方便的找尋強勢股、超跌股。還可對任意一隻股票進行相關性、聯動分析。投資者通過強度比較能夠輕易的發現今日強勢股、弱勢股，決定投資方向。
十六、 區間統計
區間分析報表主要以價格漲跌幅度的異常變化為對象 ，包括區建立的漲跌、漲跌幅、區間換手率、市場比例、量變幅度等。區間成交量異動比較找出區間內量異常放大或萎縮的股票，據此判斷市場熱點；區間震盪幅度比較確定股價穩定程度，震盪幅度越小，表明市場的穩定程度高，風險越小；反之，風險較大。
十七、 股票疊加
《通達信集成版》軟體可以將股票K線圖進行疊加，也可以將股票分時走勢圖進行疊加。將多隻股票或股票和指數進行疊加比較，對比分析發現個股的異動走勢。
十八、 自選股盤中彩色顯示
系統將用戶的自選股用不同的顏色表示出來，方便用戶及時觀察自選股的變化情況
十九、 主力大單
主力大單列出盤中成交手數超過規定手數的所有股票，方便觀察大資金的動向，規定手數可在系統設置中更改。
二十、 數據挖掘，洞察先機
數據挖掘功能挖的結果是人氣選股。行情主站採集所有客戶端的人氣，按照一定演算法統計出個股的關注度和共鳴度，告訴您近期市場關注的熱點可能在哪裡出現。
二十一、 數據、圖像輸出
行情圖形、行情報表、財務報表等均可以列印輸出，同時也可以輸出為文本、Excel表格等格式，方便進行再次分析。
參考資料：http://www.wgnj123.com/html/gupiaoruanjian/20070628/2137.html

5. 什麼是數據挖掘

數據挖掘（Data Mining）是指通過大量數據集進行分類的自動化過程，以通過數據分析來識別趨勢和模式，建立關系來解決業務問題。換句話說，數據挖掘是從大量的、不完全的、有雜訊的、模糊的、隨機的數據中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。

原則上講，數據挖掘可以應用於任何類型的信息存儲庫及瞬態數據（如數據流），如資料庫、數據倉庫、數據集市、事務資料庫、空間資料庫（如地圖等）、工程設計數據（如建築設計等）、多媒體數據（文本、圖像、視頻、音頻）、網路、數據流、時間序列資料庫等。也正因如此，數據挖掘存在以下特點：

（1）數據集大且不完整
數據挖掘所需要的數據集是很大的，只有數據集越大，得到的規律才能越貼近於正確的實際的規律，結果也才越准確。除此以外，數據往往都是不完整的。

（2）不準確性
數據挖掘存在不準確性，主要是由雜訊數據造成的。比如在商業中用戶可能會提供假數據；在工廠環境中，正常的數據往往會收到電磁或者是輻射干擾，而出現超出正常值的情況。這些不正常的絕對不可能出現的數據，就叫做雜訊，它們會導致數據挖掘存在不準確性。

（3）模糊的和隨機的
數據挖掘是模糊的和隨機的。這里的模糊可以和不準確性相關聯。由於數據不準確導致只能在大體上對數據進行一個整體的觀察，或者由於涉及到隱私信息無法獲知到具體的一些內容，這個時候如果想要做相關的分析操作，就只能在大體上做一些分析，無法精確進行判斷。
而數據的隨機性有兩個解釋，一個是獲取的數據隨機；我們無法得知用戶填寫的到底是什麼內容。第二個是分析結果隨機。數據交給機器進行判斷和學習，那麼一切的操作都屬於是灰箱操作。

6. 如何用爬蟲抓取股市數據並生成分析報表

推薦個很好用的軟體，我也是一直在用的，就是前嗅的ForeSpider軟體，
我是一直用過很多的採集軟體，最後選擇的前嗅的軟體，ForeSpider這款軟體是可視化的操作。簡單配置幾步就可以採集。如果網站比較復雜，這個軟體自帶爬蟲腳本語言，通過寫幾行腳本，就可以採集所有的公開數據。
軟體還自帶免費的資料庫，數據採集直接存入資料庫，也可以導出成excel文件。
如果自己不想配置，前嗅可以配置採集模板，我的模板就是從前嗅購買的。
另外他們公司不光是軟體好用，還有自己的數據分析系統，直接採集完數據後入庫，ForeSpider內部集成了數據挖掘的功能，可以快速進行聚類分類、統計分析等，採集結果入庫後就可以形成分析報表。
最主要的是他採集速度非常快，我之前用八爪魚的軟體，開伺服器采，用了一個月采了100萬條，後來我用ForeSpider。筆記本採的，一天就好幾百萬條。
這些都是我一直用前嗅的經驗心得，你不妨試試。
建議你可以下載一個免費版試一試，免費版不限制功能，沒有到期時間。

7. 什麼是數據挖掘

數據挖掘是從大量的、不完全的、有雜訊的、模糊的、隨機的數據中提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。

數據挖掘流程：

• 定義問題：清晰地定義出業務問題，確定數據挖掘的目的。

• 數據准備：數據准備包括：選擇數據–在大型資料庫和數據倉庫目標中 提取數據挖掘的目標數據集;數據預處理–進行數據再加工，包括檢查數據的完整性及數據的一致性、去雜訊，填補丟失的域，刪除無效數據等。

• 數據挖掘：根據數據功能的類型和和數據的特點選擇相應的演算法，在凈化和轉換過的數據集上進行數據挖掘。

• 結果分析：對數據挖掘的結果進行解釋和評價，轉換成為能夠最終被用戶理解的知識。

8. 如何獲得歷史股票數據！

金典2005沒錯，你不熟練罷了，多用用，在統計信息股評里都可以點右健復制導出。

9. 結合Python分析金融數據挖掘在量化投資領域中的應用

量化投資領域在金融數據中的應用包括：

• 股票市場的價格預測，利用歷史數據對股票未來的價格進行預測，幫助投資者決策。

• 資產配置，通過分析金融數據，幫助投資者合理配置資產，使投資回報最大化。

• 風險評估，利用金融數據進行風險評估，幫助投資者了解投資風險，並進行風險管理。

• 自動交易，利用金融數據進行交易策略的設計和執行，進行自動化交易。

• 定量研究，利用金融數據進行定量研究，對金融市場的行為進行深入的研究。

10. 案例 | 同花順數據中心的「龍虎榜"數據分析

對於證券行業網站，已經有諸多提供了數據挖掘和分析的模塊。比如：同花順數據中心、搜狐證券金羅盤、新浪財經數據中心等等。提供的數據分析功能，一般都是圍繞證券市場公開信息所進行的不同程度、不同角度的挖掘和分析。比如，同花順數據中心側重公開市場交易信息、使用的體驗最好；搜狐金羅盤對各券商研究報告、股票評級做的好；新浪財經數據中心則是在廣泛信息收集之中側重於從技術面、基本面的智能選股，可謂是各有千秋，三者之間功能重疊很多，但是究竟孰優孰劣，因為每個人的投資經驗和喜好不同，就只能用戶自己體驗之後去判斷了。

我本文就只針對同花順數據中心進行一番介紹（不要冤枉我，我可沒有收同花順的一分好處費，純粹是一片好心將這個不錯的數據中心推薦給大家，相信大家看後會感謝我）。分析的目的，一方面是讓大家可以有一個便捷獲取證券市場信息的好地方，另一方面也是為證券公司提升投資者服務提供一個很好的案例參考，看看人家互聯網證券網站是怎麼能想的那麼多、做的這么好的，開拓一下做投資服務的思路。

首先說網址，同花順數據中心_同花順金融網http://data.10jqka.com.cn/  。

同花順數據中心提供的功能其實很全，從大家關注的龍虎榜、新股信息、資金流向、選股、交易提示、公告信息等等，可謂是匯聚了投資者交易分析的各方面信息，我們的投資者往往辛苦的在各大網站查閱股票資訊和證券市場信息，經常會難辨良莠，被一些錯誤信息誤導，同花順可謂是畢其一功於一役，采網路之精華、市場之鱗爪啊。

接下來重點說龍虎榜。其他功能基本操作類似，都具備了豐富的數據拓展鏈接，相互貫通。

1、基本信息。

龍虎榜隨便點開一個上榜股票名稱，這個頁面基本是大家在各處都可看到的上榜營業部交易明細。但是，重點來了，看圖上圈住的2處，一個是此股票上榜次數、一個是營業部上榜次數。看到這里，你會不會覺得一下腦洞大開啊，哇，這么看來似乎對於股票的走勢、尤其是上榜營業部的實力會很有點看頭呢，上榜次數多的營業部，最近三個月有200多次的（如果我們的營業部可以有這樣一家，老闆該睡覺都會笑醒了吧？！）。

2、上榜營業部

好吧，我如果猜得不錯，你一定已經和我一樣點開了龍虎榜信息里的營業部。該營業部的歷史上榜數據統計一應俱全，次數、金額、參與的股票列表、介入最深、操作最多、一致行動的營業部。。。

（你的眼睛有沒有睜大啊？！我反正是小地方人沒見過世面，連嘴都張大啦）

尤其是介入最深、操作最多的股票，這恐怕至少是大戶所為啦，是不是證券營業部的投資內參有引導客戶操作？還是有大資金卧底在這家營業部來做莊呢?

正相關營業部，讓我們看到經常勾搭一起的營業部，是大家都英雄所見略同嗎？還是互通有無的一致行動人所在呢? 嗯，還可以看看他們一起干過的股票，究竟合作得效果如何呢?看看才知道哦。

3、買賣點

細心的觀眾，你有沒有看到如圖下的「買賣點標識」的地方？

點開了就是如圖的走勢上標注了紅色、綠色遠點的內容，這個上榜的營業部是散戶所謂還是機構圖謀呢?看買賣點就一目瞭然其獲利情況。嘿嘿，號得准這些營業部資金的脈，每個人都成老中醫啊！

同花順數據中心無論是在數據信息的收集整理、還是數據挖掘後的再分析，都給人耳目一新的感受，你會覺得原來可以這樣做啊！其實，這些功能恐怕是我們每一個證券投資者、甚至從業者都曾經想過但卻無力做到的呢。找得到用戶的需求、能夠超乎用戶需求實現，這才是互聯網時代，我們客戶服務應該做到的。