數據在商品和股票投資的應用

『壹』 張涵誠：關於數據變現的十種商業模式

進入2016、數據，已經成為每一個行業和各種業務職能領域重要的生產因素和變革力量。數據的積累、合作、整理、挖掘、利用是現代企業所必需的基本素養，沒有它，你的企業將無力面對大數據時代的競爭。我們對於海量數據的挖掘和運用，也預示著新一波生產效率增長和消費者個性化需求的到來。今年我們看到，很多做大數據的公司已經從實際的項目中找到了做大數據的價值變現的路徑，探索出了正確的大數據變現之路。
但依然有很多的問題困擾著企業的決策者和創業者，筆者結合我們最新的研究實踐總結了如下十種商業模式和同行分享。
數據+物體=智能
（未來人工智慧是數據變現的最好方式，當前2B的智能買單意願更強，個人還比較難）

從國內外的互聯巨頭的投資動向不難看出，傳統的盈利的大數據公司開始涉足硬體市場，利用其固有的軟體技術整合硬體廠商快速的占據市場的有利位置。硬體是連接線上與線下的重要組成手段。所以筆者以為智能硬體這才是大數據正在的用武之地，才是大數據最終的價值所在！
毫無疑問，數據支持到搜索，購物和社交，這是變現的絕佳方式。
GFBAT（Google, Facebook, Bai, Alibaba, Tencent，總市值幾萬億）的數據變現最早的企業
網路加工數據變成有價值的可供搜索的信息，進而產生廣告價值，阿里巴巴讓商品信息成為購物的入口，供人買賣，生產交易價值。騰訊，建立人和人的關系，產生廣告價值，成為社交入口。非常肯定的說這是數據1.0。

數據徵信評價機構（通過數據加快貸款、通過數據降低風險）

BAT巨頭紛紛進入大數據徵信市場，也正是看中了這千億級的藍海市場。據平安證券估計：中國徵信行業未來市場規模將達千億元，其中企業徵信市場規模有百億元，個人徵信市場規模有千億元。有著國企背景的中誠徵信則更加progressive，給出了未來市場過萬億的預期。
美國徵信市場由傳統徵信機構、商業信息服務機構、創新型的金融科技企業三種力量組成。
傳統徵信機構以全球最大的個人徵信機構Experian、全球第二大徵信機構Equifax、徵信數據挖掘公司FICO為代表，基於掌握的消費者和支付數 據提供徵信服務。
商業信息服務機構Dun & Bradstreet以龐大的全球商業資料庫-全世界最大的企業信用資料庫知名，基於其全球化的發展戰略，主推風險管理服務（貢獻營收62.7%）和銷售及市場拓展（37.3%），利用徵信業務的規模經濟獲取高毛利率。
創新金融企業Zestfinance則以技術輸出為主要手段，利用傳統的信貸記錄等數據、大量交易信息、法律記錄、租賃信息、網購信息等數據（第三方、網路、調研），使用機器學習的大數據分析模型進行信用評估，取得不錯的實效，將信貸的成本降低了25%。
數據徵信評價機構
2016年度，國內企業徵信領域企業資料庫涵蓋數據量前5名依次為：1.益博睿2.鄧白氏3.信用視界4.鵬元徵信5.棱鏡徵信。依託大數據整合手段，可以預見在未來十幾年內，中國必將出現幾家對市場經濟健康運行發揮巨大作用的規模化企業徵信機構。
基因大數據指導生命科學

目前華大基因凈利潤在1億元左右，不過深圳不少基金經理認為，作為基因測序的龍頭，華大基因上市估值可能一步到位，其市值或直接到1000億左右。華大基因的招股說明書顯示，2015年上半年歸屬於母公司的凈利潤為7565萬元，2014年度，2013年度的凈利潤分別為2456萬元、13588萬元。
生命經濟的發展才是未來：面向人類最根本需求的經濟形態和創新會是最大趨勢。實現從後工業時代到生命經濟時代的轉變，需要大眾轉變觀點、政策扶持以及科研機構的多方推動。未來，以國家基因庫作為支點，圍繞生命科學發展的產業，會走入從科學研究到產業化的發展之路，最終實現為人類服務的目標。
在未來社會發展上，影響人類社會經濟和生命質量上有三個重大的問題。一是出生缺陷，二是代謝性疾病和心腦血管，三是腫瘤。這三個疾病導致人類醫療費用的支出70%到80%，而這三個疾病的防控唯一的辦法就是用現代科技和大數據的支撐才能夠解決這樣的問題。
我們依靠基因科學技術，產生的大數據來引領著未來的大發展，來支撐著小康社會建設，以一個前所未有的高科技來作為支撐和引領我們一定能在某些領域走在世界前沿。
通過大數據分析為投資提供服務在各行各業並不少見，在傳統股票領域，常見的數據分析指標有RSI相對強弱指標，KDJ隨機指標，MACD指數平滑異同平均線等。這些指標常被用於分析股票走勢，以提供給用戶做投資參考。
共享經濟最大程度釋放數據信息價值。專業領域的數據共享者

這類代表性企業包括，滴滴，UBER，Airbnb、小豬，總市值在幾千億規模，未來會有更大的企業加入

我認為共享經濟實際上是大數據2.0。這個在今年的數博會，克強總理的發言原文：「 【只有共享經濟數據才能無限放大】此外，總理認為我們還要發展共享經濟，因為只有共享，數據才能無限放大，這不僅僅是做加法、乘法，而且共享經濟作為新業態假以時日，將為中國經濟注入強大力量。同時共享經濟也是分享經濟，讓每個人都有平等創業的機會，每一行都能出狀元。在「雙創」方面，未來這些企業中將會誕生小巨人。此外，共享經濟讓人人都能受益。中國的「寬頻中國」建設就是要拉近城鄉、東西部的數字鴻溝，而提速降費也是拉近數字鴻溝的方式和手段。
為什麼這類企業是數據變現排名第二的公司呢，因為這類企業的數據因為共享被無限的放大。第一個是所有權的價值信息到使用權的價值信息，所有權的價值信息可能在網上就一次，CPS，但如果共享就不斷的把同一輛車可以坐無限多次。第二個是對於自身的價值到信息對於其他的行業價值，現在是企業間的共享，共享經濟來了以後會形成整個行業裡面，產業裡面的數據共享，也就是企業跟企業之間的數據怎麼交換，怎麼共享，所以這樣在企業之間數據的交換價值也會被無限的放大。比如滴滴一輛車每天都幫滴滴產生收益。第三個是單一的數據價值到多元的數據價值，這就變成了數據*數據的價值。比如說我是銀行的數據價值，但銀行的數據價值活性很差，銀行數據維度比較差，社交數據就比較鮮活，所以單一的數據價值對於銀行來講是有作用的，但是銀行和社交的數據加起來，它的數據的流通性及我們叫跨界融合數據的價值數據也會被無限的放大。再比如滴滴的數據可以用來做保險。
專業的數據加工者數據研究 報告（數據支持到咨詢研究類型的企業，如湯森路透、萬德、尼爾森、艾瑞、易觀）

這類企業深入加工數據，針對一些對數據決策依賴比較深入的企業提供服務。金融、電商、新經濟領域。
湯森路透得總裁吉姆·史密斯說：大數據對湯森路透非常重要。從某些方面來說，我們已經長期在管理大型復雜的數據了。我們面對的挑戰與其他大型科技公司不一樣，過去近25年裡，我們一直在管理和整合我們所服務的不同行業領域的各類數據。我們投入了大量的資金來整合眾多的數據，集成資料庫，讓客戶可以簡單地掌握和搜索所需要的數據資料，而不必再花時間了解來源或復雜性。
萬德數據服務（Datafeed）這樣描述自己：中國市場的精準金融數據服務供應商，為量化投資與各類金融業務系統提供准確、及時、完整的落地數據，內容涵蓋：股票、債券、基金、衍生品、指數、宏觀行業等各類金融市場數據，助您運籌帷幄，決勝千里
為客戶提供標準的結構化數據，支持模塊化訂閱，同時滿足客戶個性定製需求，實現合作夥伴式的落地數據服務。
艾瑞用戶行為產品是由艾瑞咨詢自主研發，基於中國PC終端和移動智能終端的用戶行為研究產品。通過深入分析多維度PC及移動網民的行為特徵，及競爭對手的數據情況，為互聯網、移動互聯網、廣告公司、廣告主及電信等行業客戶，將PC及移動互聯網需求量化呈現，是真實反映中國互聯網及移動互聯網市場發展狀況的數據產品。
這類企業深度的研究報告+個性化的數據定製+行業領域的專家智慧積累成就了這個行業的客戶也成就了自己。
大數據咨詢分析加工服務（埃森哲：數據人工加工、數據堂）
當企業第一方數據價值被掏空，企業需要發展外部數據彌補自身數據的不足，需要採集第三方數據開拓新的業務，發展新的客戶的時候，企業就提出了數據采購需求，但一般來說這些數據需要爬或者定向采購，當數據源不能滿足企業需求的時候就需要數據加工和分析服務。2015年，美國對信息服務的總需求預計超過6,000億美元。
利用數據分析獲得的認識正逐漸成為企業的一大競爭優勢。企業利用數據分析結果實施、優化決策。任何擁有大型客戶資料庫的企業都可能發展成為這一場信息新博弈中的重要勢力。過去，數據市場僅僅局限於傳統的市場調查與數據服務公司。
專業的數據數據營銷者：精準營銷DSP+簡訊、email、私信（暴力廣告，獲得線索，客單價較高的產品，如地產）

DSP行業產業鏈上的角色包括廣告主、廣告代理商、DSP、廣告交易平台、DMP、SSP、廣告網路、廣告聯盟、媒體以及受眾。
廣告主或代理商通過DSP進行投放，DSP幫助廣告主或代理商通過搜索引擎、廣告網路以及廣告聯盟進行投放，同時DSP可以接入多個廣告交易平台或可以接入多個SSP來獲取媒體受眾資源，而廣告主則通過DSP對廣告交易平台中的流量進行基於受眾的購買。
2012年是中國DSP發展的元年，經過過去3年多的醞釀，去年出現了大量的DSP服務商和技術提供商。並且在一些巨頭的廣告交易平台的推出影響下，DSP所能夠投放的廣告的量迅速增長。2013年更多的廣告平台出現、更多的媒體接入這些平台，同時提升了廣告供給量、刺激了廣告主的興趣，市場獲得非常高速的增長。在市場上RTB的購買方式是主流。另外，移動端的DSP初露端倪，未來極具成長空間。
能夠為廣告主、代理公司提供全面服務的服務商，有艾維邑動、愛點擊、璧合網路、傳漾、好耶、互動通、晶贊科技、聚勝萬合、派擇、派瑞威行、品友互動、隨視傳媒、泰一指尚、新數網路、億瑪、億贊普、易傳媒、悠易互通等。
這不可能是獨角獸，但第一方數據的加工利用絕對是最好的數據變現方式（每個企業都可以發掘自身企業數據的價值指導企業優化）

大數據在全球范圍內的市場規模同樣巨大，根據IDC 發布最新研究結果，預測到2018 年全球大數據技術和服務市場的2018 年的復合年增長率將達到26.4%，規模達到415 億美元，是整個IT 市場增幅的6倍。從行業結構來看，大數據應用主要集中在金融、通信、銷售和政府領域，在醫療和旅遊行業也有應用，但佔比相對較低。
簡訊、email、私信（暴力廣告，獲得線索，客單價較高的產品，如地產）
數據開放平台（如新浪數據開放平台、網路數據開放平台、騰訊數據開放平台等）

BAT開放平台的特點
一、騰訊的開放是產品層面的開放，核心資源不可能開放
二、網路的開放是技術層面的開放，過度開放，對網路來說是風險
三、阿里的開放是產業鏈的開放，但生態的封閉
十、大數據交易所，未來一切公司都是數據公司，一切都將數據化，那麼每個公司都會有
一個數據合作部門，他們用來使內部數據和外部數據流通，產生價值

因此我本人非常看好這類公司，我認為數據的3.0我認為是數據交易，數據商品化是大數據產業生態走向文明的方式。現在數據都在線下交換，企業和企業之間，或者個人與個人之間進行交換，但這裡面沒有商品，數據商品出來之後是大數據的3.0，但是這個時間還需要10年左右。不過這樣的部門，如在網路很早就有，主要來合作自己不能爬到的數據的價值。這看起來交易所要滿足這些人集中交易數據的需求。實現公開的合法的數據買賣。目前這樣的交易有如下幾個形式
1）數據以在線雲的方式提供API介面對外輸出；
2）數據定向采購，線下交易；
這種模式永遠存在，而且大家基於朋友的信任和很多利益的私密性，願意私下進行數據交易，不願意拿到檯面上；
3）數據加工處理後在進行交易。
專門有數據加工的企業出現，
3、因此也成為了主要的數據變現方式
數據是生產資料，如同原油，在原油加工廠柴油、汽油、潤滑油、化工品、化學品、精細化工品、

『貳』 股票的名詞和數據的解釋和意義

代碼 公司代碼，
名字 公司名稱，這兩個沒什麼好說的
昨收 昨天的收盤價，上市最後三分鍾的成效均價，深市最後的競價
今開 今天的開盤價，由9.15-9.25這段時間的競價出的價格
最高 成交最高價
最低 成交最低價
最新 最新成交價
買入 買1
賣出 賣1
漲幅% （現價-昨收）/昨收
總量(手) 成交股的數量之和
現量(手) 最新成交量
成交金額(萬) 成交金額
成交筆數 交易筆數
換手率% 換手高，表現階段比較活躍
市盈率 股價/每股凈收益
市盈率(修正)
均價 成交的平均價格
漲跌 相對於漲幅，就是具體的價，不是百分比，現在價-昨收
振幅% （最高價-最低）/昨收
委比% （買5檔之和-賣5檔之和）/買5檔之和，100%表漲停，-100%表跌停了
委差 （買5檔之和-賣5檔之和）
量比 這個公式忘了，最比越大，表示近期交易越活躍
買盤 以主買成交的計入買盤，比外盤大，股今天表現好
賣盤 以主賣成交的計入賣盤，比內盤大，股今天表現差
總股本(萬) 這個公司的總價直
流通股(萬) 可以交易的價直和
流通市值(億) 可以交易股票價直和
每股收益(2006年)
每股收益(2007三季
每股收益(2007年)
2008一季收益
2008中期收益
2008三季收益
主營收入(億)
利潤總額(萬)
凈利潤(萬)
資本公積金(億)
上面這些應該好理解的，個人見解，不太專業

『叄』 如何用大數據分析創造商業價值

法則15--大數據價值不在大，而在於挖掘能力
維克托·邁爾-舍恩伯格在《大數據時代》一書中舉了百般例證，都是為了說明一個道理：在大數據時代已經到來的時候，要用大數據思維去發掘大數據的潛在價值。
什麼是大數據思維？維克托·邁爾-舍恩伯格認為：1）需要全部數據樣本而不是抽樣；2）關注效率而不是精確度；3）關注相關性而不是因果關系。
我們認為，大數據並不在"大"，而在於"有用"。大數據思維首先就是要能夠充分理解數據的價值，並且知道如何利用大數據為企業經營決策提供依據，即通過數據處理創造商業價值。
大數據思維核心是理解數據的價值，通過數據處理創造商業價值
《哈佛商業周刊》指出：數據科學家是21世紀最性感的職業。在獲取海量數據後，就要考慮如何去利用數據。數據科學家就是採用科學方法、運用數據挖掘工具尋找新的數據洞察的工程師。大數據時代正是凸顯了數據科學家的重要性以及將數據分析和業務結合的必要性。當具備硬體和基礎設施時以產生海量的數據時，需要有人將大量散亂的數據變成結構化的可供分析的數據，進行整合、清理來形成結果數據集。
人才雷達就是一個典型例子。基於每個人在網路上留下的包含著其生活軌跡、社交言行等個人信息的網路數據，依靠對這些數據的分析，從個人的網上行為中剝離出他的興趣圖譜、性格畫像、能力評估，基於數據挖掘的人才推薦平台人才雷達（Talent Radar）幫助企業更高效的實現人崗匹配，提供獵頭服務。為了評估一個技術人員的專業技能，人才雷達利會利用其在專業論壇（如Github、CSDN、知乎、丁香園等）上的發帖數、內容被引用數、引用人的影響力等數據，通過這些信息建模，完成其專業影響力的判斷。同時，微博的數據也被充分利用起來。其中折射出的社交關系也是判斷一個人職業能力的因素之一。所以，判別用戶在社交網路上其好友的專業影響力也是人才雷達推薦系統中的一個重點。同時，即使被推薦者的個人能力難以符合職業需求，但如果他有著能力不錯的好友關系，則也可以作為合適的"推薦人"將任務傳播到下一層級當中。不同用戶在社交網路上的行為習慣也是不同的，例如發微博的時間規律，在專業論壇上的時間長短，這些行為模式可以用來判別其工作時間規律，看其是否符合對應的職位需求。通過各種數據源的融合和分析，人才雷達不僅能夠在節省成本的前提下幫助企業提高人才招聘的效率。與傳統的獵頭業務相比，其採用群體智慧的方式能夠更廣泛和客觀的篩選人才，並且由於其被動測量的方式也能在一定程度上避免直接面試時部分求職者的虛假表現。它現在的客戶有淘寶、微軟、網路等知名企業。
亞馬遜於2013年12月獲得"預期遞送（anticipatory shipping）"新專利，使該公司甚至能在客戶點擊"購買"之前就開始遞送商品。該技術可以減少交貨時間和減少消費者光顧實體店的次數。在專利文件中，亞馬遜表示訂購和收貨之間的時間延遲"可能會削弱顧客從電商購買物品的熱情。"亞馬遜指出，它會根據早前的訂單和其他因素，預測某一特定區域的客戶可能購買但還未訂購的商品，並對這些產品進行包裝和寄送。根據該專利，這些預遞送的商品在客戶下單之前，存放在快遞公司的寄送中心或卡車上。在預測"預期遞送"的商品時，亞馬遜可能會考慮顧客過往的訂單、產品搜索、願望清單、購物車的內容、退貨、甚至顧客的滑鼠游標停留在某件商品的時長。這項專利表明，亞馬遜希望能充分利用它所擁有的海量客戶信息，藉此形成競爭優勢。
大數據最本質的應用就在於預測，即從海量數據中分析出一定的特徵，進而預測未來可能會發生什麼。當不同的數據流被整合到大型資料庫中後，預測的廣度和精度都會大規模的提高。

『肆』 大數據技術在量化交易的應用上有哪些

投資決策、風險管理等場景，重塑傳統金融服務等方面都有應用。

隨著大數據技術的廣泛普及和發展成熟，金融大數據應用已經成為行業熱點趨勢，在交易欺詐識別、精準營銷、黑產防範、消費信貸、信貸風險評估。

供應鏈金融、股市行情預測、股價預測、智能投顧、騙保識別、風險定價等涉及銀行、證券、保險等多領域的具體業務中，得到廣泛應用。對於大數據的應用分析能力，正在成為金融機構未來發展的核心競爭要素。

股市行情預測：

大數據可以有效拓寬證券企業量化投資數據維度，幫助企業更精準地了解市場行情。隨著大數據廣泛應用、數據規模爆發式增長以及數據分析及處理能力顯著提升，量化投資將獲取更廣闊的數據資源，構建更多元的量化因子，投研模型更加完善。

證券企業應用大數據對海量個人投資者樣本進行持續性跟蹤監測，對賬本投資收益率、持倉率、資金流動情況等一系列指標進行統計、加權匯總。

了解個人投資者交易行為的變化、投資信心的狀態與發展趨勢、對市場的預期以及當前的風險偏好等，對市場行情進行預測。

『伍』 可以利用大數據炒股嗎

大數據可以用於股票交易，所謂大數據，就是一個新的分析概念，利用新的系統、新的工具、新的模型來挖掘大量動態的、可持續的數據，從而獲得具有洞察力和新價值的東西。大數據已經在一些金融工具中有所體現，大數據會將股票之前的數據全都發布出來，股民可以根據這只股票之前的數據來進行對比。

其實大數據只能說是個趨勢，我們可以通過打數據讓投資者能夠有一個參考性，但不能夠過度依賴大數據，畢竟著只是數據，這些數據是死的，而股市卻是千變萬化的，我們不能過度的依賴大數據得出的分析與結論，大數據也只是作為一個參考數據。世事無絕對，更何況是股票，可能上一秒還是盈利的狀態，但是下一秒就已經處於虧損了，不少人也因為炒股傾家盪產，所以這邊還是要提醒大家一下，謹慎行事，不要盲目跟風。

『陸』 股票交易中，KDJ指標是什麼意思，在投資決策中如何應用

KDJ指標又叫隨機指標，是一種相當新穎、實用的技術分析指標，它起先用於期貨市場的分析，後被廣泛用於股市的中短期趨勢分析，是期貨和股票市場上最常用的技術分析工具。 隨機指標KDJ一般是用於股票分析的統計體系，根據統計學原理，通過一個特定的周期（常為9日、9周等）內出現過的最高價、最低價及最後一個計算周期的收盤價及這三者之間的比例關系，來計算最後一個計算周期的未成熟隨機值RSV，然後根據平滑移動平均線的方法來計算K值、D值與J值，並繪成曲線圖來研判股票走勢。

隨機指標KDJ是以最高價、最低價及收盤價為基本數據進行計算，得出的K值、D值和J值分別在指標的坐標上形成的一個點，連接無數個這樣的點位，就形成一個完整的、能反映價格波動趨勢的KDJ指標。它主要是利用價格波動的真實波幅來反映價格走勢的強弱和超買超賣現象，在價格尚未上升或下降之前發出買賣信號的一種技術工具。它在設計過程中主要是研究最高價、最低價和收盤價之間的關系，同時也融合了動量觀念、強弱指標和移動平均線的一些優點，因此，能夠比較迅速、快捷、直觀地研判行情。由於KDJ線本質上是一個隨機波動的觀念，故其對於掌握中短期行情走勢比較准確。

KDJ隨機指標反應比較敏感快速，是一種進行中短期趨勢波段分析研判的較佳的技術指標。一般對做大資金大波段的人來說，一般當月KDJ值在低位時逐步進場吸納；主力平時運作時偏重周KDJ所處的位置，對中線波段的循環高低點作出研判結果，所以往往出現單邊式造成日KDJ的屢屢鈍化現象；日KDJ對股價變化方向反應極為敏感，是日常買賣進出的重要方法；對於做小波段的短線客來說，30分鍾和60分鍾KDJ又是重要的參考指標；對於已指定買賣計劃即刻下單的投資者，5分鍾和15分鍾KDJ可以提供最佳的進出時間。

使用技巧

1.K與D值永遠介於0到100之間。D大於80時，行情呈現超買現象。D小於20時，行情呈現超賣現象。

2.上漲趨勢中，K值大於D值，K線向上突破D線時，為買進信號。下跌趨勢中，K值小於D值，K線向下跌破D線時，為賣出信號。

3.KD指標不僅能反映出市場的超買超賣程度，還能通過交叉突破發出買賣信號。

4.KD指標不適於發行量小、交易不活躍的股票，但是KD指標對大盤和熱門大盤股有極高准確性。

5.當隨機指標與股價出現背離時，一般為轉勢的信號。

6.K值和D值上升或者下跌的速度減弱，傾斜度趨於平緩是短期轉勢的預警信號。

『柒』 請問淘師爺，你們的數據挖掘技術有哪些應用

由於管理信息系統和POS系統在商業尤其是零售業內的普遍使用,特別是條形碼技術的使用,從而可以收集到大量關於用戶購買情況的數據,並且數據量在不斷激增。對市場行銷來說,通過數據分析了解客戶購物行為的一些特徵,對提高競爭力及促進銷售是大有幫助的。利用數據挖掘技術通過對用戶數據的分析,可以得到關於顧客購買取向和興趣的信息,從而為商業決策提供了可靠的依據。
典型的金融分析領域有投資評估和股票交易市場預測,分析方法一般採用模型預測法(如神經網路或統計回歸技術)。由於金融投資的風險很大,在進行投資決策時,更需要通過對各種投資方向的有關數據進行分析,以選擇最佳的投資方向。目前國內有很多進行股票分析的軟體,並且定期有專家進行股票交易預測,這些人工的預測一般是根據自己的經驗再通過對已有的股票數據的分析而得到的,由於是人工處理,很難對更大量的股市數據進行分析。無論是投資評估還是股票市場預測,都是對事物發展的一種預測,而且是建立在對數據的分析基礎之上的。數據挖掘可以通過對已有數據的處理,找到數據對象之間的關系,然後利用學習得到的模式進行合理的預測。
相信淘師爺，是您最好的選擇。淘師爺採用先進的Web數據挖掘技術，通過對淘寶上公開的商品交易數據進行抓取和分析，為電子商務客戶提供全面的商情信息！
淘師爺，成就您的淘事業。

『捌』 如何用大數據炒股

我們如今生活在一個數據爆炸的世界裡。網路每天響應超過60億次的搜索請求，日處理數據超過100PB，相當於6000多座中國國家圖書館的書籍信息量總和。新浪微博每天都會發布上億條微博。在荒無人煙的郊外，暗藏著無數大公司的信息存儲中心，24小時夜以繼日地運轉著。
克托·邁爾-舍恩伯格在《大數據時代》一書中認為，大數據的核心就是預測，即只要數據豐富到一定程度，就可預測事情發生的可能性。例如，「從一個人亂穿馬路時行進的軌跡和速度來看他能及時穿過馬路的可能性」，或者通過一個人穿過馬路的速度，預測車子何時應該減速從而讓他及時穿過馬路。

那麼，如果把這種預測能力應用在股票投資上，又會如何？

目前，美國已經有許多對沖基金採用大數據技術進行投資，並且收獲甚豐。中國的中證廣發網路百發100指數基金（下稱百發100），上線四個多月以來已上漲68%。

和傳統量化投資類似，大數據投資也是依靠模型，但模型里的數據變數幾何倍地增加了，在原有的金融結構化數據基礎上，增加了社交言論、地理信息、衛星監測等非結構化數據，並且將這些非結構化數據進行量化，從而讓模型可以吸收。

由於大數據模型對成本要求極高，業內人士認為，大數據將成為共享平台化的服務，數據和技術相當於食材和鍋，基金經理和分析師可以通過平台製作自己的策略。

量化非結構數據

不要小看大數據的本領，正是這項剛剛興起的技術已經創造了無數「未卜先知」的奇跡。

2014年，網路用大數據技術預測命中了全國18卷中12卷高考作文題目，被網友稱為「神預測」。網路公司人士表示，在這個大數據池中，包含互聯網積累的用戶數據、歷年的命題數據以及教育機構對出題方向作出的判斷。

在2014年巴西世界盃比賽中，Google亦通過大數據技術成功預測了16強和8強名單。

從當年英格蘭報社的信鴿、費城股票交易所的信號燈到報紙電話，再到如今的互聯網、雲計算、大數據，前沿技術迅速在投資領域落地。在股票策略中，大數據日益嶄露頭角。

做股票投資策略，需要的大數據可以分為結構化數據和非結構化數據。結構化數據，簡單說就是「一堆數字」，通常包括傳統量化分析中常用的CPI、PMI、市值、交易量等專業信息；非結構化數據就是社交文字、地理位置、用戶行為等「還沒有進行量化的信息」。

量化非結構化就是用深度模型替代簡單線性模型的過程，其中所涉及的技術包括自然語言處理、語音識別、圖像識別等。

金融大數據平台-通聯數據CEO王政表示，通聯數據採用的非結構化數據可以分為三類：第一類和人相關，包括社交言論、消費、去過的地點等；第二類與物相關，如通過正在行駛的船隻和貨車判斷物聯網情況；第三類則是衛星監測的環境信息，包括汽車流、港口裝載量、新的建築開工等情況。

衛星監測信息在美國已被投入使用，2014年Google斥資5億美元收購了衛星公司Skybox，從而可以獲得實施衛星監測信息。

結構化和非結構化數據也常常相互轉化。「結構化和非結構化數據可以形象理解成把所有數據裝在一個籃子里，根據應用策略不同相互轉化。例如，在搜索頻率調查中，用戶搜索就是結構化數據；在金融策略分析中，用戶搜索就是非結構化數據。」網路公司人士表示。

華爾街拿著豐厚薪水的分析師們還不知道，自己的僱主已經將大量資本投向了取代自己的機器。
2014年11月23日，高盛向Kensho公司投資1500萬美元，以支持該公司的大數據平台建設。該平台很像iPhone里的Siri，可以快速整合海量數據進行分析，並且回答投資者提出的各種金融問題，例如「下月有颶風，將對美國建材板塊造成什麼影響？」

在Kensho處理的信息中，有80%是「非結構化」數據，例如政策文件、自然事件、地理環境、科技創新等。這類信息通常是電腦和模型難以消化的。因此，Kensho的CEO Daniel Nadler認為，華爾街過去是基於20%的信息做出100%的決策。

既然說到高盛，順便提一下，這家華爾街老牌投行如今對大數據可謂青睞有加。除了Kensho，高盛還和Fortress信貸集團在兩年前投資了8000萬美元給小額融資平台On Deck Capital。這家公司的核心競爭力也是大數據，它利用大數據對中小企業進行分析，從而選出值得投資的企業並以很快的速度為之提供短期貸款。

捕捉市場情緒

上述諸多非結構化數據，歸根結底是為了獲得一個信息：市場情緒。

在采訪中，2013年諾貝爾經濟學獎得主羅伯特•席勒的觀點被無數采訪對象引述。可以說，大數據策略投資的創業者們無一不是席勒的信奉者。

席勒於上世紀80年代設計的投資模型至今仍被業內稱道。在他的模型中，主要參考三個變數：投資項目計劃的現金流、公司資本的估算成本、股票市場對投資的反應（市場情緒）。他認為，市場本身帶有主觀判斷因素，投資者情緒會影響投資行為，而投資行為直接影響資產價格。
然而，在大數據技術誕生之前，市場情緒始終無法進行量化。

回顧人類股票投資發展史，其實就是將影響股價的因子不斷量化的過程。

上世紀70年代以前，股票投資是一種定性的分析，沒有數據應用，而是一門主觀的藝術。隨著電腦的普及，很多人開始研究驅動股價變化的規律，把傳統基本面研究方法用模型代替，市盈率、市凈率的概念誕生，量化投資由此興起。

量化投資技術的興起也帶動了一批華爾街大鱷的誕生。例如，巴克萊全球投資者（BGI）在上世紀70年代就以其超越同行的電腦模型成為全球最大的基金管理公司；進入80年代，另一家基金公司文藝復興（Renaissance）年均回報率在扣除管理費和投資收益分成等費用後仍高達34%，堪稱當時最佳的對沖基金，之後十多年該基金資產亦十分穩定。

「從主觀判斷到量化投資，是從藝術轉為科學的過程。」王政表示，上世紀70年代以前一個基本面研究員只能關注20隻到50隻股票，覆蓋面很有限。有了量化模型就可以覆蓋所有股票，這就是一個大的飛躍。此外，隨著計算機處理能力的發展，信息的用量也有一個飛躍變化。過去看三個指標就夠了，現在看的指標越來越多，做出的預測越來越准確。

隨著21世紀的到來，量化投資又遇到了新的瓶頸，就是同質化競爭。各家機構的量化模型越來越趨同，導致投資結果同漲同跌。「能否在看到報表數據之前，用更大的數據尋找規律？」這是大數據策略創業者們試圖解決的問題。

於是，量化投資的多米諾骨牌終於觸碰到了席勒理論的第三層變數——市場情緒。

計算機通過分析新聞、研究報告、社交信息、搜索行為等，藉助自然語言處理方法，提取有用的信息；而藉助機器學習智能分析，過去量化投資只能覆蓋幾十個策略，大數據投資則可以覆蓋成千上萬個策略。

基於互聯網搜索數據和社交行為的經濟預測研究，已逐漸成為一個新的學術熱點，並在經濟、社會以及健康等領域的研究中取得了一定成果。在資本市場應用上，研究發現搜索數據可有效預測未來股市活躍度（以交易量指標衡量）及股價走勢的變化。

海外就有學術研究指出，公司的名稱或者相關關鍵詞的搜索量，與該公司的股票交易量正相關。德國科學家Tobias Preis就進行了如此研究：Tobias利用谷歌搜索引擎和谷歌趨勢（Google Trends），以美國標普500指數的500隻股票為其樣本，以2004年至2010年為觀察區間，發現谷歌趨勢數據的公司名稱搜索量和對應股票的交易量，在每周一次的時間尺度上有高度關聯性。也就是說，當某個公司名稱在谷歌的搜索量活動增加時，無論股票的價格是上漲或者下跌，股票成交量與搜索量增加；反之亦然，搜索量下降，股票成交量下降。以標普500指數的樣本股為基礎，依據上述策略構建的模擬投資組合在六年的時間內獲得了高達329%的累計收益。

在美國市場上，還有多家私募對沖基金利用Twitter和Facebook的社交數據作為反映投資者情緒和市場趨勢的因子，構建對沖投資策略。利用互聯網大數據進行投資策略和工具的開發已經成為世界金融投資領域的新熱點。

保羅·霍丁管理的對沖基金Derwent成立於2011年5月，注冊在開曼群島，初始規模約為4000萬美元， 2013年投資收益高達23.77%。該基金的投資標的包括流動性較好的股票及股票指數產品。
通聯數據董事長肖風在《投資革命》中寫道，Derwent的投資策略是通過實時跟蹤Twitter用戶的情緒，以此感知市場參與者的「貪婪與恐懼」，從而判斷市場漲跌來獲利。

在Derwent的網頁上可以看到這樣一句話：「用實時的社交媒體解碼暗藏的交易機會。」保羅·霍丁在基金宣傳冊中表示：「多年以來，投資者已經普遍接受一種觀點，即恐懼和貪婪是金融市場的驅動力。但是以前人們沒有技術或數據來對人類情感進行量化。這是第四維。Derwent就是要通過即時關注Twitter中的公眾情緒，指導投資。」

另一家位於美國加州的對沖基金MarketPsych與湯普森·路透合作提供了分布在119個國家不低於18864項獨立指數，比如每分鍾更新的心情狀態（包括樂觀、憂郁、快樂、害怕、生氣，甚至還包括創新、訴訟及沖突情況等），而這些指數都是通過分析Twitter的數據文本，作為股市投資的信號。

此類基金還在不斷涌現。金融危機後，幾個台灣年輕人在波士頓組建了一家名為FlyBerry的對沖基金，口號是「Modeling the World（把世界建模）」。它的投資理念全部依託大數據技術，通過監測市場輿論和行為，對投資做出秒速判斷。

關於社交媒體信息的量化應用，在股票投資之外的領域也很常見：Twitter自己也十分注重信息的開發挖掘，它與DataSift和Gnip兩家公司達成了一項出售數據訪問許可權的協議，銷售人們的想法、情緒和溝通數據，從而作為顧客的反饋意見匯總後對商業營銷活動的效果進行判斷。從事類似工作的公司還有DMetics，它通過對人們的購物行為進行分析，尋找影響消費者最終選擇的細微原因。

回到股票世界，利用社交媒體信息做投資的公司還有StockTwits。打開這家網站，首先映入眼簾的宣傳語是「看看投資者和交易員此刻正如何討論你的股票」。正如其名，這家網站相當於「股票界的Twitter」，主要面向分析師、媒體和投資者。它通過機器和人工相結合的手段，將關於股票和市場的信息整理為140字以內的短消息供用戶參考。

此外，StockTwits還整合了社交功能，並作為插件可以嵌入Twitter、Facebook和LinkedIn等主要社交平台，讓人們可以輕易分享投資信息。

另一家公司Market Prophit也很有趣。這家網站的宣傳語是「從社交媒體噪音中提煉市場信號」。和StockTwits相比，Market Prophit更加註重大數據的應用。它採用了先進的語義分析法，可以將Twitter里的金融對話量化為「-1（極度看空）」到「1（極度看多）」之間的投資建議。網站還根據語義量化，每天公布前十名和後十名的股票熱度榜單。網站還設計了「熱度地圖」功能，根據投資者情緒和意見，按照不同板塊，將板塊內的個股按照顏色深淺進行標注，誰漲誰跌一目瞭然。

中國原創大數據指數

盡管大數據策略投資在美國貌似炙手可熱，但事實上，其應用尚僅限於中小型對沖基金和創業平台公司。大數據策略投資第一次被大規模應用，應歸於中國的百發100。

網路金融中心相關負責人表示，與歐美等成熟資本市場主要由理性機構投資者構成相比，東亞尤其是中國的股票類證券投資市場仍以散戶為主，因此市場受投資者情緒和宏觀政策性因素影響很大。而個人投資者行為可以更多地反映在互聯網用戶行為大數據上，從而為有效地預測市場情緒和趨勢提供了可能。這也就是中國國內公募基金在應用互聯網大數據投資方面比海外市場並不落後、甚至領先的原因。

百發100指數由網路、中證指數公司、廣發基金聯合研發推出，於2014年7月8日正式對市場發布，實盤運行以來一路上漲，漲幅超過60%。跟蹤該指數的指數基金規模上限為30億份，2014年9月17日正式獲批，10月20日發行時一度創下26小時瘋賣18億份的「神話」。

外界都知道百發100是依託大數據的指數基金，但其背後的細節鮮為人知。

百發100數據層面的分析分為兩個層面，即數據工廠的數據歸集和數據處理系統的數據分析。其中數據工廠負責大數據的收集分析，例如將來源於互聯網的非結構化數據進行指標化、產品化等數據量化過程；數據處理系統，可以在數據工廠遞交的大數據中尋找相互統計關聯，提取有效信息，最終應用於策略投資。

「其實百發100是在傳統量化投資技術上融合了基於互聯網大數據的市場走勢和投資情緒判斷。」業內人士概括道。

和傳統量化投資類似，百發100對樣本股的甄選要考慮財務因子、基本面因子和動量因子，包括凈資產收益率（ROE）、資產收益率（ROA）、每股收益增長率（EPS）、流動負債比率、企業價值倍數（EV/EBITDA）、凈利潤同比增長率、股權集中度、自由流通市值以及最近一個月的個股價格收益率和波動率等。

此外，市場走勢和投資情緒是在傳統量化策略基礎上的創新產物，也是百發100的核心競爭力。接近網路的人士稱，市場情緒因子對百發100基金起決定性作用。

網路金融中心相關負責人是羅伯特•席勒觀點的支持者。他認為，投資者行為和情緒對資產價格、市場走勢有著巨大的影響。因此「通過互聯網用戶行為大數據反映的投資市場情緒、宏觀經濟預期和走勢，成為百發100指數模型引入大數據因子的重點」。

傳統量化投資主要著眼點在於對專業化金融市場基本面和交易數據的應用。但在網路金融中心相關業務負責人看來，無論是來源於專業金融市場的結構化數據，還是來源於互聯網的非結構化數據，都是可以利用的數據資源。因此，前文所述的市場情緒數據，包括來源於互聯網的用戶行為、搜索量、市場輿情、宏觀基本面預期等等，都被網路「變廢為寶」，從而通過互聯網找到投資者參與特徵，選出投資者關注度較高的股票。

「與同期滬深300指數的表現相較，百發100更能在股票市場振盪時期、行業輪動劇烈時期、基本面不明朗時期抓住市場熱點、了解投資者情緒、抗擊投資波動風險。」網路金融中心相關負責人表示。

百發100選取的100隻樣本股更換頻率是一個月，調整時間為每月第三周的周五。

業內人士指出，百發100指數的月收益率與中證100、滬深300、中證500的相關性依次提升，說明其投資風格偏向中小盤。

但事實並非如此。從樣本股的構成來說，以某一期樣本股為例，樣本股總市值6700億元，佔A股市值4.7%。樣本股的構成上，中小板21隻，創業板4隻，其餘75隻樣本股均為大盤股。由此可見，百發100還是偏向大盤為主、反映主流市場走勢。

樣本股每個月的改變比例都不同，最極端的時候曾經有60%進行了換倉。用大數據預測熱點變化，市場熱點往往更迭很快；但同時也要考慮交易成本。兩方面考慮，網路最後測算認為一個月換一次倉位為最佳。

樣本股對百發100而言是核心機密——據說「全世界只有基金經理和指數編制機構負責人兩個人知道」——都是由機器決定後，基金經理分配給不同的交易員建倉買入。基金經理也沒有改變樣本股的權利。

展望未來，網路金融中心相關負責人躊躇滿志，「百發100指數及基金的推出，只是我們的開端和嘗試，未來將形成多樣化、系列投資產品。」

除了百發100，目前市場上打著大數據旗幟的基金還有2014年9月推出的南方-新浪I100和I300指數基金。

南方-新浪I100和I300是由南方基金、新浪財經和深圳證券信息公司三方聯合編制的。和百發100類似，也是按照財務因子和市場情緒因子進行模型打分，按照分值將前100和前300名股票構成樣本股。推出至今，這兩個指數基金分別上漲了10%左右。

正如百發100的市場情緒因子來自網路，南方-新浪I100和I300的市場情緒因子全部來自新浪平台。其中包括用戶在新浪財經對行情的訪問熱度、對股票的搜索熱度；用戶在新浪財經對股票相關新聞的瀏覽熱度；股票相關微博的多空分析數據等。

此外，阿里巴巴旗下的天弘基金也有意在大數據策略上做文章。據了解，天弘基金將和阿里巴巴合作，推出大數據基金產品，最早將於2015年初問世。

天弘基金機構產品部總經理劉燕曾對媒體表示，「在傳統的調研上，大數據將貢獻於基礎資產的研究，而以往過度依賴線下研究報告。大數據將視野拓展至了線上的數據分析，給基金經理選股帶來新的邏輯。」

在BAT三巨頭中，騰訊其實是最早推出指數基金的。騰訊與中證指數公司、濟安金信公司合作開發的「中證騰安價值100指數」早在2013年5月就發布了，號稱是國內第一家由互聯網媒體與專業機構編制發布的A股指數。不過，業內人士表示，有關指數並沒有真正應用大數據技術。雖然騰訊旗下的微信是目前最熱的社交平台，蘊藏了大量的社交數據，但騰訊未來怎麼開發，目前還並不清晰。

大數據投資平台化

中歐商學院副教授陳威如在其《平台戰略》一書中提到，21世紀將成為一道分水嶺，人類商業行為將全面普及平台模式，大數據金融也不例外。

然而，由於大數據模型對成本要求極高，就好比不可能每家公司都搭建自己的雲計算系統一樣，讓每家機構自己建設大數據模型，從數據來源和處理技術方面看都是不現實的。業內人士認為，大數據未來必將成為平台化的服務。

目前，阿里、網路等企業都表示下一步方向是平台化。

螞蟻金服所致力搭建的平台，一方麵包括招財寶一類的金融產品平台，另一方麵包括雲計算、大數據服務平台。螞蟻金服人士說，「我們很清楚自己的優勢不是金融，而是包括電商、雲計算、大數據等技術。螞蟻金服希望用這些技術搭建一個基礎平台，把這些能力開放出去，供金融機構使用。」

網路亦是如此。接近網路的人士稱，未來是否向平台化發展，目前還在討論中，但可以確定的是，「網路不是金融機構，目的不是發產品，百發100的意義在於打造影響力，而非經濟效益。」
當BAT還在摸索前行時，已有嗅覺靈敏者搶佔了先機，那就是通聯數據。

通聯數據股份公司（DataYes）由曾任博時基金副董事長肖風帶隊創建、萬向集團投資成立，總部位於上海，公司願景是「讓投資更容易，用金融服務雲平台提升投資管理效率和投研能力」。該平台7月上線公測，目前已擁有130多家機構客戶，逾萬名個人投資者。

通聯數據目前有四個主要平台，分別是通聯智能投資研究平台、通聯金融大數據服務平台、通聯多資產投資管理平台和金融移動辦公平台。

通聯智能投資研究平台包括雅典娜-智能事件研究、策略研究、智能研報三款產品，可以對基於自然語言的智能事件進行策略分析，實時跟蹤市場熱點，捕捉市場情緒。可以說，和百發100類似，其核心技術在於將互聯網非結構化數據的量化使用。

通聯金融大數據服務平台更側重於專業金融數據的分析整理。它可以提供公司基本面數據、國內外主要證券、期貨交易所的行情數據、公司公告數據、公關經濟、行業動態的結構化數據、金融新聞和輿情的非結構化數據等。

假如將上述兩個平台比作「收割機」，通聯多資產投資管理平台就是「廚房」。在這個「廚房」里，可以進行全球跨資產的投資組合管理方案、訂單管理方案、資產證券化定價分析方案等。

通聯數據可以按照主題熱點或者自定義關鍵字進行分析，構建知識圖譜，將相關的新聞和股票提取做成簡潔的分析框架。例如用戶對特斯拉感興趣，就可以通過主題熱點看到和特斯拉相關的公司，並判斷這個概念是否值得投資。「過去這個搜集過程要花費幾天時間，現在只需要幾分鍾就可以完成。」王政表示。

「通聯數據就好比一家餐館，我們把所有原料搜集來、清洗好、准備好，同時准備了一個鍋，也就是大數據存儲平台。研究員和基金經理像廚師一樣，用原料、工具去『烹制』自己的策略。」王政形容道。

大數據在平台上扮演的角色，就是尋找關聯關系。人類總是習慣首先構建因果關系，繼而去倒推和佐證。機器學習則不然，它可以在海量數據中查獲超越人類想像的關聯關系。正如維克托`邁爾-舍恩伯格在《大數據時代》中所提到的，社會需要放棄它對因果關系的渴求，而僅需關注相互關系。

例如，美國超市沃爾瑪通過大數據分析，發現颶風用品和蛋撻擺在一起可以提高銷量，並由此創造了頗大的經濟效益。如果沒有大數據技術，誰能將這毫無關聯的兩件商品聯系在一起？
通聯數據通過機器學習，也能找到傳統量化策略無法發現的市場聯系。其中包括各家公司之間的資本關系、產品關系、競爭關系、上下游關系，也包括人與人之間的關系，例如管理團隊和其他公司有沒有關聯，是否牽扯合作等。

未來量化研究員是否將成為一個被淘汰的職業？目前研究員的主要工作就是收集整理數據，變成投資決策，而之後這個工作將更多由機器完成。

「當初醫療科技發展時，人們也認為醫生會被淘汰，但其實並不會。同理，研究員也會一直存在，但他們會更注重深入分析和調研，初級的數據搜集可以交給機器完成。」王政表示。
但當未來大數據平台並廣泛應用後，是否會迅速擠壓套利空間？這也是一個問題。回答根據網上資料整理

『玖』 最近學金融，好多知識看不懂啊::>_<:: 請結合大數據的理念對數據分析和數據挖掘能在金融市場的

首先是通過大數據可以分析客戶的個人信息，收入，風險偏好等，可以推薦相應的金融產品，如果哪些年齡段和工作的人群適合基金，保險和其它有價證券；
其次是金融產品的開發上，主要有保險產品和一些其它產品，通過發病率，災情概率等進行精算，開發出保險產品，一些其它的金融新產品也會涉及到數據分析；
再次是金融產品的定價及投資分析上，很多因素都會影響金融產品，如股票，期貨，現貨等，通過數據挖掘，找出其影響因素，進行價格分析。
大數據和數據挖掘主要有這幾方面的應用，當然還有其它的方面，很多論述金融與數據分析的書中有很多的，可以進一步研究，還望採納。

『拾』 請問數據挖掘在證券投資分析中的應用

證券股票的趨勢，股票關聯等