① 鎬庝箞鐪嬪摢涓鑲＄エ鐨勬敹鐩婏紙鑲＄エ鏀剁泭鍒嗘瀽鏂規硶璇﹁В錛
鏈鏂囧皢璇︾粏浠嬬粛鑲＄エ鏀剁泭鍒嗘瀽鏂規硶錛屽府鍔╄昏呬簡瑙ｅ備綍鐪嬪摢涓鑲＄エ鐨勬敹鐩娿
鑲＄エ鏀剁泭鏄鎸囪偂紲ㄥ湪涓瀹氭椂闂村唴鎵鑾峰緱鐨勭泩鍒┿傝偂紲ㄦ敹鐩婂彲浠ュ垎涓轟袱縐嶈祫鏈鏀剁泭鍜岃偂鎮鏀剁泭銆傝祫鏈鏀剁泭鏄鎸囪偂紲ㄤ環鏍間笂娑ㄦ墍甯︽潵鐨勬敹鐩婏紝鑰岃偂鎮鏀剁泭鍒欐槸鎸囪偂紲ㄥ垎綰㈡墍甯︽潵鐨勬敹鐩娿傝偂紲ㄦ敹鐩婂垎鏋愭槸閫氳繃瀵硅偂紲ㄧ殑鍘嗗彶浠鋒牸鍜屽垎綰㈡暟鎹榪涜屽垎鏋愶紝
鑲＄エ鏀剁泭鍒嗘瀽鏄鑲＄エ鎶曡祫棰嗗煙鐨勫熀紜鐭ヨ瘑涔嬩竴錛岄殢鐫鑲＄エ甯傚満鐨勫彂灞曞拰鎶曡祫鑰呭硅偂紲ㄦ敹鐩婄殑鍏蟲敞搴﹀炲姞錛岃偂紲ㄦ敹鐩婂垎鏋愭柟娉曚篃涓嶆柇瀹屽杽銆傜幇浠ｈ偂紲ㄦ敹鐩婂垎鏋愭柟娉曞寘鎷鍩烘湰闈㈠垎鏋愩佹妧鏈鍒嗘瀽銆侀噺鍖栧垎鏋愮瓑銆
鐗瑰緛涓庣壒鐐
鑲＄エ鏀剁泭鍒嗘瀽鏂規硶鍏鋒湁浠ヤ笅鐗圭偣
1.鍩烘湰闈㈠垎鏋愭槸閫氳繃瀵瑰叕鍙哥殑璐㈠姟鏁版嵁銆佺粡钀ョ幆澧冪瓑鍩烘湰闈㈠洜緔犺繘琛屽垎鏋愶紝
2.鎶鏈鍒嗘瀽鏄閫氳繃瀵硅偂紲ㄤ環鏍肩殑鍘嗗彶璧板娍榪涜屽垎鏋愶紝鏉ラ勬祴鑲＄エ鏈鏉ョ殑璧板娍銆
3.閲忓寲鍒嗘瀽鏄閫氳繃瀵瑰ぇ閲忔暟鎹榪涜屽垎鏋愶紝
4.鑲＄エ鏀剁泭鍒嗘瀽鏂規硶鍏鋒湁涓瀹氱殑涓昏傛э紝闇瑕佹姇璧勮呭叿澶囦竴瀹氱殑涓撲笟鐭ヨ瘑鍜岀粡楠屻
鑲＄エ鏀剁泭鍒嗘瀽鏂規硶騫挎硾搴旂敤浜庤偂紲ㄦ姇璧勯嗗煙錛屽寘鎷鑲＄エ鎶曡祫鑰呫佸熀閲戠粡鐞嗐佽瘉鍒稿垎鏋愬笀絳夈傛姇璧勮呭彲浠ラ氳繃鑲＄エ鏀剁泭鍒嗘瀽鏂規硶鏉ラ夋嫨鍏鋒湁娼滃姏鐨勮偂紲ㄨ繘琛屾姇璧勩
鑲＄エ鏀剁泭鍒嗘瀽鏄鑲＄エ鎶曡祫棰嗗煙鐨勯噸瑕佺爺絀舵柟鍚戜箣涓錛岀洰鍓嶅凡緇忓艦鎴愪簡涓濂楀畬鏁寸殑鐞嗚烘嗘灦鍜岀爺絀舵柟娉曘傞殢鐫澶ф暟鎹鍜屼漢宸ユ櫤鑳芥妧鏈鐨勫彂灞曪紝鑲＄エ鏀剁泭鍒嗘瀽鏂規硶涔熷湪涓嶆柇鍦版洿鏂板拰瀹屽杽銆
灞曟湜涓庡彂灞
鏈鏉ワ紝鑲＄エ鏀剁泭鍒嗘瀽鏂規硶灝嗕細鏇村姞娉ㄩ噸鏁版嵁鐨勬寲鎺樺拰鍒嗘瀽錛屼互鍙婂規湭鏉ュ競鍦鴻秼鍔跨殑棰勬祴銆傚悓鏃訛紝闅忕潃縐戞妧鐨勫彂灞曪紝鑲＄エ鏀剁泭鍒嗘瀽鏂規硶涔熷皢涓嶆柇鍦版洿鏂板拰瀹屽杽錛屼負鎶曡祫鑰呮彁渚涙洿鍑嗙『鐨勬姇璧勫緩璁銆
② 基於微信大數據的股票預測研究
基於微信大數據的股票預測研究
大數據是近些年來的熱門話題，無論國際上還是國內，影響很大。經濟學、政治學、社會學和許多科學門類都會發生巨大甚至是本質上的變化和發展，進而影響人類的價值體系、知識體系和生活方式。而全球經濟目前生成了史無前例的大量數據，如果把每天產生的大量數據比作神話時期的大洪水是完全正確的，這個數據洪流是我們前所未見的，他是全新的、強大的、當然，也是讓人恐慌但又極端刺激的。
而我所分享的話題，正是在互聯網環境下，如何利用大數據技術，進行股票預測的研究。–今天，我想分享我認為有意義的四點。
1.大數據下的商業預測
根據大數據，我們可以有效地進行故障、人流、流量、用電量、股票市場、疾病預防、交通、食物配送、產業供需等方面的預測。而本文我們所關心的內容是股票市場的預測。
大數據的核心是預測，預測依賴於對數據的分析。那麼分析的方法是否是基於隨機采樣的結果而設計的，這樣的分析方法是否會有誤差？
從傳統認識上，由於資源和科技的局限，如人和計算資源受限、從計算機處理能力來講無法處理全部數據來獲取人們所關注的結果。因此隨機采樣應運而生，通過所選取的個體來代表全體，如使用隨機抽取的方式來使得推論結果更科學。但既然提到了大數據，它是資源發展到一定程度、以及技術發展到一定階段產生的一個新的認識。如同電力的出現，使人類進入了一個快速發展階段，大數據也一樣，它的含義是全體樣本，從整體樣本來做推論。在本文大數據的含義是所有股票在整個社交網路上的流動信息，從數據源上講，本文沒有採用所有社交網路上的數據，只分析了微信這個最具代表性的社交媒體作為信息源。
互動數據能反映用戶情緒，搜索數據能反映用戶的關注點和意圖，在股市預測時這兩種數據哪種更具有參考價值？
我認為都有價值，互動數據反映了用戶對某一特定股票的喜好和厭惡，可以簡單描述為對該股票的操作是繼續持有還是賣出；而搜索數據則代表用戶在收集該股票信息的過程，它是關注度的概念，某隻股票搜索度高則意味著消息的影響力大。互動代表著方向，搜索代表著振幅。
我們知道這兩種數據得出的結論會有差異，您是如何平衡這兩種數據反映的情況來進行預測的？
正如上一個問題里提到的，如果是股票推薦，買進賣出等原則問題，則應該考慮互動數據，但如果已經買到手了，搜索數據可以提供一個幅度的概念，類似債券評級A級、AA級、AAA級等，供投資者參考，因為不同投資者對風險的承受度是不同的。
將股票和市場的消息整理成140字的短消息發布，是否意味著主要發布渠道是微博？現在微信公眾號很火，有沒有考慮通過這個渠道也發布消息？
事實上，信息傳播的方式很多，微信作為新媒體當然影響力不容小覷，但目前技術投入最小的還是郵件、簡訊等方式，未來會考慮使用公眾號來推送股票和市場消息。
如果在未來通過微信公眾號推送消息，那麼推送的消息會不會作為數據來源被再次採集？這會有多大的影響？
會被採集，但互聯網上的每日關於個股的信息數量會達到很大，該推送會增加推薦股票1點權重，每隻股票的權重成百上千，因此影響極小。
數據來源是微信公眾號，除了准確性的考慮之外，是否還考慮過這樣收集數據會較少觸犯個人隱私？
從法律角度來看，搜索微信或其他個人聊天記錄，是侵犯個人隱私權的，因此如果騰訊開放了這樣的介面，每個公民都可以對這樣的行為進行投訴、抗議、甚至進行法律起訴直至其改正過錯、賠償損失的。
這樣是否意味著即使存在違法的行為，其結果也是由騰訊來承擔，而我們作為數據的使用方不需要承擔任何法律責任？
在整個社會，我們作為系統技術提供方，應恪守大數據的倫理道德，遵守國家法律，如侵犯個人隱私，系統不會採集，谷歌有一句座右銘「谷歌不作惡」，本文提到的系統也一樣。
2.基於大數據進行股票推薦實驗
股票的及時度反應了微信文章所發布的時效性，及時度越高，數據價值就越大。
股票的熱度反應了當前某隻股票被關注的頻度，關注頻度越大，上漲的可能性越高。
數據的完整性：我們採用循環的方式對所有深滬兩地發行約2236隻股票（創業版除外）在微信搜索網站上的搜索結果進行保存。
數據的一致性：文件格式由負責保存數據文件的程序決定，單一的流程保障了文件的一致性。
數據的准確性：由於所分析的訂閱號文章的是由微信公共平台的公眾號所提供，在一定程度上杜絕了虛假消息對於預測系統的破壞。
數據的及時性：考慮到磁碟讀寫以及採集程序所處的網路帶寬，以及搜索引擎對於採集程序的屏蔽，程序中採集兩條信息之間間隔了5秒，因此理論上11180秒（3.1個小時）可收集完當日推薦所需要的數據。對於每個交易日，在9點-9點30分之間採集所有數據，需要7台以上的設備可達到最佳效果。本次試驗受限於試驗設備，在一台設備上，交易日每天早六時開始進行數據採集，也滿足及時性要求。
數據分析：查看三個高優先順序的股票，該股票當日的開盤價與收盤價，再與當日（2015-4-8）上證綜指進行比較，可得在收益上該演算法是優於上證綜指為樣本的整體股票的股價差收益的。
實驗結論：按照上述方式，系統每天推薦出當日股票，在開盤時進行買進，在第二個交易日進行賣出。經過一個月21個交易日（2015-3-1至2015-3-31），系統的收益為20%/月。通過微信搜索公眾號來預測市場走勢和投資情緒呈現出正相關性，因此可以作為股票甄選的因子。
3.股票預測的大數據發展趨勢
網路數據分成三種：
一是瀏覽數據，主要用於電商領域的消費者行為分析，瀏覽數據反映了用戶每一步的訪問腳步，進一步刻畫出用戶的訪問路徑，分析不同頁面的跳轉概率等。
二是搜索數據，主要指搜索引擎記錄的關鍵詞被搜索頻次的時間序列數據，能反映數億用戶的興趣、關注點、意圖。
三是互動數據，主要是微博、微信、社交網站的數據，反映用戶的傾向性和情緒因素。
2013年諾貝爾經濟學獎得主羅伯特?席勒的觀點被無數采訪對象引述。席勒於上世紀80年代設計的投資模型至今仍被業內稱道。在他的模型中，主要參考三個變數：投資項目計劃的現金流、公司資本的估算成本、股票市場對投資的反應（市場情緒）。他認為，市場本身帶有主觀判斷因素，投資者情緒會影響投資行為，而投資行為直接影響資產價格。
計算機通過分析新聞、研究報告、社交信息、搜索行為等，藉助自然語言處理方法，提取有用的信息；而藉助機器學習智能分析，過去量化投資只能覆蓋幾十個策略，大數據投資則可以覆蓋成千上萬個策略。
基於互聯網搜索數據和社交行為的經濟預測研究，已逐漸成為一個新的學術熱點，並在經濟、社會以及健康等領域的研究中取得了一定成果。在資本市場應用上，研究發現搜索數據可有效預測未來股市活躍度（以交易量指標衡量）及股價走勢的變化。
對於搜索數據：互聯網搜索行為與股票市場的關聯機理。這個研究屬於行為金融與互聯網的交叉領域，其原理是：股票量價調整是投資者行為在股票市場上的反應；與此同時，投資者行為在互聯網搜索市場也有相應地行為跡象，我們要做到是：找到互聯網搜索市場中領先於股票交易的行為指標，綜合眾多投資者的先行搜索指標，對未來的股票交易做出預判。
如同天氣預報那樣，不斷優化模型、灌入海量信息，然後給出結果。並且在處理的信息中，有80%是「非結構化」數據，例如政策文件、自然事件、地理環境、科技創新等，這類信息通常是電腦和模型難以消化的。採用了語義分析法，可以將互動數據里的金融對話量化為「-1（極度看空）」到「1（極度看多）」之間的投資建議，通過分析互動數據的數據文本，作為股市投資的信號。
4.正在發生的未來
大數據並不是一個充斥著演算法和機器的冰冷世界，人類的作用依然無法被完全替代。大數據為我們提供的不是最終答案，只是參考答案，幫助是暫時的，而更好的方法和答案還在不久的將來。
大數據在實用層面的影響很廣泛，解決了大量的日常問題。大數據更是利害攸關的，它將重塑我們的生活、工作和思維方式。在某些方面，我們面臨著一個僵局，比其他劃時代創新引起的社會信息范圍和規模急劇擴大所帶來的影響更大。我們腳下的地面在移動。過去確定無疑的事情正在受到質疑。大數據需要人們重新討論決策、命運和正義的性質。擁有知識曾意味著掌握過去，現在則意味著能夠預測未來。
大數據並不是一個充斥著演算法和機器的冰冷世界，其中仍需要人類扮演重要角色。人類獨有的弱點、錯覺、錯誤都是十分必要的，因為這些特性的另一頭牽著的是人類的創造力、直覺和天賦。這提示我們應該樂於接受類似的不準確，因為不準確正是我們之所以為人的特徵之一。就好像我們學習處理混亂數據一樣，因為這些數據服務的是更加廣大的目標。必將混亂構成了世界的本質，也構成了人腦的本職，而無論是世界的混亂還是人腦的混亂，學會接受和應用他們才能得益。
我相信，利用基礎數據、搜索數據、互動數據再進行加權計算，可以對所有股票進行大數據遴選，從而給出投資建議。我認為，我們的肉身剛剛步入大數據時代，但我們的精神還滯留在小數據、采樣思維之中，率先用理性擊碎固有思維的人，也將率先獲得大數據帶來的益處。
③ 如何用爬蟲抓取股市數據並生成分析報表
1. 關於數據採集
股票數據是一種標准化的結構數據，是可以通過API介面訪問的（不過一般要通過渠道，開放的API有一定的局限性）。也可以通過爬蟲軟體進行採集，但是爬蟲軟體採集數據不能保證實時性，根據數據量和採集周期，可能要延遲幾十秒到幾分鍾不等。我們總結了一套專業的爬蟲技術解決方案(Ruby + Sidekiq)。能夠很快實現這個採集，也可以後台可視化調度任務。
2. 關於展現
網路股票數據的展現，網頁端直接通過HTML5技術就已經足夠，如果對界面要求高一點，可以採用集成前端框架，如Bootstrap；如果針對移動端開發， 可以使用Ionic框架。
3. 關於觸發事件
如果是採用Ruby on Rails的開發框架的話，倒是很方便了，有如sidekiq, whenever這樣子的Gem直接實現任務管理和事件觸發。
④ 澶ф暟鎹鍒嗘瀽鏂規硶鏈夊摢浜
澶ф暟鎹鍒嗘瀽鏂規硶涓昏佸寘鎷鎻忚堪鎬у垎鏋愩侀勬祴鎬у垎鏋愩佽勮寖鎬у垎鏋愬拰璇婃柇鎬у垎鏋愩
鎻忚堪鎬у垎鏋涓昏佹槸瀵瑰凡緇忔敹闆嗗埌鐨勬暟鎹榪涜屾葷粨鍜屽綊綰籌紝灞曠ず鏁版嵁鐨勫熀鏈鐗瑰緛鍜岃秼鍔匡紝渚嬪傚鉤鍧囧箋佷腑浣嶆暟銆佹ā寮忓拰棰戠巼絳夈傝繖縐嶅垎鏋愬府鍔╂垜浠鐞嗚В榪囧幓鍜岀幇鍦ㄥ彂鐢熶簡浠涔堬紝鏄澶ф暟鎹鍒嗘瀽鐨勫熀紜姝ラゃ
棰勬祴鎬у垎鏋鍒╃敤緇熻℃ā鍨嬪拰鏈哄櫒瀛︿範鎶鏈錛屽熀浜庡巻鍙叉暟鎹棰勬祴鏈鏉ュ彲鑳藉彂鐢熺殑浜嬩歡銆備緥濡傦紝閿鍞棰勬祴銆佽偂紲ㄥ競鍦鴻蛋鍔塊勬祴絳夈傞勬祴鎬у垎鏋愰氳繃璇嗗埆鏁版嵁涓鐨勬ā寮忓拰瓚嬪娍錛屼負鍐崇瓥鑰呮彁渚涘叧浜庢湭鏉ョ殑棰勬湡銆
瑙勮寖鎬у垎鏋鏇磋繘涓姝ワ紝涓嶄粎棰勬祴鏈鏉ワ紝榪樻彁鍑轟紭鍖栫瓥鐣ャ傚畠浣跨敤澶嶆潅鐨勭畻娉曪紝濡傛ā鎷熴佷紭鍖栧拰浜哄伐鏅鴻兘錛屾潵紜瀹氭渶浣沖喅絳栬礬寰勩傛瘮濡傚湪渚涘簲閾劇＄悊涓錛岃勮寖鎬у垎鏋愬彲浠ュ緩璁浣曟椂銆佷綍鍦頒互鍙婂備綍鍒嗛厤璧勬簮浠ユ渶澶у寲鏁堢巼銆
璇婃柇鎬у垎鏋鍒欏叧娉ㄦ暟鎹鑳屽悗鐨“涓轟粈涔”銆傚畠閫氳繃娣卞叆鎺㈢┒鏁版嵁錛屾壘鍑洪棶棰樼殑鍘熷洜錛屽府鍔╂垜浠鐞嗚В浜嬩歡鍙戠敓鐨勫師鍥犲拰鏈哄埗銆傝繖鏈夊姪浜庝紒涓氳瘑鍒闂棰橈紝鍒跺畾瑙ｅ喅闂棰樼殑絳栫暐銆
榪欏洓縐嶅垎鏋愭柟娉曞湪澶ф暟鎹鍦烘櫙涓鐩鎬簰閰嶅悎錛屼負浼佷笟鎻愪緵鍏ㄩ潰鐨勬礊瀵燂紝鏀鎸佹洿鏄庢櫤鐨勫喅絳栵紝騫墮┍鍔ㄤ笟鍔″壋鏂板拰浼樺寲銆