1. 大數據能不能預測股市
隨著人們生活水平的提高,經濟的發展,人們的口袋也開始慢慢變得富裕起來,身邊也就有了一點小錢,就開始尋思著如何做做投資,讓自己的閑錢為自己生錢。所以便有了各種各樣的投資理財方式,其中最為普遍的就是投資股票市場。
隨著股票市場的日趨完善,人們接觸股市次數的增加,便有了各種各樣分析股市的方法,其中有些有一定的作用,而有些是毫無意義的。那麼你說的大數據能不能預測股市這個問題,我的答案是肯定的,可以,但是並非十分准確。首先,你要知道你所謂的大數據,是個常人無法統計的數據,一般如果沒有從事股票投資市場很多年,並且時刻用心無記錄以往的各類事件所導致的股價的異動的話,你所謂的大數據基本就不算合格的,所以就很可能沒有用處。再者,股票市場千變萬化,不是單單一些數據就能解決的,要是這么容易,股市還能有人那麼容易數錢嗎。股票莊家不會那麼傻,讓你看清楚他們的出牌套路,所以用大數據來預測股市,我覺得有用,但是作用性不是很大,准確性也不是很大,想要真正預測股市,除了需要收集大數據作為參考之外,還需要多學習看盤技術,留意國內各大財經報道以及國外外盤的影響。
炒股不是件容易的事情,想要炒好股票,沒那麼容易,這需要你的日積月累的經驗以及對問題的敏感程度,所以大數據的預測只能作為一種輔助用,不能起決定性作用。
2. 基於微信大數據的股票預測研究
基於微信大數據的股票預測研究
大數據是近些年來的熱門話題,無論國際上還是國內,影響很大。經濟學、政治學、社會學和許多科學門類都會發生巨大甚至是本質上的變化和發展,進而影響人類的價值體系、知識體系和生活方式。而全球經濟目前生成了史無前例的大量數據,如果把每天產生的大量數據比作神話時期的大洪水是完全正確的,這個數據洪流是我們前所未見的,他是全新的、強大的、當然,也是讓人恐慌但又極端刺激的。
而我所分享的話題,正是在互聯網環境下,如何利用大數據技術,進行股票預測的研究。–今天,我想分享我認為有意義的四點。
1.大數據下的商業預測
根據大數據,我們可以有效地進行故障、人流、流量、用電量、股票市場、疾病預防、交通、食物配送、產業供需等方面的預測。而本文我們所關心的內容是股票市場的預測。
大數據的核心是預測,預測依賴於對數據的分析。那麼分析的方法是否是基於隨機采樣的結果而設計的,這樣的分析方法是否會有誤差?
從傳統認識上,由於資源和科技的局限,如人和計算資源受限、從計算機處理能力來講無法處理全部數據來獲取人們所關注的結果。因此隨機采樣應運而生,通過所選取的個體來代表全體,如使用隨機抽取的方式來使得推論結果更科學。但既然提到了大數據,它是資源發展到一定程度、以及技術發展到一定階段產生的一個新的認識。如同電力的出現,使人類進入了一個快速發展階段,大數據也一樣,它的含義是全體樣本,從整體樣本來做推論。在本文大數據的含義是所有股票在整個社交網路上的流動信息,從數據源上講,本文沒有採用所有社交網路上的數據,只分析了微信這個最具代表性的社交媒體作為信息源。
互動數據能反映用戶情緒,搜索數據能反映用戶的關注點和意圖,在股市預測時這兩種數據哪種更具有參考價值?
我認為都有價值,互動數據反映了用戶對某一特定股票的喜好和厭惡,可以簡單描述為對該股票的操作是繼續持有還是賣出;而搜索數據則代表用戶在收集該股票信息的過程,它是關注度的概念,某隻股票搜索度高則意味著消息的影響力大。互動代表著方向,搜索代表著振幅。
我們知道這兩種數據得出的結論會有差異,您是如何平衡這兩種數據反映的情況來進行預測的?
正如上一個問題里提到的,如果是股票推薦,買進賣出等原則問題,則應該考慮互動數據,但如果已經買到手了,搜索數據可以提供一個幅度的概念,類似債券評級A級、AA級、AAA級等,供投資者參考,因為不同投資者對風險的承受度是不同的。
將股票和市場的消息整理成140字的短消息發布,是否意味著主要發布渠道是微博?現在微信公眾號很火,有沒有考慮通過這個渠道也發布消息?
事實上,信息傳播的方式很多,微信作為新媒體當然影響力不容小覷,但目前技術投入最小的還是郵件、簡訊等方式,未來會考慮使用公眾號來推送股票和市場消息。
如果在未來通過微信公眾號推送消息,那麼推送的消息會不會作為數據來源被再次採集?這會有多大的影響?
會被採集,但互聯網上的每日關於個股的信息數量會達到很大,該推送會增加推薦股票1點權重,每隻股票的權重成百上千,因此影響極小。
數據來源是微信公眾號,除了准確性的考慮之外,是否還考慮過這樣收集數據會較少觸犯個人隱私?
從法律角度來看,搜索微信或其他個人聊天記錄,是侵犯個人隱私權的,因此如果騰訊開放了這樣的介面,每個公民都可以對這樣的行為進行投訴、抗議、甚至進行法律起訴直至其改正過錯、賠償損失的。
這樣是否意味著即使存在違法的行為,其結果也是由騰訊來承擔,而我們作為數據的使用方不需要承擔任何法律責任?
在整個社會,我們作為系統技術提供方,應恪守大數據的倫理道德,遵守國家法律,如侵犯個人隱私,系統不會採集,谷歌有一句座右銘「谷歌不作惡」,本文提到的系統也一樣。
2.基於大數據進行股票推薦實驗
股票的及時度反應了微信文章所發布的時效性,及時度越高,數據價值就越大。
股票的熱度反應了當前某隻股票被關注的頻度,關注頻度越大,上漲的可能性越高。
數據的完整性:我們採用循環的方式對所有深滬兩地發行約2236隻股票(創業版除外)在微信搜索網站上的搜索結果進行保存。
數據的一致性:文件格式由負責保存數據文件的程序決定,單一的流程保障了文件的一致性。
數據的准確性:由於所分析的訂閱號文章的是由微信公共平台的公眾號所提供,在一定程度上杜絕了虛假消息對於預測系統的破壞。
數據的及時性:考慮到磁碟讀寫以及採集程序所處的網路帶寬,以及搜索引擎對於採集程序的屏蔽,程序中採集兩條信息之間間隔了5秒,因此理論上11180秒(3.1個小時)可收集完當日推薦所需要的數據。對於每個交易日,在9點-9點30分之間採集所有數據,需要7台以上的設備可達到最佳效果。本次試驗受限於試驗設備,在一台設備上,交易日每天早六時開始進行數據採集,也滿足及時性要求。
數據分析:查看三個高優先順序的股票,該股票當日的開盤價與收盤價,再與當日(2015-4-8)上證綜指進行比較,可得在收益上該演算法是優於上證綜指為樣本的整體股票的股價差收益的。
實驗結論:按照上述方式,系統每天推薦出當日股票,在開盤時進行買進,在第二個交易日進行賣出。經過一個月21個交易日(2015-3-1至2015-3-31),系統的收益為20%/月。通過微信搜索公眾號來預測市場走勢和投資情緒呈現出正相關性,因此可以作為股票甄選的因子。
3.股票預測的大數據發展趨勢
網路數據分成三種:
一是瀏覽數據,主要用於電商領域的消費者行為分析,瀏覽數據反映了用戶每一步的訪問腳步,進一步刻畫出用戶的訪問路徑,分析不同頁面的跳轉概率等。
二是搜索數據,主要指搜索引擎記錄的關鍵詞被搜索頻次的時間序列數據,能反映數億用戶的興趣、關注點、意圖。
三是互動數據,主要是微博、微信、社交網站的數據,反映用戶的傾向性和情緒因素。
2013年諾貝爾經濟學獎得主羅伯特?席勒的觀點被無數采訪對象引述。席勒於上世紀80年代設計的投資模型至今仍被業內稱道。在他的模型中,主要參考三個變數:投資項目計劃的現金流、公司資本的估算成本、股票市場對投資的反應(市場情緒)。他認為,市場本身帶有主觀判斷因素,投資者情緒會影響投資行為,而投資行為直接影響資產價格。
計算機通過分析新聞、研究報告、社交信息、搜索行為等,藉助自然語言處理方法,提取有用的信息;而藉助機器學習智能分析,過去量化投資只能覆蓋幾十個策略,大數據投資則可以覆蓋成千上萬個策略。
基於互聯網搜索數據和社交行為的經濟預測研究,已逐漸成為一個新的學術熱點,並在經濟、社會以及健康等領域的研究中取得了一定成果。在資本市場應用上,研究發現搜索數據可有效預測未來股市活躍度(以交易量指標衡量)及股價走勢的變化。
對於搜索數據:互聯網搜索行為與股票市場的關聯機理。這個研究屬於行為金融與互聯網的交叉領域,其原理是:股票量價調整是投資者行為在股票市場上的反應;與此同時,投資者行為在互聯網搜索市場也有相應地行為跡象,我們要做到是:找到互聯網搜索市場中領先於股票交易的行為指標,綜合眾多投資者的先行搜索指標,對未來的股票交易做出預判。
如同天氣預報那樣,不斷優化模型、灌入海量信息,然後給出結果。並且在處理的信息中,有80%是「非結構化」數據,例如政策文件、自然事件、地理環境、科技創新等,這類信息通常是電腦和模型難以消化的。採用了語義分析法,可以將互動數據里的金融對話量化為「-1(極度看空)」到「1(極度看多)」之間的投資建議,通過分析互動數據的數據文本,作為股市投資的信號。
4.正在發生的未來
大數據並不是一個充斥著演算法和機器的冰冷世界,人類的作用依然無法被完全替代。大數據為我們提供的不是最終答案,只是參考答案,幫助是暫時的,而更好的方法和答案還在不久的將來。
大數據在實用層面的影響很廣泛,解決了大量的日常問題。大數據更是利害攸關的,它將重塑我們的生活、工作和思維方式。在某些方面,我們面臨著一個僵局,比其他劃時代創新引起的社會信息范圍和規模急劇擴大所帶來的影響更大。我們腳下的地面在移動。過去確定無疑的事情正在受到質疑。大數據需要人們重新討論決策、命運和正義的性質。擁有知識曾意味著掌握過去,現在則意味著能夠預測未來。
大數據並不是一個充斥著演算法和機器的冰冷世界,其中仍需要人類扮演重要角色。人類獨有的弱點、錯覺、錯誤都是十分必要的,因為這些特性的另一頭牽著的是人類的創造力、直覺和天賦。這提示我們應該樂於接受類似的不準確,因為不準確正是我們之所以為人的特徵之一。就好像我們學習處理混亂數據一樣,因為這些數據服務的是更加廣大的目標。必將混亂構成了世界的本質,也構成了人腦的本職,而無論是世界的混亂還是人腦的混亂,學會接受和應用他們才能得益。
我相信,利用基礎數據、搜索數據、互動數據再進行加權計算,可以對所有股票進行大數據遴選,從而給出投資建議。我認為,我們的肉身剛剛步入大數據時代,但我們的精神還滯留在小數據、采樣思維之中,率先用理性擊碎固有思維的人,也將率先獲得大數據帶來的益處。
3. 澶ф暟鎹鍒嗘瀽鏂規硶鏈夊摢浜
澶ф暟鎹鍒嗘瀽鏂規硶涓昏佸寘鎷鎻忚堪鎬у垎鏋愩侀勬祴鎬у垎鏋愩佽勮寖鎬у垎鏋愬拰璇婃柇鎬у垎鏋愩
鎻忚堪鎬у垎鏋涓昏佹槸瀵瑰凡緇忔敹闆嗗埌鐨勬暟鎹榪涜屾葷粨鍜屽綊綰籌紝灞曠ず鏁版嵁鐨勫熀鏈鐗瑰緛鍜岃秼鍔匡紝渚嬪傚鉤鍧囧箋佷腑浣嶆暟銆佹ā寮忓拰棰戠巼絳夈傝繖縐嶅垎鏋愬府鍔╂垜浠鐞嗚В榪囧幓鍜岀幇鍦ㄥ彂鐢熶簡浠涔堬紝鏄澶ф暟鎹鍒嗘瀽鐨勫熀紜姝ラゃ
棰勬祴鎬у垎鏋鍒╃敤緇熻℃ā鍨嬪拰鏈哄櫒瀛︿範鎶鏈錛屽熀浜庡巻鍙叉暟鎹棰勬祴鏈鏉ュ彲鑳藉彂鐢熺殑浜嬩歡銆備緥濡傦紝閿鍞棰勬祴銆佽偂紲ㄥ競鍦鴻蛋鍔塊勬祴絳夈傞勬祴鎬у垎鏋愰氳繃璇嗗埆鏁版嵁涓鐨勬ā寮忓拰瓚嬪娍錛屼負鍐崇瓥鑰呮彁渚涘叧浜庢湭鏉ョ殑棰勬湡銆
瑙勮寖鎬у垎鏋鏇磋繘涓姝ワ紝涓嶄粎棰勬祴鏈鏉ワ紝榪樻彁鍑轟紭鍖栫瓥鐣ャ傚畠浣跨敤澶嶆潅鐨勭畻娉曪紝濡傛ā鎷熴佷紭鍖栧拰浜哄伐鏅鴻兘錛屾潵紜瀹氭渶浣沖喅絳栬礬寰勩傛瘮濡傚湪渚涘簲閾劇$悊涓錛岃勮寖鎬у垎鏋愬彲浠ュ緩璁浣曟椂銆佷綍鍦頒互鍙婂備綍鍒嗛厤璧勬簮浠ユ渶澶у寲鏁堢巼銆
璇婃柇鎬у垎鏋鍒欏叧娉ㄦ暟鎹鑳屽悗鐨“涓轟粈涔”銆傚畠閫氳繃娣卞叆鎺㈢┒鏁版嵁錛屾壘鍑洪棶棰樼殑鍘熷洜錛屽府鍔╂垜浠鐞嗚В浜嬩歡鍙戠敓鐨勫師鍥犲拰鏈哄埗銆傝繖鏈夊姪浜庝紒涓氳瘑鍒闂棰橈紝鍒跺畾瑙e喅闂棰樼殑絳栫暐銆
榪欏洓縐嶅垎鏋愭柟娉曞湪澶ф暟鎹鍦烘櫙涓鐩鎬簰閰嶅悎錛屼負浼佷笟鎻愪緵鍏ㄩ潰鐨勬礊瀵燂紝鏀鎸佹洿鏄庢櫤鐨勫喅絳栵紝騫墮┍鍔ㄤ笟鍔″壋鏂板拰浼樺寲銆
4. 大數據能不能預測股市
大數據對於很多的地方都是非常有用的,但是,是否也有大數據不能做到的?我覺得很多時候,大數據只能說作為一個參考的方向,並不能准確的作出判斷,或者給出答案。首先大數據是一個有科學根據的一個參考物,因為有大量的數據,有大量的參考物,所以,這件事情結果跟大數據一致的概率變得會跟大數據所統計的相差不遠,這就是我們的大數據擁有的功能。
我們的股市,說實話我以前的工作是金融方面的也接觸過股市,對於股市的話,首先影響我們股市的一些因素有哪些?從宏觀來說,像國家的一些政策調控,包括我們公司的一些政策變化,股東的一些變動,或者說我們現在在整個股市來說什麼樣的一個趨勢。
我們如果從技術層面,就是可以通過我們的一些k線圖,或者我們的一些kdj指標,很多的一些分析股票的一些指標來判斷,當然這些指標的話並不是百分之百,都是金錢。而是說這些指標,其實也就是通過一些大量的,我們以前的歷史數據,其實都是已經是歷史性的,所以總結出來的這樣一個圖案,便於我們能進行分析。
這樣一個指標的話,其實跟我們的大數據就非常的類似,我們說大數據到底能不能預測故事?這個真的不能具體的回答,因為預測這個事情也就是說對於未來的股市的一個判斷,這其實是很難的,我們很多的時候看到的都只是表面上的,大數據來說,他可以給出一個方向,或者能夠得出的結論跟未來行情的變化正確的概率是非常高的,但是我們不能百分之百肯定,他得出的結論是正確的,所以大數據他可以預測股市一個大致方向,但不不能保證他預測的是正確的,可以作為一個參考。