如何處理股票大數據

❶ 大數據時代應該如何投資股票

給一篇關於【如何使用大數據進行A股行業投資】的教程給你參考一下~

好的投資，首先是選好行業

紅杉資本曾經有一條著名的投資經驗，大意是：好的投資，首先是選好賽道，其次是賽道上的選手。對於每天活躍於資本市場上的投資者而言，賽道所指的正是你正在投資、或者將要投資的那家公司它所在的行業，更直接的說，你投資於什麼行業，投資於這個行業的哪家公司，決定了你最終能獲得什麼樣的收益表現。

那麼，紅杉資本的這條投資經驗是否適用於A股市場，並給我們帶來可觀的投資收益呢？本文試圖通過量化分析和交易回測來驗證這一投資模式是否真正有效，所採用的數據取自於聚寬數據出品的JQData本地量化金融數據，通過梳理出自2010年以來A股市場上不同行業的發展情況，進一步構建出一個優質行業龍頭組合，觀察其從2015年股災至今的收益表現。最終發現，這樣一個優質行業的龍頭組合，從股災至今大幅跑贏了上證指數和滬深300指數高達30%的以上的收益率，可以說是超乎預期的。以下是具體分析過程。

2010 ~ 2017 滬深A股各行業量化分析

在開始各行業的量化分析之前，我們需要先弄清楚兩個問題：

• 第一，A股市場上都有哪些行業；

• 第二，各行業自2010年以來的營收、凈利潤增速表現如何？

第一個問題：
很好回答，我們使用JQData提供的獲取行業成分股的方法，輸入get_instries(name='sw_l1')
得到申萬一級行業分類結果如下：它們分別是：【農林牧漁、採掘、化工、鋼鐵、有色金屬、電子、家用電器、食品飲料、紡織服裝、輕工製造、醫葯生物、公用事業、交通運輸、房地產、商業貿易、休閑服務、綜合、建築材料、建築裝飾、電器設備、國防軍工、計算機、傳媒、通信、銀行、非銀金融、汽車、機械設備】共計28個行業。

第二個問題：

要知道各行業自2010年以來的營收、凈利潤增速表現，我們首先需要知道各行業在各個年度都有哪些成分股，然後加總該行業在該年度各成分股的總營收和凈利潤，就能得到整個行業在該年度的總營收和總利潤了。這部分數據JQData也為我們提供了方便的介面：通過調用get_instry_stocks(instry_code=『行業編碼』, date=『統計日期』)，獲取申萬一級行業指定日期下的行業成分股列表，然後再調用查詢財務的數據介面：get_fundamentals(query_object=『query_object』, statDate=year)來獲取各個成分股在對應年度的總營收和凈利潤，最後通過加總得到整個行業的總營收和總利潤。這里為了避免非經常性損益的影響，我們對凈利潤指標最終選取的扣除非經常性損益的凈利潤數據。

我們已經獲取到想要的行業數據了。接下來，我們需要進一步分析，這些行業都有什麼樣的增長特徵。

我們發現，在28個申萬一級行業中，有18個行業自2010年以來在總營收方面保持了持續穩定的增長。它們分別是：【農林牧漁，電子，食品飲料，紡織服裝，輕工製造，醫葯生物，公用事業，交通運輸，房地產，休閑服務，建築裝飾，電氣設備，國防軍工，計算機，傳媒，通信，銀行，汽車】；其他行業在該時間范圍內出現了不同程度的負增長。

那麼，自2010年以來凈利潤保持持續增長的行業又會是哪些呢？結果是只有5個行業保持了基業長青，他們分別是醫葯生物，建築裝飾，電氣設備，銀行和汽車。（註：由於申萬行業在2014年發生過一次大的調整，建築裝飾，電氣設備，銀行和汽車實際從2014年才開始統計。）

從上面的分析結果可以看到，真正能夠保持持續穩定增長的行業並不多，如果以扣非凈利潤為標准，那麼只有醫葯生物，建築裝飾，電氣設備，銀行和汽車這五個行業可以稱之為優質行業，實際投資中，就可以只從這幾個行業中去投資。這樣做的目的是，一方面，能夠從行業大格局層面避免行業下行的風險，繞開一個可能出現負增長的的行業，從而降低投資的風險；另一方面，也大大縮短了我們的投資范圍，讓投資者能夠專注於從真正好的行業去挑選公司進行投資。

「2010-2017」投資於優質行業龍頭的收益表現




選好行業之後，下面進入選公司環節。我們知道，即便是一個好的行業也仍然存在表現不好的公司，那麼什麼是好的公司呢，本文試圖從營業收入規模和利潤規模和來考察以上五個基業長青的行業，從它們中去篩選公司作為投資標的。

1、按營業收入規模構建的行業龍頭投資組合

首先，我們按照營業收入規模，篩選出以上5個行業【醫葯生物，建築裝飾，電氣設備，銀行和汽車】從2010年至今的行業龍頭如下表所示：






結論




通過以上行業分析和投資組合的歷史回測可以看到：

• 先選行業，再選公司，即使是從2015年股災期間開始投資，至2018年5月1號，仍然能夠獲得相對理想的收益，可以說，紅杉資本的賽道投資法則對於一般投資者還是比較靠譜的。

• 在構建行業龍頭投資組合時，凈利潤指標顯著優於營業收入指標，獲得的投資收益能夠更大的跑贏全市場收益率

• 市場是不斷波動的，如果一個投資者從股災期間開始投資，那麼即使他買入了上述優質行業的龍頭組合，在近3年也只能獲得12%左右的累計收益；而如果從2016年5月3日開始投資，那麼至2018年5月2日，2年時間就能獲得超過50%以上的收益了。所以，在投資過程中選擇時機也非常重要~

❷ 大數據的處理流程包括了哪些環節

處理大數據的四個環節：

• 收集：原始數據種類多樣，格式、位置、存儲、時效性等迥異。數據收集從異構數據源中收集數據並轉換成相應的格式方便處理。

• 存儲：收集好的數據需要根據成本、格式、查詢、業務邏輯等需求，存放在合適的存儲中，方便進一步的分析。

• 變形：原始數據需要變形與增強之後才適合分析，比如網頁日誌中把IP地址替換成省市、感測器數據的糾錯、用戶行為統計等。

• 分析：通過整理好的數據分析what happened、why it happened、what is happening和what will happen，幫助企業決策。

❸ 如何進行大數據分析及處理

1.可視化分析
大數據分析的使用者有大數據分析專家，同時還有普通用戶，但是他們二者對於大數據分析最基本的要求就是可視化分析，因為可視化分析能夠直觀的呈現大數據特點，同時能夠非常容易被讀者所接受，就如同看圖說話一樣簡單明了。
2. 數據挖掘演算法
大數據分析的理論核心就是數據挖掘演算法，各種數據挖掘的演算法基於不同的數據類型和格式才能更加科學的呈現出數據本身具備的特點，也正是因為這些被全世界統計 學家所公認的各種統計方法（可以稱之為真理）才能深入數據內部，挖掘出公認的價值。另外一個方面也是因為有這些數據挖掘的演算法才能更快速的處理大數據，如果一個演算法得花上好幾年才能得出結論，那大數據的價值也就無從說起了。
3. 預測性分析大數據分析最終要的應用領域之一就是預測性分析，從大數據中挖掘出特點，通過科學的建立模型，之後便可以通過模型帶入新的數據，從而預測未來的數據。
4. 語義引擎
非結構化數據的多元化給數據分析帶來新的挑戰，我們需要一套工具系統的去分析，提煉數據。語義引擎需要設計到有足夠的人工智慧以足以從數據中主動地提取信息。
5.數據質量和數據管理。 大數據分析離不開數據質量和數據管理，高質量的數據和有效的數據管理，無論是在學術研究還是在商業應用領域，都能夠保證分析結果的真實和有價值。
大數據分析的基礎就是以上五個方面，當然更加深入大數據分析的話，還有很多很多更加有特點的、更加深入的、更加專業的大數據分析方法。