如何处理股票大数据

❶ 大数据时代应该如何投资股票

给一篇关于【如何使用大数据进行A股行业投资】的教程给你参考一下~

好的投资，首先是选好行业

红杉资本曾经有一条着名的投资经验，大意是：好的投资，首先是选好赛道，其次是赛道上的选手。对于每天活跃于资本市场上的投资者而言，赛道所指的正是你正在投资、或者将要投资的那家公司它所在的行业，更直接的说，你投资于什么行业，投资于这个行业的哪家公司，决定了你最终能获得什么样的收益表现。

那么，红杉资本的这条投资经验是否适用于A股市场，并给我们带来可观的投资收益呢？本文试图通过量化分析和交易回测来验证这一投资模式是否真正有效，所采用的数据取自于聚宽数据出品的JQData本地量化金融数据，通过梳理出自2010年以来A股市场上不同行业的发展情况，进一步构建出一个优质行业龙头组合，观察其从2015年股灾至今的收益表现。最终发现，这样一个优质行业的龙头组合，从股灾至今大幅跑赢了上证指数和沪深300指数高达30%的以上的收益率，可以说是超乎预期的。以下是具体分析过程。

2010 ~ 2017 沪深A股各行业量化分析

在开始各行业的量化分析之前，我们需要先弄清楚两个问题：

• 第一，A股市场上都有哪些行业；

• 第二，各行业自2010年以来的营收、净利润增速表现如何？

第一个问题：
很好回答，我们使用JQData提供的获取行业成分股的方法，输入get_instries(name='sw_l1')
得到申万一级行业分类结果如下：它们分别是：【农林牧渔、采掘、化工、钢铁、有色金属、电子、家用电器、食品饮料、纺织服装、轻工制造、医药生物、公用事业、交通运输、房地产、商业贸易、休闲服务、综合、建筑材料、建筑装饰、电器设备、国防军工、计算机、传媒、通信、银行、非银金融、汽车、机械设备】共计28个行业。

第二个问题：

要知道各行业自2010年以来的营收、净利润增速表现，我们首先需要知道各行业在各个年度都有哪些成分股，然后加总该行业在该年度各成分股的总营收和净利润，就能得到整个行业在该年度的总营收和总利润了。这部分数据JQData也为我们提供了方便的接口：通过调用get_instry_stocks(instry_code=‘行业编码’, date=‘统计日期’)，获取申万一级行业指定日期下的行业成分股列表，然后再调用查询财务的数据接口：get_fundamentals(query_object=‘query_object’, statDate=year)来获取各个成分股在对应年度的总营收和净利润，最后通过加总得到整个行业的总营收和总利润。这里为了避免非经常性损益的影响，我们对净利润指标最终选取的扣除非经常性损益的净利润数据。

我们已经获取到想要的行业数据了。接下来，我们需要进一步分析，这些行业都有什么样的增长特征。

我们发现，在28个申万一级行业中，有18个行业自2010年以来在总营收方面保持了持续稳定的增长。它们分别是：【农林牧渔，电子，食品饮料，纺织服装，轻工制造，医药生物，公用事业，交通运输，房地产，休闲服务，建筑装饰，电气设备，国防军工，计算机，传媒，通信，银行，汽车】；其他行业在该时间范围内出现了不同程度的负增长。

那么，自2010年以来净利润保持持续增长的行业又会是哪些呢？结果是只有5个行业保持了基业长青，他们分别是医药生物，建筑装饰，电气设备，银行和汽车。（注：由于申万行业在2014年发生过一次大的调整，建筑装饰，电气设备，银行和汽车实际从2014年才开始统计。）

从上面的分析结果可以看到，真正能够保持持续稳定增长的行业并不多，如果以扣非净利润为标准，那么只有医药生物，建筑装饰，电气设备，银行和汽车这五个行业可以称之为优质行业，实际投资中，就可以只从这几个行业中去投资。这样做的目的是，一方面，能够从行业大格局层面避免行业下行的风险，绕开一个可能出现负增长的的行业，从而降低投资的风险；另一方面，也大大缩短了我们的投资范围，让投资者能够专注于从真正好的行业去挑选公司进行投资。

“2010-2017”投资于优质行业龙头的收益表现




选好行业之后，下面进入选公司环节。我们知道，即便是一个好的行业也仍然存在表现不好的公司，那么什么是好的公司呢，本文试图从营业收入规模和利润规模和来考察以上五个基业长青的行业，从它们中去筛选公司作为投资标的。

1、按营业收入规模构建的行业龙头投资组合

首先，我们按照营业收入规模，筛选出以上5个行业【医药生物，建筑装饰，电气设备，银行和汽车】从2010年至今的行业龙头如下表所示：






结论




通过以上行业分析和投资组合的历史回测可以看到：

• 先选行业，再选公司，即使是从2015年股灾期间开始投资，至2018年5月1号，仍然能够获得相对理想的收益，可以说，红杉资本的赛道投资法则对于一般投资者还是比较靠谱的。

• 在构建行业龙头投资组合时，净利润指标显着优于营业收入指标，获得的投资收益能够更大的跑赢全市场收益率

• 市场是不断波动的，如果一个投资者从股灾期间开始投资，那么即使他买入了上述优质行业的龙头组合，在近3年也只能获得12%左右的累计收益；而如果从2016年5月3日开始投资，那么至2018年5月2日，2年时间就能获得超过50%以上的收益了。所以，在投资过程中选择时机也非常重要~

❷ 大数据的处理流程包括了哪些环节

处理大数据的四个环节：

• 收集：原始数据种类多样，格式、位置、存储、时效性等迥异。数据收集从异构数据源中收集数据并转换成相应的格式方便处理。

• 存储：收集好的数据需要根据成本、格式、查询、业务逻辑等需求，存放在合适的存储中，方便进一步的分析。

• 变形：原始数据需要变形与增强之后才适合分析，比如网页日志中把IP地址替换成省市、传感器数据的纠错、用户行为统计等。

• 分析：通过整理好的数据分析what happened、why it happened、what is happening和what will happen，帮助企业决策。

❸ 如何进行大数据分析及处理

1.可视化分析
大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。
2. 数据挖掘算法
大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计 学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。
3. 预测性分析大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。
4. 语义引擎
非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统的去分析，提炼数据。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。
5.数据质量和数据管理。 大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。
大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。