python股票大数据模型

‘壹’ python对股票分析有什么作用

你好，Python对于股票分析来说，用处是很大的
Python，用数据软件分析可以做股票的量化程序，因为股票量化是未来的一种趋势，能够解决人为心理波动和冲动下单等不良行为，所以学好python量化的话，那么对股票来说有很大很大帮助

‘贰’ 如何用Python和机器学习炒股赚钱

相信很多人都想过让人工智能来帮你赚钱，但到底该如何做呢？瑞士日内瓦的一位金融数据顾问 Gaëtan Rickter 近日发表文章介绍了他利用 Python 和机器学习来帮助炒股的经验，其最终成果的收益率跑赢了长期处于牛市的标准普尔 500 指数。虽然这篇文章并没有将他的方法完全彻底公开，但已公开的内容或许能给我们带来如何用人工智能炒股的启迪。

我终于跑赢了标准普尔 500 指数 10 个百分点！听起来可能不是很多，但是当我们处理的是大量流动性很高的资本时，对冲基金的利润就相当可观。更激进的做法还能得到更高的回报。

这一切都始于我阅读了 Gur Huberman 的一篇题为《Contagious Speculation and a Cure for Cancer: A Non-Event that Made Stock Prices Soar》的论文。该研究描述了一件发生在 1998 年的涉及到一家上市公司 EntreMed（当时股票代码是 ENMD）的事件：

“星期天《纽约时报》上发表的一篇关于癌症治疗新药开发潜力的文章导致 EntreMed 的股价从周五收盘时的 12.063 飙升至 85，在周一收盘时接近 52。在接下来的三周，它的收盘价都在 30 以上。这股投资热情也让其它生物科技股得到了溢价。但是，这个癌症研究方面的可能突破在至少五个月前就已经被 Nature 期刊和各种流行的报纸报道过了，其中甚至包括《泰晤士报》！因此，仅仅是热情的公众关注就能引发股价的持续上涨，即便实际上并没有出现真正的新信息。”

在研究者给出的许多有见地的观察中，其中有一个总结很突出：

“（股价）运动可能会集中于有一些共同之处的股票上，但这些共同之处不一定要是经济基础。”

我就想，能不能基于通常所用的指标之外的其它指标来划分股票。我开始在数据库里面挖掘，几周之后我发现了一个，其包含了一个分数，描述了股票和元素周期表中的元素之间的“已知和隐藏关系”的强度。

我有计算基因组学的背景，这让我想起了基因和它们的细胞信号网络之间的关系是如何地不为人所知。但是，当我们分析数据时，我们又会开始看到我们之前可能无法预测的新关系和相关性。

如果你使用机器学习，就可能在具有已知和隐藏关系的上市公司的寄生、共生和共情关系之上抢占先机，这是很有趣而且可以盈利的。最后，一个人的盈利能力似乎完全关乎他在生成这些类别的数据时想出特征标签（即概念（concept））的强大组合的能力。

我在这类模型上的下一次迭代应该会包含一个用于自动生成特征组合或独特列表的单独算法。也许会基于近乎实时的事件，这可能会影响那些具有只有配备了无监督学习算法的人类才能预测的隐藏关系的股票组。

‘叁’ python怎么做大数据分析

数据获取：公开数据、Python爬虫外部数据的获取方式主要有以下两种。（推荐学习：Python视频教程）
第一种是获取外部的公开数据集，一些科研机构、企业、政府会开放一些数据，你需要到特定的网站去下载这些数据。这些数据集通常比较完善、质量相对较高。
另一种获取外部数据的方式就是爬虫。
比如你可以通过爬虫获取招聘网站某一职位的招聘信息，爬取租房网站上某城市的租房信息，爬取豆瓣评分评分最高的电影列表，获取知乎点赞排行、网易云音乐评论排行列表。基于互联网爬取的数据，你可以对某个行业、某种人群进行分析。
在爬虫之前你需要先了解一些 Python 的基础知识：元素（列表、字典、元组等）、变量、循环、函数………
以及，如何用 Python 库（urlpb、BeautifulSoup、requests、scrapy）实现网页爬虫。
掌握基础的爬虫之后，你还需要一些高级技巧，比如正则表达式、使用cookie信息、模拟用户登录、抓包分析、搭建代理池等等，来应对不同网站的反爬虫限制。
数据存取：SQL语言
在应对万以内的数据的时候，Excel对于一般的分析没有问题，一旦数据量大，就会力不从心，数据库就能够很好地解决这个问题。而且大多数的企业，都会以SQL的形式来存储数据。
SQL作为最经典的数据库工具，为海量数据的存储与管理提供可能，并且使数据的提取的效率大大提升。你需要掌握以下技能：
提取特定情况下的数据
数据库的增、删、查、改
数据的分组聚合、如何建立多个表之间的联系
数据预处理：Python（pandas）
很多时候我们拿到的数据是不干净的，数据的重复、缺失、异常值等等，这时候就需要进行数据的清洗，把这些影响分析的数据处理好，才能获得更加精确地分析结果。
对于数据预处理，学会 pandas （Python包）的用法，应对一般的数据清洗就完全没问题了。需要掌握的知识点如下：
选择：数据访问
缺失值处理：对缺失数据行进行删除或填充
重复值处理：重复值的判断与删除
异常值处理：清除不必要的空格和极端、异常数据
相关操作：描述性统计、Apply、直方图等
合并：符合各种逻辑关系的合并操作
分组：数据划分、分别执行函数、数据重组
Reshaping：快速生成数据透视表
概率论及统计学知识
需要掌握的知识点如下：
基本统计量：均值、中位数、众数、百分位数、极值等
其他描述性统计量：偏度、方差、标准差、显着性等
其他统计知识：总体和样本、参数和统计量、ErrorBar
概率分布与假设检验：各种分布、假设检验流程
其他概率论知识：条件概率、贝叶斯等
有了统计学的基本知识，你就可以用这些统计量做基本的分析了。你可以使用 Seaborn、matplotpb 等（python包）做一些可视化的分析，通过各种可视化统计图，并得出具有指导意义的结果。
Python 数据分析
掌握回归分析的方法，通过线性回归和逻辑回归，其实你就可以对大多数的数据进行回归分析，并得出相对精确地结论。这部分需要掌握的知识点如下：
回归分析：线性回归、逻辑回归
基本的分类算法：决策树、随机森林……
基本的聚类算法：k-means……
特征工程基础：如何用特征选择优化模型
调参方法：如何调节参数优化模型
Python 数据分析包：scipy、numpy、scikit-learn等
在数据分析的这个阶段，重点了解回归分析的方法，大多数的问题可以得以解决，利用描述性的统计分析和回归分析，你完全可以得到一个不错的分析结论。
当然，随着你实践量的增多，可能会遇到一些复杂的问题，你就可能需要去了解一些更高级的算法：分类、聚类。
然后你会知道面对不同类型的问题的时候更适合用哪种算法模型，对于模型的优化，你需要去了解如何通过特征提取、参数调节来提升预测的精度。
你可以通过 Python 中的 scikit-learn 库来实现数据分析、数据挖掘建模和分析的全过程。
更多Python相关技术文章，请访问Python教程栏目进行学习！以上就是小编分享的关于python怎么做大数据分析的详细内容希望对大家有所帮助，更多有关python教程请关注环球青藤其它相关文章！

‘肆’ python的量化代码怎么用到股市中

2010 ~ 2017 沪深A股各行业量化分析

在开始各行业的量化分析之前，我们需要先弄清楚两个问题：

• 第一，A股市场上都有哪些行业；

• 第二，各行业自2010年以来的营收、净利润增速表现如何？

第一个问题
很好回答，我们使用JQData提供的获取行业成分股的方法，输入get_instries(name='sw_l1')
得到申万一级行业分类结果如下：它们分别是：【农林牧渔、采掘、化工、钢铁、有色金属、电子、家用电器、食品饮料、纺织服装、轻工制造、医药生物、公用事业、交通运输、房地产、商业贸易、休闲服务、综合、建筑材料、建筑装饰、电器设备、国防军工、计算机、传媒、通信、银行、非银金融、汽车、机械设备】共计28个行业。

第二个问题
要知道各行业自2010年以来的营收、净利润增速表现，我们首先需要知道各行业在各个年度都有哪些成分股，然后加总该行业在该年度各成分股的总营收和净利润，就能得到整个行业在该年度的总营收和总利润了。这部分数据JQData也为我们提供了方便的接口：通过调用get_instry_stocks(instry_code=‘行业编码’, date=‘统计日期’)，获取申万一级行业指定日期下的行业成分股列表，然后再调用查询财务的数据接口：get_fundamentals(query_object=‘query_object’, statDate=year)来获取各个成分股在对应年度的总营收和净利润，最后通过加总得到整个行业的总营收和总利润。这里为了避免非经常性损益的影响，我们对净利润指标最终选取的扣除非经常性损益的净利润数据。

我们已经获取到想要的行业数据了。接下来，我们需要进一步分析，这些行业都有什么样的增长特征。

我们发现，在28个申万一级行业中，有18个行业自2010年以来在总营收方面保持了持续稳定的增长。它们分别是：【农林牧渔，电子，食品饮料，纺织服装，轻工制造，医药生物，公用事业，交通运输，房地产，休闲服务，建筑装饰，电气设备，国防军工，计算机，传媒，通信，银行，汽车】；其他行业在该时间范围内出现了不同程度的负增长。

那么，自2010年以来净利润保持持续增长的行业又会是哪些呢？结果是只有5个行业保持了基业长青，他们分别是医药生物，建筑装饰，电气设备，银行和汽车。（注：由于申万行业在2014年发生过一次大的调整，建筑装饰，电气设备，银行和汽车实际从2014年才开始统计。）

从上面的分析结果可以看到，真正能够保持持续稳定增长的行业并不多，如果以扣非净利润为标准，那么只有医药生物，建筑装饰，电气设备，银行和汽车这五个行业可以称之为优质行业，实际投资中，就可以只从这几个行业中去投资。这样做的目的是，一方面，能够从行业大格局层面避免行业下行的风险，绕开一个可能出现负增长的的行业，从而降低投资的风险；另一方面，也大大缩短了我们的投资范围，让投资者能够专注于从真正好的行业去挑选公司进行投资。

“2010-2017”投资于优质行业龙头的收益表现

选好行业之后，下面进入选公司环节。我们知道，即便是一个好的行业也仍然存在表现不好的公司，那么什么是好的公司呢，本文试图从营业收入规模和利润规模和来考察以上五个基业长青的行业，从它们中去筛选公司作为投资标的。

3.1按营业收入规模构建的行业龙头投资组合

首先，我们按照营业收入规模，筛选出以上5个行业【医药生物，建筑装饰，电气设备，银行和汽车】从2010年至今的行业龙头如下表所示：

结论

通过以上行业分析和投资组合的历史回测可以看到：

• 先选行业，再选公司，即使是从2015年股灾期间开始投资，至2018年5月1号，仍然能够获得相对理想的收益，可以说，红杉资本的赛道投资法则对于一般投资者还是比较靠谱的。

• 在构建行业龙头投资组合时，净利润指标显着优于营业收入指标，获得的投资收益能够更大的跑赢全市场收益率

• 市场是不断波动的，如果一个投资者从股灾期间开始投资，那么即使他买入了上述优质行业的龙头组合，在近3年也只能获得12%左右的累计收益；而如果从2016年5月3日开始投资，那么至2018年5月2日，2年时间就能获得超过50%以上的收益了。所以，在投资过程中选择时机也非常重要。

出自：JoinQuant 聚宽数据 JQData

‘伍’ 自学3年Python的我成了数据分析师，总结成一张思维导图

大家好，我是一名普通毕业生，现就职于某互联网公司。之前很多同学问我“ 为什么自学3年Python，最后却成为了数据分析师 ？”

首先肯定是数据分析师的前景和薪资条件，打动了我

下面是我的学习之路，附带一些必备学习的资料，可以 免费领取 ，相信感兴趣的你看完也可以找到自己的方向。

众所周知：Python是当今最火的编程语言之一，各大招聘网站上都会要求求职者会这门语言，并且它很容易上手，业务面宽泛，像Web网页工程师、网络爬虫工程师、自动化运维、自动化测试、 游戏 开发、数据分析、AI等等。

我们首先明确一个大的方向，知道自己以后要做什么。因为我是统计学专业，所以我会选择从事数据分析行业，那么 用Python做数据分析成了一个最佳选择 。

要想使用Python做数据分析，首先就应该知道“ 数据分析的流程是怎样的？ ”

我这次特地总结了一张 思维导图 给大家，点击放大看更清楚哦。

（点击查看高清大图）

基于此，我这里将我以前学习过程中用过的电子书（技能类、统计类、业务类），还有相关视频免费分享给大家，省去了你们挑选视频的时间，也希望能够对你们的学习有所帮助。

PS：我总结的资料有点多哦，差不多有4G，大家一定要给你的网络云盘空出位置来哦！

如果遇到一些环境配置，还有一些错误异常等bug，资料就显得不太够用，这时就需要找到老师，给我们特别讲解。

或者是想 快速学习 数据分析领域知识，不妨先找一找 直播课 看看， 了解当下最贴合实际的学习思路，确定自己的方向。

Day1 20:00&量化交易入门：

用Python做股票指标分析和买卖时机选择

场景工具：Python工具分解RSI指标流程处理: 业务场景分析建模和可视化学习成果：使用RSI指标模型做买卖点搜索、交易回溯实战案例：分析A股数据模型，制定投资策略

Day2 20:00&职场晋升必备：

制作酷炫报表，4步带你学习数据可视化

场景工具：用Tableau学习如何管理数据流程处理: 利用业务拆解找到数据指标、进行数据可视化学习成果：高效的对数据驱动型业务作出精准决策实战案例：利用可视化工具构建 旅游 客流量趋势地图

Day3 20:00&量化交易进阶：

0基础用Python搭建量化分析平台

场景工具：利用pandas工具分解KDJ指标构成流程处理: 交易数据爬取，业务场景分析建模和可视化分析结果：用KDJ指标模型对比特币行情买卖点搜索&交易回溯实战项目：掌握根据数据指数和分析工具寻找虚拟货币买卖原理

他们 每周都会定期分享 一些 干货 供大家学习参考，对学习很有帮助。

（深度学习DeepLearning.ai实验室认证）

（微软/甲骨文/Cloudera等公司颁发的数据分析证书）

4步学会数据可视化，办公效率提高三倍

（更多精彩内容 等你解锁）

‘陆’ 在财经领域使用大数据分析技术主要运用的是pandas吗

大数据分析进阶之python财经数据抓取
Python常用数据分析包：
Pandas：数据分析
Nltk：自然语言处理
Scikit：人工智能和机器学习
Numpy/scipy：矢量数据和科学计算
Sympy：符号计算
Gpu：并行超速运算
Opencv：图像视频处理
TVTK/mayavi：可视化

财经数据接口包
Pandas
Python Data Analysis Library 或 是基于NumPy 的一种工具，是python的一个数据分析包。
Pandas最初被作为金融数据分析工具而开发出来，因此，pandas为时间序列分析提供了很好的支持。
Pandas的名称来自于面板数据（panel data）和python数据分析（data analysis）。

Pandas返回的数据格式都是pandas DataFrame类型，非常便于用pandas/NumPy/Matplotlib进行数据分析和可视化。

使用pandas自带财经数据接口，能够获取雅虎财经、世界银行等财经数据。

TuShare
TuShare是一个免费、开源的python财经数据接口包。
主要实现对股票等金融数据从数据采集、清洗加工到数据存储的过程，能够为金融分析人员提供快速、整洁和多样的便于分析的数据，为他们在数据来源方面极大地减轻了工作量，使他们更加专注于策略和模型的研究与实现上。

TuShare返回的绝大部分的数据格式都是pandas DataFrame类型，非常便于用pandas/NumPy/Matplotlib进行数据分析和可视化。

使用TuShare自带财经数据接口，能够获取新浪财经的证券、宏观等财经数据。

使用TuShare自带财经数据接口，能够获取即时新浪财经数据、新浪股吧数据、个股信息地雷数据等数据。

接口简单易懂，返回的数据格式规整，非常便于处理分析！
数据挖掘实验室
持续追踪大数据和数据新闻前沿，通过自然语言处理、机器学习、R等大数据处理手段和D3、Echarts等数据可视化方法，玩转大数据驱动新闻。

‘柒’ 怎么用python计算股票

作为一个python新手，在学习中遇到很多问题，要善于运用各种方法。今天，在学习中，碰到了如何通过收盘价计算股票的涨跌幅。
第一种：
读取数据并建立函数：
import numpy as np
import matplotlib.pyplot as plt
from scipy.interpolate import spline
from pylab import *
import pandas as pd
from pandas import Series
a=pd.read_csv('d:///1.csv',sep=',')#文件位置

t=a['close']
def f(t):
s=[]
for i in range(1,len(t)):
if i==1:
continue
else:
s.append((t[i]-t[i-1])/t[i]*100)
print s
plot(s)

plt.show()
f(t)
第二种：
利用pandas里面的方法：
import pandas as pd

a=pd.read_csv('d:///1.csv')
rets = a['close'].pct_change() * 100
print rets

第三种：
close=a['close']
rets=close/close.shift(1)-1
print rets

总结：python是一种非常好的编程语言，一般而言，我们可以运用构建相关函数来实现自己的思想，但是，众所周知，python中里面的有很多科学计算包，里面有很多方法可以快速解决计算的需要，如上面提到的pandas中的pct_change()。因此在平时的使用中应当学会寻找更好的方法，提高运算速度。

‘捌’ 股票池如何用python构建

股票池用python构建的方法是：使用第三方平台，目前可以使用的是聚宽，对比一下聚宽、优矿、大宽网（已经倒闭了），都大同小异，选哪个都一样。

虽然这些平台都大同小异，但是代码可不能简单复制粘贴，因为底层函数库是不一样的，有可能在别的平台根本用不了某个函数，并且简单复制到自己电脑中的python的话百分之百用不了。

代码的思路是，每个月底进行调仓，选出市值最小的股票交易，去掉ST/*ST/停牌/涨停的股票，然后选择最小市值的10只，基准是创业板综指，看看结果。

python构建数据获取方法是：

这里使用为了接下来的操作需要将一定历史范围的股票数据下载下来，这里下载起始时间为20160101，截至时间为运行代码的时间范围的历史日线数据。

这里以tushare为例, tushare获取历史数据有两种方式。

第一种是以迭代历史交易日的方式获取所有历史数据，假设获取三年的历史数据，一年一般220个交易日左右，那么3年需要请求660多次左右，如果以这种方式的话，就下载数据的时间只需要1分钟多点的样子。

第二种是以迭代所有股票代码的方式获取所有历史数据，股票数量有大概3800多个，需要请求3800多次，但是在积分有限的情况下一分钟最多请求500次，也就意味着仅下载数据的时间至少需要大概8分钟时间。

理论上，你获取的历史范围超过17.3年，那么使用第一种方式才比第二种方式快。

‘玖’ python实现资产配置(2)--Blacklitterman 模型

在 python实现资产配置(1)----Markowitz 投资组合模型 中, 我们已经见过如何使用Markowitz求得最优资产配比. 这是一种在已知未来各资产的概率分布,然后再求解的方法.

Markowitz模型输入参数包括历史数据法和情景分析法两种方法,情景分析法的缺点是主观因素,随意性太强,因此使用历史数据法, 将资产的均值和协方差输入模型是比较常见的作法. 不过, 不足之处很明显: 未来的资产收益率分布不一定与过去相同. 此外, Markowitz 模型结果对输入参数过于敏感.

Black-Litterman模型就是基于此的改进. 其核心思想是将投资者对大类资产的观点 (主观观点) 与市场均衡收益率 (先验预期收益率)相结合,从而形成新的预期收益率(后验预期收益率). 这里的先验预期收益率的分布可以是贝叶斯推断中的先验概率密度函数的多元正态分布形式,投资者的主观观点就是贝叶斯推断中的似然函数(可以看作新的信息, 因为做出主观判断必然是从外界获取得到了这些资产的收益率变化信息), 而相应的, 后验预期收益率也可以从后验概率密度函数中得到. 具体的推导可以看我的这篇文章: 从贝叶斯定理到贝叶斯推断 .

BL模型的求解步骤包括下面几步:

(1) 使用历史数据估计预期收益率的协方差矩阵作为先验概率密度函数的协方差.

(2) 确定市场预期之收益率向量, 也就是先验预期收益之期望值. 作为先验概率密度函数的均值. 或者使用现有的期望值和方差来反推市场隐含的均衡收益率(Implied Equilibrium Return Vector), 不过在使用这种方法时, 需要知道无风险收益率 的大小.

(3) 融合投资人的个人观点,即根据历史数据(看法变量的方差)和个人看法(看法向量的均值)

(4) 修正后验收益.

是均衡收益率协方差的调整系数,可以根据信心水平来判断. 是历史资产收益率的协方差矩阵, P是投资者的观点矩阵, 是似然函数(即投资者观点函数)中的协方差矩阵,其值为 的对角阵, 是先验收益率的期望值.

(5) 投资组合优化: 将修正后的期望值与协方差矩阵即 重新代入Markowitz投资组合模型求解.

(1)定义求解函数,输入为投资者观点P,Q以及目前资产的市场收益率矩阵,输出为后验的市场收益率和协方差矩阵.

(2) 实列分析
我们继续研究 python实现资产配置(1)----Markowitz 投资组合模型 中的五支股票: 白云机场, 福建高速, 华夏银行, 生益科技和浙能电力. 假设现在分析师的观点为:

获取股票数据, 并且获得后验的均值和方差:

这时候,已经可以使用Markowitz模型进行资产的配置. 定义新的函数blminVar以求解资产配置权重. 该函数的输入变量为blacklitterman函数的输出结果, 以及投资人的目标收益率goalRet.假设目标收益率为年化70%,则goalRet = 0.7:

输出结果为:

0-5分别对应上面的五只股票.

‘拾’ 用Python 进行股票分析 有什么好的入门书籍或者课程吗

个人觉得这问题问的不太对，说句不好的话，你是来搞编程的还是做股票的。

当然，如果题主只是用来搜集资料，看数据的话那还是可以操作一波的，至于python要怎么入门，个人下面会推荐一些入门级的书籍，通过这些书籍，相信楼主今后会有一个清晰的了解（我们以一个完全不会编程的的新手来看待）。

《Learn Python The Hard Way》，也就是我们所说的笨办法学python，这绝对是新手入门的第一选择，里面话题简练，是一本以练习为导向的教材。有浅入深，而且易懂。

其它的像什么，《Python源码剖析》，《集体智慧编程》，《Python核心编程（第二版）》等题主都可以适当的选择参读下，相信都会对题主有所帮助。

最后，还是要重复上面的话题，炒股不是工程学科，它有太多的变数，对于现在的智能编程来说，它还没有办法及时的反映那些变数，所以，只能当做一种参考，千万不可过渡依赖。

结语：pyhton相对来说是一种比较高端的学科，需要有很强的逻辑能力。所以入门是非常困难的，如果真的要学习，是需要很大的毅力去坚持下去的，而且不短时间就能入门了，要有所心理准备。