python股票数据采集框架

A. 股票池如何用python构建

股票池用python构建的方法是：使用第三方平台，目前可以使用的是聚宽，对比一下聚宽、优矿、大宽网（已经倒闭了），都大同小异，选哪个都一样。

虽然这些平台都大同小异，但是代码可不能简单复制粘贴，因为底层函数库是不一样的，有可能在别的平台根本用不了某个函数，并且简单复制到自己电脑中的python的话百分之百用不了。

代码的思路是，每个月底进行调仓，选出市值最小的股票交易，去掉ST/*ST/停牌/涨停的股票，然后选择最小市值的10只，基准是创业板综指，看看结果。

python构建数据获取方法是：旅衡

这里使用为了接下来的操作需要将一定历史范围的股票数据下载下来，这里下载起始时间为20160101，截至时间为运行代码的时间范围的历史日线数据。

这里以tushare为例, tushare获取历史数据有两种方式。

第一种是以迭代历史交陪拦易日的方式获取所有历史数据，假设获取三年的历史数据，一拆乱做年一般220个交易日左右，那么3年需要请求660多次左右，如果以这种方式的话，就下载数据的时间只需要1分钟多点的样子。

第二种是以迭代所有股票代码的方式获取所有历史数据，股票数量有大概3800多个，需要请求3800多次，但是在积分有限的情况下一分钟最多请求500次，也就意味着仅下载数据的时间至少需要大概8分钟时间。

理论上，你获取的历史范围超过17.3年，那么使用第一种方式才比第二种方式快。

B. 怎么学python爬取财经信息

本程序使用Python 2.7.6编写，扩展了Python自带的HTMLParser，自动根据预设的股票代码列表，从Yahoo Finance抓取列表中的数据日期、股票名称、实时报价、当日变化率、当日最低价、当日最高价。

由于Yahoo Finance的股票页面中的数值都有相应id。

例如纳斯达克100指数ETF（QQQ）
其中实时报价的HTML标记为

[html]view plain

• <spanid="yfs_l84_qqq">87.49</span>

而标普500指数ETF（SPY）


其中实时报价的HTML标记为

[html]view plain

• <spanid="yfs_l84_spy">187.25</span>

因此本数据抓取程序根据相应的id字符串来查找数据。具体来说就是先继承HTMLParser，然后在自定义的子类中重载handle_data(self, data)方法，查找包含相应id字符串（例如实时报价的id字符串为"yfs_l84_"+股票代码）的HTML标记，并输出这个HTML标记中的数据（例如qqq的<span id="yfs_l84_qqq">87.49</span>，其中的数据87.49就是实时报价。）

样本输出：

数据依次是

数据日期 股票代码 股票名称 实时报价 日变化率 日最低价 日最高价

[python]view plain

• 05/05/(IBB)233.281.85%225.34233.28

• 05/05/(SOCL)17.480.17%17.1217.53

• 05/05/(PNQI)62.610.35%61.4662.74

• 05/05/2014xsdSPDRS&PSemiconctorETF(XSD)67.150.12%66.2067.41

• 05/05/2014itaiSharesUSAerospace&Defense(ITA)110.341.15%108.62110.56

• 05/05/2014iaiiSharesUSBroker-Dealers(IAI)37.42-0.21%36.8637.42

• 05/05/(VBK)119.97-0.03%118.37120.09

• 05/05/2014qqqPowerSharesQQQ(QQQ)87.950.53%86.7687.97

• 05/05/2014ewiiSharesMSCIItalyCapped(EWI)17.86-0.56%17.6517.89

• 05/05/(DFE)62.33-0.11%61.9462.39

• 05/05/(PBD)13.030.00%12.9713.05

• 05/05/(EIRL)38.52-0.16%38.3938.60