pandas抓取股票数据库

1. 如何编程从免费股票软件中提取实时数据

自己写程序的话，一种方法是从已提供的信息源，例如webservice获取数据。还有种办法就是去连接提供即时信息的网页硬解析。

代码举例如下：

Created on Thu Jul 23 09:17:27 2015
@author: jet
"""
DAY_PRICE_COLS = ['date', 'open', 'high', 'close', 'low', 'volume',
'chg', '%chg', 'ma5', 'ma10', 'ma20',
'vma5', 'vma10', 'vma20', 'turnover']
DAY_PRICE_URL = '%sapi.finance.%s/%s/?code=%s&type=last'
INDEX_KEY = ['SH', 'SZ', 'HS300', 'SZ50', 'GEB', 'SMEB']
INDEX_LIST = {'SH': 'sh000001', 'SZ': 'sz399001', 'HS300': 'sz399300',
'SZ50': 'sh000016', 'GEB': 'sz399006', 'SMEB': 'sz399005'}
INDEX_DAY_PRICE_COLS= ['date', 'open', 'high', 'close', 'low', 'volume',
'chg', '%chg', 'ma5', 'ma10', 'ma20',
'vma5', 'vma10', 'vma20']
K_TYPE_KEY = ['D', 'W', 'M']
K_TYPE_MIN_KEY = ['5', '15', '30', '60']
K_TYPE = {'D': 'akdaily', 'W': 'akweekly', 'M': 'akmonthly'}
MIN_PRICE_URL = '%sapi.finance.%s/akmin?scode=%s&type=%s'
PAGE_TYPE = {'http': 'http://', 'ftp': 'ftp://'}
PAGE_DOMAIN = {'sina': 'sina.com.cn', 'ifeng': 'ifeng.com'}
URL_ERROR_MSG = '获取失败，请检查网络状态，或者API端口URL已经不匹配！'

get_hist_data.py
# -*- coding: utf-8 -*-
"""
Created on Thu Jul 23 09:15:40 2015
@author: jet
"""
import const as ct
import pandas as pd
import json
from urllib2 import urlopen,Request

def get_hist_data(code = None, start = None, end = None, ktype = 'D'):
"""
功能:
获取个股历史交易数据
--------
输入:
--------
code:string
股票代码 比如:601989
start:string
开始日期 格式:YYYY-MM-DD 为空时取到API所提供的最早日期数据
end:string
结束日期 格式:YYYY-MM-DD 为空时取到最近一个交易日数据
ktype:string(default=D, 函数内部自动统一为大写)
数据类型 D=日K线，W=周K线，M=月K线，5=5分钟，15=15分钟
30=30分钟，60=60分钟
输出:
--------
DataFrame
date 日期
open 开盘价
high 最高价
close 收盘价
low 最低价
chg 涨跌额
p_chg 涨跌幅
ma5 5日均价
ma10 10日均价
ma20 20日均价
vma5 5日均量
vma10 10日均量
vma20 20日均量
turnover换手率(指数无此项)
"""
code = code_to_APIcode(code.upper())
ktype = ktype.upper()

url = ''
url = get_url(ktype, code)
print(url)

js = json.loads(ping_API(url))
cols = []

if len(js['record'][0]) == 14:
cols = ct.INDEX_DAY_PRICE_COLS
else:
cols = ct.DAY_PRICE_COLS
df = pd.DataFrame(js['record'], columns=cols)

if ktype in ct.K_TYPE_KEY:
df = df.applymap(lambda x:x.replace(u',', u''))
for col in cols[1:]:
df[col]=df[col].astype(float)
if start is not None:
df = df [df.date >= start]
if end is not None:
df = df[df.date <= end]
df = df.set_index('date')
return df

def code_to_APIcode(code):
"""
功能：
验证输入的股票代码是否正确，若正确则返回API对应使用的股票代码
"""
print(code)
if code in ct.INDEX_KEY:
return ct.INDEX_LIST[code]
else:
if len(code) != 6:
raise IOError('code input error!')
else:
return 'sh%s'%code if code[:1] in ['5', '6'] else 'sz%s'%code

def get_url(ktype, code):
"""
功能：
验证输入的K线类型是否正确，若正确则返回url
"""
if ktype in ct.K_TYPE_KEY:
url = ct.DAY_PRICE_URL % (ct.PAGE_TYPE['http'], ct.PAGE_DOMAIN['ifeng'],
ct.K_TYPE[ktype], code)
return url
elif ktype in ct.K_TYPE_MIN_KEY:
url = ct.MIN_PRICE_URL % (ct.PAGE_TYPE['http'], ct.PAGE_DOMAIN['ifeng'],
code, ktype)
return url
else:
raise IOError('ktype input error!')

def ping_API(url):
"""
功能：
向API发送数据请求，若链接正常返回数据
"""
text = ''
try:
req = Request(url)
text = urlopen(req,timeout=10).read()
if len(text) < 15:
raise IOError('no data!')
except Exception as e:
print(e)
else:
return text

#测试入口
print(get_hist_data('601989','2015-07-11','2015-07-22'))

2. 如何选取过去每个月股票的市值 python

类似，可以修改一下
股票涨跌幅数据是量化投资学习的基本数据资料之一，下面以python代码编程为工具，获得所需要的历史数据。主要步骤有：
（1） #按照市值从小到大的顺序活得N支股票的代码；
（2） #分别对这一百只股票进行100支股票操作；
（3） #获取从2016.05.01到2016.11.17的涨跌幅数据；
（4） #选取记录大于40个的数据，去除次新股；
（5） #将文件名名为“股票代码.csv”。
具体代码如下：
# -*- coding: utf-8 -*-
"""
Created on Thu Nov 17 23:04:33 2016
获取股票的历史涨跌幅，并分别存为csv格式
@author: yehxqq151376026
"""

import numpy as np
import pandas as pd

#按照市值从小到大的顺序活得100支股票的代码
df = get_fundamentals(
query(fundamentals.eod_derivative_indicator.market_cap)
.order_by(fundamentals.eod_derivative_indicator.market_cap.asc())
.limit(100),'2016-11-17', '1y'
)

#分别对这一百只股票进行100支股票操作
#获取从2016.05.01到2016.11.17的涨跌幅数据
#选取记录大于40个的数据，去除次新股
#将文件名名为“股票代码.csv”
for stock in range(100):
priceChangeRate = get_price_change_rate(df['market_cap'].columns[stock], '20160501', '20161117')
if priceChangeRate is None:
openDays = 0
else:
openDays = len(priceChangeRate)
if openDays > 40:
tempPrice = priceChangeRate[39:(openDays - 1)]
for rate in range(len(tempPrice)):
tempPrice[rate] = "%.3f" %tempPrice[rate]
fileName = ''
fileName = fileName.join(df['market_cap'].columns[i].split('.')) + '.csv'
fileName
tempPrice.to_csv(fileName)

3. 为什么pandas有国内股票数据

都是公开发行上市的股票，当然会有的，Pandas是数据分析工具包
TuShare是国内股票数据抓取工具，除了股票的实时和历史数据，还有基本面数据，加上自然语言处理（比如情绪分析），或者机器学习，就比较有趣了。

4. 解决 pandas_datareader 无法获取雅虎财经数据的问题

pandas_datareader 是重要的 pandas 相关包，原来是 pandas.io.data 方法，用于获取接口数据，比如雅虎财经上的数据或者美联储路易斯安娜分行的数据，但是在最近版本（比如 pandas 0.20）中 pandas.io.data 的方法独立出来称为一个新的包 pandas_datareader 。

雅虎财经和谷歌财经的接口变换频繁。如果用 pip install pandas_datareader ，已经无法得到雅虎财经。

pandas_datareader github Issuse #315 针对的就是雅虎财经接口无法访问的问题， gusutabopb 在 5月21日进行了成功修正，并提供了他修正后的 pandas_datareader 新版本。

该修正版本的安装方法是

安装以后测试获取 google 的股票数据成功。

参考：
Issues with the data reader fetching yahoo finance #315

Error with pulling data from Yahoo Finance

5. tushare的接口怎么样使用

一、安装TuShare

方式1：pip install tushare

方式2：访问https://pypi.python.org/pypi/tushare/下载安装

方式3：将源代码下载到本地python setup.py install

二、升级TuShare

1、先查看本地与线上的版本版本号：

pip search tushare

2、升级TuShare：

pip install tushare --upgrade

确认安装成功

import tushare as ts
print ts.__version__
import tushare as ts
df = ts.get_hist_data（‘600848’）
ts.get_hist_data（‘600848’，ktype='W‘） #获取周k线数据
ts.get_hist_data（'600848’，ktype='M‘） #获取月k线数据
ts.get_hist_data（'600848’，ktype='5‘） #获取5分钟k线数据
ts.get_hist_data（'600848’，ktype='15‘） #获取15分钟k线数据
ts.get_hist_data（'600848’，ktype='30‘） #获取30分钟k线数据
ts.get_hist_data（'600848’，ktype='60‘） #获取60分钟k线数据
ts.get_hist_data（'sh’）#获取上证指数k线数据，其它参数与个股一致，下同
ts.get_hist_data（‘sz’）#获取深圳成指k线数据 ts.get_hist_data（‘hs300’）#获取沪深300指数k线数据
ts.get_hist_data（‘sz50’）#获取上证50指数k线数据
ts.get_hist_data（‘zxb’）#获取中小板指数k线数据
ts.get_hist_data（‘cyb’）#获取创业板指数k线数据
Python财经数据接口包TuShare的使用
获取历史分笔数据
df = ts.get_tick_data（‘000756','2015-03-27’）
df.head（10）
Python财经数据接口包TuShare的使用
获取实时分笔数据
df = ts.get_realtime_quotes（‘000581’）
print df[['code','name','price','bid','ask','volume','amount','time']]
返回值说明：
0：name，股票名字
1：open，今日开盘价
2：pre_close，昨日收盘价
3：price，当前价格
4：high，今日最高价
5：low，今日最低价
6：bid，竞买价，即“买一”报价
7：ask，竞卖价，即“卖一”报价
8：volumn，成交量 maybe you need do volumn/100
9：amount，成交金额（元 CNY）
10：b1_v，委买一（笔数 bid volume）
11：b1_p，委买一（价格 bid price）
12：b2_v，“买二”
13：b2_p，“买二”
14：b3_v，“买三”
15：b3_p，“买三”
16：b4_v，“买四”
17：b4_p，“买四”
18：b5_v，“买五”
19：b5_p，“买五”
20：a1_v，委卖一（笔数 ask volume）
21：a1_p，委卖一（价格 ask price）
…
30：date，日期
31：time，时间

6. 怎样用python提取不同股票csv里特定时间段的数据

用pandas库，
import pandas as pd

data = pd.read_csv('train.csv')
train_data = data.values[0:TRAIN_NUM,1:]
train_label = data.values[0:TRAIN_NUM,0]
study.163.com/course/courseMain.htm?courseId=1000035
机器学习正好讲了这个手写识别的例子！

7. 报错TypeError: 'NoneType' object is not subscriptable寻求解决办法

该错误意味着您正在尝试使用方括号（例如 ）访问对象的元素，但该对象支持且不支持此操作。TypeError: 'NoneType' object is not subscriptableobject[index]None

在这种伍逗特定情况下，看起来函数正在返回而不是预期的数据框。这可能是由于Tushare API或网络连接出现问题。ts.get_hs300s()None

要修复此错误，您可以尝试以下操作：

• 查看图共享API文档，以确保您正确使用该函数。get_hs300s()

• 检查您的网络连接并确保其稳定可靠。

• 在交互式 Python shell 中使用该函数以查看它是否返回预期的数据框。ts.get_hs300s()

• 如果函数仍返回 ，请尝试使用其他 API 或数据集来获取所需的股票代码。ts.get_hs300s()None

下面是如何修改代码以处理返回的情况的示例：ts.get_hs300s()None

在这个例子中，我们在尝试访问它的“code”列之前检查变量是否不是。如果数腔念卖据框是 ，我们通过高哗打印消息来处理这种情况。这可以防止发生错误。hs300NoneNoneTypeError: 'NoneType' object is not subscriptable

回答不易望请采纳

8. 怎么用python计算股票

作为一个python新手，在学习中遇到很多问题，要善于运用各种方法。今天，在学习中，碰到了如何通过收盘价计算股票的涨跌幅。
第一种：
读取数据并建立函数：
import numpy as np
import matplotlib.pyplot as plt
from scipy.interpolate import spline
from pylab import *
import pandas as pd
from pandas import Series
a=pd.read_csv('d:///1.csv',sep=',')#文件位置

t=a['close']
def f(t):
s=[]
for i in range(1,len(t)):
if i==1:
continue
else:
s.append((t[i]-t[i-1])/t[i]*100)
print s
plot(s)

plt.show()
f(t)
第二种：
利用pandas里面的方法：
import pandas as pd

a=pd.read_csv('d:///1.csv')
rets = a['close'].pct_change() * 100
print rets

第三种：
close=a['close']
rets=close/close.shift(1)-1
print rets

总结：python是一种非常好的编程语言，一般而言，我们可以运用构建相关函数来实现自己的思想，但是，众所周知，python中里面的有很多科学计算包，里面有很多方法可以快速解决计算的需要，如上面提到的pandas中的pct_change()。因此在平时的使用中应当学会寻找更好的方法，提高运算速度。

9. 用python爬虫股票能显示到窗体表格中吗

用python爬虫股票能显示到罩凳冲窗体表格中。
1、requests：用于从股票网站获取数据。
2、BeautifulSoup：用于解析HTML页面，从而提取数据。
3、pandas：用于将数据转换为数据框，以便于处理物歼和分析。
4、tkinter：用于创建GUI应用程序，包括粗橡窗体和表格。

10. python用什么方法或者库可以拿到全部股票代码

首先你需要知道哪个网站上有所有股票代码，然后分析这个网站股票代码的存放方式，再利用python写一个爬虫去爬取所有的股票代码