pandas抓取股票資料庫

1. 如何編程從免費股票軟體中提取實時數據

自己寫程序的話，一種方法是從已提供的信息源，例如webservice獲取數據。還有種辦法就是去連接提供即時信息的網頁硬解析。

代碼舉例如下：

Created on Thu Jul 23 09:17:27 2015
@author: jet
"""
DAY_PRICE_COLS = ['date', 'open', 'high', 'close', 'low', 'volume',
'chg', '%chg', 'ma5', 'ma10', 'ma20',
'vma5', 'vma10', 'vma20', 'turnover']
DAY_PRICE_URL = '%sapi.finance.%s/%s/?code=%s&type=last'
INDEX_KEY = ['SH', 'SZ', 'HS300', 'SZ50', 'GEB', 'SMEB']
INDEX_LIST = {'SH': 'sh000001', 'SZ': 'sz399001', 'HS300': 'sz399300',
'SZ50': 'sh000016', 'GEB': 'sz399006', 'SMEB': 'sz399005'}
INDEX_DAY_PRICE_COLS= ['date', 'open', 'high', 'close', 'low', 'volume',
'chg', '%chg', 'ma5', 'ma10', 'ma20',
'vma5', 'vma10', 'vma20']
K_TYPE_KEY = ['D', 'W', 'M']
K_TYPE_MIN_KEY = ['5', '15', '30', '60']
K_TYPE = {'D': 'akdaily', 'W': 'akweekly', 'M': 'akmonthly'}
MIN_PRICE_URL = '%sapi.finance.%s/akmin?scode=%s&type=%s'
PAGE_TYPE = {'http': 'http://', 'ftp': 'ftp://'}
PAGE_DOMAIN = {'sina': 'sina.com.cn', 'ifeng': 'ifeng.com'}
URL_ERROR_MSG = '獲取失敗，請檢查網路狀態，或者API埠URL已經不匹配！'

get_hist_data.py
# -*- coding: utf-8 -*-
"""
Created on Thu Jul 23 09:15:40 2015
@author: jet
"""
import const as ct
import pandas as pd
import json
from urllib2 import urlopen,Request

def get_hist_data(code = None, start = None, end = None, ktype = 'D'):
"""
功能:
獲取個股歷史交易數據
--------
輸入:
--------
code:string
股票代碼 比如:601989
start:string
開始日期 格式:YYYY-MM-DD 為空時取到API所提供的最早日期數據
end:string
結束日期 格式:YYYY-MM-DD 為空時取到最近一個交易日數據
ktype:string(default=D, 函數內部自動統一為大寫)
數據類型 D=日K線，W=周K線，M=月K線，5=5分鍾，15=15分鍾
30=30分鍾，60=60分鍾
輸出:
--------
DataFrame
date 日期
open 開盤價
high 最高價
close 收盤價
low 最低價
chg 漲跌額
p_chg 漲跌幅
ma5 5日均價
ma10 10日均價
ma20 20日均價
vma5 5日均量
vma10 10日均量
vma20 20日均量
turnover換手率(指數無此項)
"""
code = code_to_APIcode(code.upper())
ktype = ktype.upper()

url = ''
url = get_url(ktype, code)
print(url)

js = json.loads(ping_API(url))
cols = []

if len(js['record'][0]) == 14:
cols = ct.INDEX_DAY_PRICE_COLS
else:
cols = ct.DAY_PRICE_COLS
df = pd.DataFrame(js['record'], columns=cols)

if ktype in ct.K_TYPE_KEY:
df = df.applymap(lambda x:x.replace(u',', u''))
for col in cols[1:]:
df[col]=df[col].astype(float)
if start is not None:
df = df [df.date >= start]
if end is not None:
df = df[df.date <= end]
df = df.set_index('date')
return df

def code_to_APIcode(code):
"""
功能：
驗證輸入的股票代碼是否正確，若正確則返回API對應使用的股票代碼
"""
print(code)
if code in ct.INDEX_KEY:
return ct.INDEX_LIST[code]
else:
if len(code) != 6:
raise IOError('code input error!')
else:
return 'sh%s'%code if code[:1] in ['5', '6'] else 'sz%s'%code

def get_url(ktype, code):
"""
功能：
驗證輸入的K線類型是否正確，若正確則返回url
"""
if ktype in ct.K_TYPE_KEY:
url = ct.DAY_PRICE_URL % (ct.PAGE_TYPE['http'], ct.PAGE_DOMAIN['ifeng'],
ct.K_TYPE[ktype], code)
return url
elif ktype in ct.K_TYPE_MIN_KEY:
url = ct.MIN_PRICE_URL % (ct.PAGE_TYPE['http'], ct.PAGE_DOMAIN['ifeng'],
code, ktype)
return url
else:
raise IOError('ktype input error!')

def ping_API(url):
"""
功能：
向API發送數據請求，若鏈接正常返回數據
"""
text = ''
try:
req = Request(url)
text = urlopen(req,timeout=10).read()
if len(text) < 15:
raise IOError('no data!')
except Exception as e:
print(e)
else:
return text

#測試入口
print(get_hist_data('601989','2015-07-11','2015-07-22'))

2. 如何選取過去每個月股票的市值 python

類似，可以修改一下
股票漲跌幅數據是量化投資學習的基本數據資料之一，下面以python代碼編程為工具，獲得所需要的歷史數據。主要步驟有：
（1） #按照市值從小到大的順序活得N支股票的代碼；
（2） #分別對這一百隻股票進行100支股票操作；
（3） #獲取從2016.05.01到2016.11.17的漲跌幅數據；
（4） #選取記錄大於40個的數據，去除次新股；
（5） #將文件名名為「股票代碼.csv」。
具體代碼如下：
# -*- coding: utf-8 -*-
"""
Created on Thu Nov 17 23:04:33 2016
獲取股票的歷史漲跌幅，並分別存為csv格式
@author: yehxqq151376026
"""

import numpy as np
import pandas as pd

#按照市值從小到大的順序活得100支股票的代碼
df = get_fundamentals(
query(fundamentals.eod_derivative_indicator.market_cap)
.order_by(fundamentals.eod_derivative_indicator.market_cap.asc())
.limit(100),'2016-11-17', '1y'
)

#分別對這一百隻股票進行100支股票操作
#獲取從2016.05.01到2016.11.17的漲跌幅數據
#選取記錄大於40個的數據，去除次新股
#將文件名名為「股票代碼.csv」
for stock in range(100):
priceChangeRate = get_price_change_rate(df['market_cap'].columns[stock], '20160501', '20161117')
if priceChangeRate is None:
openDays = 0
else:
openDays = len(priceChangeRate)
if openDays > 40:
tempPrice = priceChangeRate[39:(openDays - 1)]
for rate in range(len(tempPrice)):
tempPrice[rate] = "%.3f" %tempPrice[rate]
fileName = ''
fileName = fileName.join(df['market_cap'].columns[i].split('.')) + '.csv'
fileName
tempPrice.to_csv(fileName)

3. 為什麼pandas有國內股票數據

都是公開發行上市的股票，當然會有的，Pandas是數據分析工具包
TuShare是國內股票數據抓取工具，除了股票的實時和歷史數據，還有基本面數據，加上自然語言處理（比如情緒分析），或者機器學習，就比較有趣了。

4. 解決 pandas_datareader 無法獲取雅虎財經數據的問題

pandas_datareader 是重要的 pandas 相關包，原來是 pandas.io.data 方法，用於獲取介面數據，比如雅虎財經上的數據或者美聯儲路易斯安娜分行的數據，但是在最近版本（比如 pandas 0.20）中 pandas.io.data 的方法獨立出來稱為一個新的包 pandas_datareader 。

雅虎財經和谷歌財經的介面變換頻繁。如果用 pip install pandas_datareader ，已經無法得到雅虎財經。

pandas_datareader github Issuse #315 針對的就是雅虎財經介面無法訪問的問題， gusutabopb 在 5月21日進行了成功修正，並提供了他修正後的 pandas_datareader 新版本。

該修正版本的安裝方法是

安裝以後測試獲取 google 的股票數據成功。

參考：
Issues with the data reader fetching yahoo finance #315

Error with pulling data from Yahoo Finance

5. tushare的介面怎麼樣使用

一、安裝TuShare

方式1：pip install tushare

方式2：訪問https://pypi.python.org/pypi/tushare/下載安裝

方式3：將源代碼下載到本地python setup.py install

二、升級TuShare

1、先查看本地與線上的版本版本號：

pip search tushare

2、升級TuShare：

pip install tushare --upgrade

確認安裝成功

import tushare as ts
print ts.__version__
import tushare as ts
df = ts.get_hist_data（『600848』）
ts.get_hist_data（『600848』，ktype='W『） #獲取周k線數據
ts.get_hist_data（'600848』，ktype='M『） #獲取月k線數據
ts.get_hist_data（'600848』，ktype='5『） #獲取5分鍾k線數據
ts.get_hist_data（'600848』，ktype='15『） #獲取15分鍾k線數據
ts.get_hist_data（'600848』，ktype='30『） #獲取30分鍾k線數據
ts.get_hist_data（'600848』，ktype='60『） #獲取60分鍾k線數據
ts.get_hist_data（'sh』）#獲取上證指數k線數據，其它參數與個股一致，下同
ts.get_hist_data（『sz』）#獲取深圳成指k線數據 ts.get_hist_data（『hs300』）#獲取滬深300指數k線數據
ts.get_hist_data（『sz50』）#獲取上證50指數k線數據
ts.get_hist_data（『zxb』）#獲取中小板指數k線數據
ts.get_hist_data（『cyb』）#獲取創業板指數k線數據
Python財經數據介麵包TuShare的使用
獲取歷史分筆數據
df = ts.get_tick_data（『000756','2015-03-27』）
df.head（10）
Python財經數據介麵包TuShare的使用
獲取實時分筆數據
df = ts.get_realtime_quotes（『000581』）
print df[['code','name','price','bid','ask','volume','amount','time']]
返回值說明：
0：name，股票名字
1：open，今日開盤價
2：pre_close，昨日收盤價
3：price，當前價格
4：high，今日最高價
5：low，今日最低價
6：bid，競買價，即「買一」報價
7：ask，競賣價，即「賣一」報價
8：volumn，成交量 maybe you need do volumn/100
9：amount，成交金額（元 CNY）
10：b1_v，委買一（筆數 bid volume）
11：b1_p，委買一（價格 bid price）
12：b2_v，「買二」
13：b2_p，「買二」
14：b3_v，「買三」
15：b3_p，「買三」
16：b4_v，「買四」
17：b4_p，「買四」
18：b5_v，「買五」
19：b5_p，「買五」
20：a1_v，委賣一（筆數 ask volume）
21：a1_p，委賣一（價格 ask price）
…
30：date，日期
31：time，時間

6. 怎樣用python提取不同股票csv里特定時間段的數據

用pandas庫，
import pandas as pd

data = pd.read_csv('train.csv')
train_data = data.values[0:TRAIN_NUM,1:]
train_label = data.values[0:TRAIN_NUM,0]
study.163.com/course/courseMain.htm?courseId=1000035
機器學習正好講了這個手寫識別的例子！

7. 報錯TypeError: 'NoneType' object is not subscriptable尋求解決辦法

該錯誤意味著您正在嘗試使用方括弧（例如 ）訪問對象的元素，但該對象支持且不支持此操作。TypeError: 'NoneType' object is not subscriptableobject[index]None

在這種伍逗特定情況下，看起來函數正在返回而不是預期的數據框。這可能是由於Tushare API或網路連接出現問題。ts.get_hs300s()None

要修復此錯誤，您可以嘗試以下操作：

• 查看圖共享API文檔，以確保您正確使用該函數。get_hs300s()

• 檢查您的網路連接並確保其穩定可靠。

• 在互動式 Python shell 中使用該函數以查看它是否返回預期的數據框。ts.get_hs300s()

• 如果函數仍返回 ，請嘗試使用其他 API 或數據集來獲取所需的股票代碼。ts.get_hs300s()None

下面是如何修改代碼以處理返回的情況的示例：ts.get_hs300s()None

在這個例子中，我們在嘗試訪問它的「code」列之前檢查變數是否不是。如果數腔念賣據框是 ，我們通過高嘩列印消息來處理這種情況。這可以防止發生錯誤。hs300NoneNoneTypeError: 'NoneType' object is not subscriptable

回答不易望請採納

8. 怎麼用python計算股票

作為一個python新手，在學習中遇到很多問題，要善於運用各種方法。今天，在學習中，碰到了如何通過收盤價計算股票的漲跌幅。
第一種：
讀取數據並建立函數：
import numpy as np
import matplotlib.pyplot as plt
from scipy.interpolate import spline
from pylab import *
import pandas as pd
from pandas import Series
a=pd.read_csv('d:///1.csv',sep=',')#文件位置

t=a['close']
def f(t):
s=[]
for i in range(1,len(t)):
if i==1:
continue
else:
s.append((t[i]-t[i-1])/t[i]*100)
print s
plot(s)

plt.show()
f(t)
第二種：
利用pandas裡面的方法：
import pandas as pd

a=pd.read_csv('d:///1.csv')
rets = a['close'].pct_change() * 100
print rets

第三種：
close=a['close']
rets=close/close.shift(1)-1
print rets

總結：python是一種非常好的編程語言，一般而言，我們可以運用構建相關函數來實現自己的思想，但是，眾所周知，python中裡面的有很多科學計算包，裡面有很多方法可以快速解決計算的需要，如上面提到的pandas中的pct_change()。因此在平時的使用中應當學會尋找更好的方法，提高運算速度。

9. 用python爬蟲股票能顯示到窗體表格中嗎

用python爬蟲股票能顯示到罩凳沖窗體表格中。
1、requests：用於從股票網站獲取數據。
2、BeautifulSoup：用於解析HTML頁面，從而提取數據。
3、pandas：用於將數據轉換為數據框，以便於處理物殲和分析。
4、tkinter：用於創建GUI應用程序，包括粗橡窗體和表格。

10. python用什麼方法或者庫可以拿到全部股票代碼

首先你需要知道哪個網站上有所有股票代碼，然後分析這個網站股票代碼的存放方式，再利用python寫一個爬蟲去爬取所有的股票代碼