python怎麼爬股票資料庫

1. python讀取財經數據

提取日期數據基本語法
from WindPy import w
w.start()
當出現.ErrorCode==-103說明沒連接上，要start一下

w.wsd(security, fields, startDate = None, endDate= None , options = None)
opion 可選（period, 日期類型， 貨幣類型，前後復權）

提取財務數據基本語法
w.wss(security, fields, options = None)

提取板塊日序列基本語法
w.wses(sectorCode, fields, startDate = None, endDate = None, options = None)

提取板塊日截面數據基本語法
w.wsee(sectorCode, fields, options=None)

提取宏觀數據基本語法
w.edb(codes, startDate =None, endDate =None, options=None)

1.日期序列基本語法
ts.get_hist_data(stock,start,end)
注意：1.stock不能是集合,只能單個股票 2.需要帶上.sz或.sh 3.沒有field，只能取出數據後再切除.

2.pro用法
pro.daily(code, start, end, fields)

tushare引用語句

弊端也很明顯，一方面不能stock集合輸入，一次只能調取一個股票對應數據，另一方面tushare雖是免費試用，但有許可權限制。

基本語法
wb.get_data_yahoo(code, start, end)
wb.DataReader(code, 'yahoo', start, end)

沒法添加fields, 雖能集合適用，但出來的索引挺奇怪的

推薦使用定義函數或用for循環批量獲取數據

總體感覺wind api最舒服，但需要賬號，mac也不能直接調用wind api。還是推薦tushare的pro用法。

小白學習中，請指教=v=

2. 怎麼學python爬取財經信息

本程序使用Python 2.7.6編寫，擴展了Python自帶的HTMLParser，自動根據預設的股票代碼列表，從Yahoo Finance抓取列表中的數據日期、股票名稱、實時報價、當日變化率、當日最低價、當日最高價。

由於Yahoo Finance的股票頁面中的數值都有相應id。

例如納斯達克100指數ETF（QQQ）
其中實時報價的HTML標記為

[html]view plain

• <spanid="yfs_l84_qqq">87.49</span>

而標普500指數ETF（SPY）


其中實時報價的HTML標記為

[html]view plain

• <spanid="yfs_l84_spy">187.25</span>

因此本數據抓取程序根據相應的id字元串來查找數據。具體來說就是先繼承HTMLParser，然後在自定義的子類中重載handle_data(self, data)方法，查找包含相應id字元串（例如實時報價的id字元串為"yfs_l84_"+股票代碼）的HTML標記，並輸出這個HTML標記中的數據（例如qqq的<span id="yfs_l84_qqq">87.49</span>，其中的數據87.49就是實時報價。）

樣本輸出：

數據依次是

數據日期 股票代碼 股票名稱 實時報價 日變化率 日最低價 日最高價

[python]view plain

• 05/05/(IBB)233.281.85%225.34233.28

• 05/05/(SOCL)17.480.17%17.1217.53

• 05/05/(PNQI)62.610.35%61.4662.74

• 05/05/2014xsdSPDRS&PSemiconctorETF(XSD)67.150.12%66.2067.41

• 05/05/2014itaiSharesUSAerospace&Defense(ITA)110.341.15%108.62110.56

• 05/05/2014iaiiSharesUSBroker-Dealers(IAI)37.42-0.21%36.8637.42

• 05/05/(VBK)119.97-0.03%118.37120.09

• 05/05/2014qqqPowerSharesQQQ(QQQ)87.950.53%86.7687.97

• 05/05/2014ewiiSharesMSCIItalyCapped(EWI)17.86-0.56%17.6517.89

• 05/05/(DFE)62.33-0.11%61.9462.39

• 05/05/(PBD)13.030.00%12.9713.05

• 05/05/(EIRL)38.52-0.16%38.3938.60

3. 如何用python在掘金量化抓取數據

TuShare財經數據介面 – 可以直接抓取新浪財經、鳳凰財經的網站數據，包括行情、基本面、經濟數據等等。
完全免費，簡潔易用，API設計得非常友好，提取的數據格式是Pandas的DataFrame。同時可以獲取非高頻實時數據（取決於網站更新速度，同事經驗大約是15秒），一個極好的非高頻股票策略數據解決方案。

4. 如何獲取實時的股票數據

估計你是盤中炒股需要吧？多數股票軟體都有公式系統，例如大智慧、同花順、通達信，都有公式系統，在公式系統中編寫自己的公式，就可以得到自己需要的實時的股票數據了。這些都是免費的。

如果是公司，有專門提供股票行情API介面的，例如微盛的金融實時行情API介面，但這種介面需要程序員才能使用，比較專業。

5. python用什麼方法或者庫可以拿到全部股票代碼

首先你需要知道哪個網站上有所有股票代碼，然後分析這個網站股票代碼的存放方式，再利用python寫一個爬蟲去爬取所有的股票代碼

6. 如何使用Python獲取股票分時成交數據

可以使用爬蟲來爬取數據，在寫個處理邏輯進行數據的整理。你可以詳細說明下你的需求，要爬取的網站等等。
希望我的回答對你有幫助

7. Python量化教程：不得不學的K線圖「代碼復制可用」

不管是對量化分析師還是普通的投資者來說，K線圖（蠟燭圖）都是一種很經典、很重要的工具。在K線圖中，它會繪制每天的最高價、最低價、開盤價和收盤價，這對於我們理解股票的趨勢以及每天的多空對比很有幫助。

一般來說，我們會從各大券商平台獲取K線圖，但是這種情況下獲得的K線圖往往不能靈活調整，也不能適應復雜多變的生產需求。因此我們有必要學習一下如何使用Python繪制K線圖。

需要說明的是，這里mpl_finance是原來的matplotlib.finance，但是現在獨立出來了（而且好像沒什麼人維護更新了），我們將會使用它提供的方法來繪制K線圖；tushare是用來在線獲取股票數據的庫；matplotlib.ticker中有個FuncFormatter()方法可以幫助我們調整坐標軸；matplotlib.pylab.date2num可以幫助我們將日期數據進行必要的轉化。

我們以上證綜指18年9月份以來的行情為例。

我們先使用mpl_finance繪制一下，看看是否一切正常。

可以看到，所有的節假日包括周末，在這里都會顯示為空白，這對於我們圖形的連續性非常不友好，因此我們要解決掉他們。

可以看到，空白問題完美解決，這里我們解釋一下。由於matplotlib會將日期數據理解為 連續數據 ，而連續數據之間的間距是有意義的，所以非交易日即使沒有數據，在坐標軸上還是會體現出來。連續多少個非交易日，在坐標軸上就對應了多少個小格子，但這些小格子上方並沒有相應的蠟燭圖。

明白了它的原理，我們就可以對症下葯了。我們可以給橫坐標（日期）傳入連續的、固定間距的數據，先保證K線圖的繪制是連續的；然後生成一個保存有正確日期數據的列表，接下來，我們根據坐標軸上的數據去取對應的正確的日期，並替換為坐標軸上的標簽即可。

上邊format_date函數就是這個作用。由於前邊我們給dates列生成了從0開始的序列連續數據，因此我們可以直接把它當作索引，從真正的日期列表裡去取對應的數據。在這里我們要使用matplotlib.ticker.FuncFormattter()方法，它允許我們指定一個格式化坐標軸標簽的函數，在這個函數里，我們需要接受坐標軸的值以及位置，並返回自定義的標簽。

你學會了嗎？

當然，一個完整的K線圖到這里並沒有結束，後邊我們會考慮加入均線、成交量等元素，感興趣的同學歡迎關注哦！

8. python如何獲得股票實時交易數據

使用easyquotation這個庫。(不用重復造輪子了)
github地址是：
https://github.com/shidenggui/easyquotation

9. 股票池如何用python構建

股票池用python構建的方法是：使用第三方平台，目前可以使用的是聚寬，對比一下聚寬、優礦、大寬網（已經倒閉了），都大同小異，選哪個都一樣。

雖然這些平台都大同小異，但是代碼可不能簡單復制粘貼，因為底層函數庫是不一樣的，有可能在別的平台根本用不了某個函數，並且簡單復制到自己電腦中的python的話百分之百用不了。

代碼的思路是，每個月底進行調倉，選出市值最小的股票交易，去掉ST/*ST/停牌/漲停的股票，然後選擇最小市值的10隻，基準是創業板綜指，看看結果。

python構建數據獲取方法是：

這里使用為了接下來的操作需要將一定歷史范圍的股票數據下載下來，這里下載起始時間為20160101，截至時間為運行代碼的時間范圍的歷史日線數據。

這里以tushare為例, tushare獲取歷史數據有兩種方式。

第一種是以迭代歷史交易日的方式獲取所有歷史數據，假設獲取三年的歷史數據，一年一般220個交易日左右，那麼3年需要請求660多次左右，如果以這種方式的話，就下載數據的時間只需要1分鍾多點的樣子。

第二種是以迭代所有股票代碼的方式獲取所有歷史數據，股票數量有大概3800多個，需要請求3800多次，但是在積分有限的情況下一分鍾最多請求500次，也就意味著僅下載數據的時間至少需要大概8分鍾時間。

理論上，你獲取的歷史范圍超過17.3年，那麼使用第一種方式才比第二種方式快。

10. 如何使用python 抓取雪球網頁

現在關注一個組合，就會有持倉變動的提示了。不過我覺得這事情挺有意思的。比如可以把很多持倉的數據都抓下來，做一些綜合的分析，看看現在網站上被持有最多的股票是哪一支，某一天被調入最多的又是哪一支之類。
於是我決定來抓抓看，順便藉此說說我通常用程序做自動抓取的過程。
Step.1 分析頁面
要抓一個網頁，首先自然是要「研究」這個網頁。通常我會用兩種方式：
一個是 Chrome 的 Developer Tools。通過它裡面的 Network 功能可以看到頁面發出的所有網路請求，而大多數數據請求都會在 XHR 標簽下。點擊某一個請求，可以看到其具體信息，以及伺服器的返回結果。很多網站在對於某些數據會有專門的請求介面，返回一組 json 或者 XML 格式的數據，供前台處理後顯示。

另一個就是直接查看網頁源代碼。通常瀏覽器的右鍵菜單里都有這個功能。從頁面的 HTML 源碼里直接尋找你要的數據，分析它格式，為抓取做准備。
對於雪球上的一個組合頁面 粗略地看了一下它發出的請求，並沒有如預想那樣直接找到某個數據介面。看源代碼，發現有這樣一段：
SNB.cubeInfo = {"id":10289,"name":"誓把老刀挑下位","symbol":"ZH010389" ...此處略過三千字... "created_date":"2014.11.25"}
SNB.cubePieData = [{"name":"汽車","weight":100,"color":"#537299"}];

cubeInfo 是一個 json 格式的數據，看上去就是我們需要的內容。一般我會找個格式化 json 的網站把數據復制進去方便查看。

這應該就是組合的持倉數據。那麼接下來，一切似乎都簡單了。只要直接發送網頁請求，然後把其中 cubeInfo 這段文字取出，按 json 讀出數據，就完成了抓取。甚至不用動用什麼 BeautifulSoup、正則表達式。
Step.2 獲取頁面
分析完畢，開抓。
直接 urllib.urlopen 向目標網頁發送請求，讀出網頁。結果，失敗了……
看了下返回結果：
403 Forbidden
You don't have permission to access the URL on this server. Sorry for the inconvenience.

被拒了，所以這種赤裸裸地請求是不行的。沒關系，那就稍微包裝一下：
send_headers = {
'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.81 Safari/537.36',
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Connection':'keep-alive',
'Host':'xueqiu.com',
'Cookie':r'xxxxxx',
}
req = urllib2.Request(url, headers=send_headers)
resp = urllib2.urlopen(req)
html = resp.read()

header 數據都可以從 Developer Tools 里拿到。這次順利抓到頁面內容。
一般網站或多或少都會對請求來源做一些阻攔，通過加 header 可以搞定大部分情況。
Step.3 提取數據
因為這個數據比較明顯，直接用通過一些字元串查找和截取操作就可以取出來。
pos_start = html.find('SNB.cubeInfo = ') + len('SNB.cubeInfo = ')
pos_end = html.find('SNB.cubePieData')
data = html[pos_start:pos_end]
dic = json.loads(data)

dic 就是一個包含數據的字典對象。之後想干什麼就隨便你了。
對於復雜一點的情況，可以通過 BeautifulSoup 來定位 html 標簽。再不好辦的，就用正則表達式，基本都可以解決掉。
Step.4 處理數據
因為我想對數據進行持久化存儲，並且做展示和分析，所以我用了 django 里的 ORM 來處理抓下來的數據。
# add Portfolio
portfolio, c = models.Portfolio.objects.get_or_create(code=dic['symbol'])
portfolio.name = dic['name']
portfolio.earnings = dic['total_gain']
portfolio.save()
# add Stock
stocks = dic['view_rebalancing']['holdings']
for s in stocks:
stock, c = models.Stock.objects.get_or_create(code=s['stock_symbol'])
stock.name = s['stock_name']
stock.count += 1
stock.weight += s['weight']
stock.save()

Portfolio 記錄下組合及其收益，Stock則記錄每支股票的被收錄數和總收錄份額。
對於抓取到的，一般也可以存在文件中，或者直接通過 SQL 存入資料庫，視不同情況和個人喜好而定。
Step.5 批量抓取
前面的一套做下來，就完整地抓取了一組數據。要達到目的，還要設計一下批量抓取的程序。
一個要解決的問題就是如何獲得組合列表。這個可以再通過另一個抓取程序來實現。然後根據這些列表來循環抓取就可以了。
若要細究，還要考慮列表如何保存和使用，如何處理抓取失敗和重復抓取，如何控制抓取頻率防止被封，可否並行抓取等等。
Step.6 數據分析
數據有了，你要怎麼用它，這是個很大的問題。可以簡單的統計現象，也可以想辦法深入分析背後隱藏的邏輯。不多說，我也還只是在摸索之中。