導航:首頁 > 數據行情 > python爬取實時股票資料庫

python爬取實時股票資料庫

發布時間:2023-08-26 00:31:32

① 如何用python代碼判斷一段范圍內股票最高點

Copyright © 1999-2020, CSDN.NET, All Rights Reserved




登錄

python+聚寬 統計A股市場個股在某時間段的最高價、最低價及其時間 原創
2019-10-12 09:20:50

開拖拉機的大寶

碼齡4年

關注
使用工具pycharm + 聚寬數據源,統計A股市場個股在某時間段的最高價、最低價及其時間,並列印excel表格輸出

from jqdatasdk import *
import pandas as pd
import logging
import sys
logger = logging.getLogger("logger")
logger.setLevel(logging.INFO)

# 聚寬數據賬戶名和密碼設置
auth('username','password')

#獲取A股列表,包括代號,名稱,上市退市時間等。
security = get_all_securities(types=[], date=None)
pd2 = get_all_securities(['stock'])

# 獲取股票代號
stocks = list(get_all_securities(['stock']).index)

# 獲取股票名稱
stocknames = pd2['display_name']

start_date = '2015-01-01'
end_date = '2018-12-31'
def get_stocks_high_low(start_date,end_date):
# 新建表,表頭列
# 為:"idx","stockcode","stockname","maxvalue","maxtime","lowvalue","lowtime"
result = pd.DataFrame(columns=["idx", "stockcode", "stockname", "maxvalue", "maxtime", "lowvalue", "lowtime"])
for i in range(0,stocks.__len__()-1):
pd01 = get_price(stocks[i], start_date, end_date, frequency='daily',
fields=None, skip_paused=False,fq='pre', count=None)
result=result.append(pd.DataFrame({'idx':[i],'stockcode':[stocks[i]],'stockname':
[stocknames[i]],'maxvalue':[pd01['high'].max()],'maxtime':
[pd01['high'].idxmax()],'lowvalue': [pd01['low'].min()], 'lowtime':
[pd01['low'].idxmin()]}),ignore_index=True)

result.to_csv("stock_max_min.csv",encoding = 'utf-8', index = True)
logger.warning("執行完畢!

② python獲取一隻股票的行情,為什麼出現這么多問題

首先,你要確定下你的庫文件是否安裝正常,測試方法,就是在交互模式下測試。
其次,不要用別名,在試試。
希望能幫到你。。。。

③ 為什麼pandas有國內股票數據

都是公開發行上市的股票,當然會有的,Pandas是數據分析工具包
TuShare是國內股票數據抓取工具,除了股票的實時和歷史數據,還有基本面數據,加上自然語言處理(比如情緒分析),或者機器學習,就比較有趣了。

④ 用Python能做哪些事情

Python作為一門膠水語言,其實能做的事非常多,下面我簡單介紹一下,分為八個方面,主要內容如下:

數據處理

Python提供了大量用於數據處理和科學計算的庫,像numpy,scipy,pandas等,對於矩陣計算、線性代數等,numpy可以快速計算並得到結果,pandas內置的DataFrame類型可以快速處理各種常見的文件,像CSV,Excel,JSon等,是數據分析的利器,在數據處理中經常使用:

可視化

Python數據可視化庫也非常豐富,除了經常使用的matplotlib外,還有許多其他可視化庫,像seaborn,pyecharts等,繪制的圖形種類更豐富,更漂亮,代碼量也更少,非常容易學習,對於日常作圖製表來說,是一個非常不錯的選擇:

機器學習

現在機器學習正火,其實Python裡面也有現成的機器學習模塊可供學習—scikit-learn,對於常見的機器學習演算法,像分類、回歸、聚類、降維等,這個模塊都有現成的代碼可直接使用,非常方便,對於想入門機器學習的朋友來說,這是一個非常不錯的選擇:

神經網路

神經網路起源應該比較早了,目前在圖像領域應用比較廣泛,Python也有現成的神經網路模塊可供使用,比較有名的就是谷歌開源的tensorflow,可以快速構建神經網氏轎絡模型,並支持GPU計算,對於科研人員來說,是一個非常不錯的選擇,當然,除此之虛埋外,還有更高級的theano,keras等,使用也非常方便:

財經金融

對於想快速獲取股票財經數據的朋友來說,Python也有現成的模塊可供使用—tushare,一個免費、開源的財經數據介麵包,可以快速獲取國內股票數據,而且自動整合了數據爬取、清洗到加工的過程,使用起來非常不錯,對於金融分析人員來說,是一個非常不錯的工具:

爬蟲

Python非常適合做網頁爬蟲,像常見的urllib,bs4,requests,lxml等模塊,對於爬取大部分網頁來說非常容易,請求解析於一身,可以快速獲取到我們需要的數據,當然,為了提高開發效率,避免重復造輪子,Python也提供了一個非常受歡迎的爬蟲框架—scrapy,可定製性更高,用戶只需要添加少量代碼,便可快速啟動爬蟲:

游戲開發

對於游戲開發來差核螞說,Python也有一個專門的平台—pygame,專門用於游戲開發,對於開發小型游戲來說,這是一個非常不錯的選擇,擺脫了低級語言的束縛,代碼量更少也更易學習,對於游戲感興趣的朋友來說,這是一個非常不錯的選擇:

視頻下載

對於視頻下載來說,Python也有一個下載利器—you-get,可以免費快速的下載優酷、B站、美拍等網站視頻,不需要登錄,一鍵you-get就可以下載視頻到本地,還支持在線播放功能,除此之外,還可以下載圖片、音頻等文件,是一個非常實用的工具:

目前,就分享這8個方便吧,比較實用也比較有趣,當然,還有許多其他方面的,像Web開發、桌面GUI、測試、運維、樹莓派等,網上也有相關資料可供參考,感興趣的朋友可以自己搜一下,希望以上分享的內容能對你有所幫助吧

⑤ 如何在國泰安資料庫中找上市公司股票期權的數據

基本上需要這些步驟:
(1)用賬號登陸界面,進行頁面數據分析,提取出需要下載的數據
(2)添加cookie和header之類,模擬用戶行為。
(3)遠程下載到本地
這其中要注意設置代理,防止被封IP之類的問題。可以選擇Python爬蟲進行處理。

⑥ 怎樣用python提取不同股票csv里特定時間段的數據

用pandas庫,
import pandas as pd

data = pd.read_csv('train.csv')
train_data = data.values[0:TRAIN_NUM,1:]
train_label = data.values[0:TRAIN_NUM,0]
study.163.com/course/courseMain.htm?courseId=1000035
機器學習正好講了這個手寫識別的例子!

⑦ 如何使用python 抓取雪球網頁

現在關注一個組合,就會有持倉變動的提示了。不過我覺得這事情挺有意思的。比如可以把很多持倉的數據都抓下來,做一些綜合的分析,看看現在網站上被持有最多的股票是哪一支,某一天被調入最多的又是哪一支之類。
於是我決定來抓抓看,順便藉此說說我通常用程序做自動抓取的過程。
Step.1 分析頁面
要抓一個網頁,首先自然是要「研究」這個網頁。通常我會用兩種方式:
一個是 Chrome 的 Developer Tools。通過它裡面的 Network 功能可以看到頁面發出的所有網路請求,而大多數數據請求都會在 XHR 標簽下。點擊某一個請求,可以看到其具體信息,以及伺服器的返回結果。很多網站在對於某些數據會有專門的請求介面,返回一組 json 或者 XML 格式的數據,供前台處理後顯示。

另一個就是直接查看網頁源代碼。通常瀏覽器的右鍵菜單里都有這個功能。從頁面的 HTML 源碼里直接尋找你要的數據,分析它格式,為抓取做准備。
對於雪球上的一個組合頁面 粗略地看了一下它發出的請求,並沒有如預想那樣直接找到某個數據介面。看源代碼,發現有這樣一段:
SNB.cubeInfo = {"id":10289,"name":"誓把老刀挑下位","symbol":"ZH010389" ...此處略過三千字... "created_date":"2014.11.25"}
SNB.cubePieData = [{"name":"汽車","weight":100,"color":"#537299"}];

cubeInfo 是一個 json 格式的數據,看上去就是我們需要的內容。一般我會找個格式化 json 的網站把數據復制進去方便查看。

這應該就是組合的持倉數據。那麼接下來,一切似乎都簡單了。只要直接發送網頁請求,然後把其中 cubeInfo 這段文字取出,按 json 讀出數據,就完成了抓取。甚至不用動用什麼 BeautifulSoup、正則表達式。
Step.2 獲取頁面
分析完畢,開抓。
直接 urllib.urlopen 向目標網頁發送請求,讀出網頁。結果,失敗了……
看了下返回結果:
403 Forbidden
You don't have permission to access the URL on this server. Sorry for the inconvenience.

被拒了,所以這種赤裸裸地請求是不行的。沒關系,那就稍微包裝一下:
send_headers = {
'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.81 Safari/537.36',
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'Connection':'keep-alive',
'Host':'xueqiu.com',
'Cookie':r'xxxxxx',
}
req = urllib2.Request(url, headers=send_headers)
resp = urllib2.urlopen(req)
html = resp.read()

header 數據都可以從 Developer Tools 里拿到。這次順利抓到頁面內容。
一般網站或多或少都會對請求來源做一些阻攔,通過加 header 可以搞定大部分情況。
Step.3 提取數據
因為這個數據比較明顯,直接用通過一些字元串查找和截取操作就可以取出來。
pos_start = html.find('SNB.cubeInfo = ') + len('SNB.cubeInfo = ')
pos_end = html.find('SNB.cubePieData')
data = html[pos_start:pos_end]
dic = json.loads(data)

dic 就是一個包含數據的字典對象。之後想干什麼就隨便你了。
對於復雜一點的情況,可以通過 BeautifulSoup 來定位 html 標簽。再不好辦的,就用正則表達式,基本都可以解決掉。
Step.4 處理數據
因為我想對數據進行持久化存儲,並且做展示和分析,所以我用了 django 里的 ORM 來處理抓下來的數據。
# add Portfolio
portfolio, c = models.Portfolio.objects.get_or_create(code=dic['symbol'])
portfolio.name = dic['name']
portfolio.earnings = dic['total_gain']
portfolio.save()
# add Stock
stocks = dic['view_rebalancing']['holdings']
for s in stocks:
stock, c = models.Stock.objects.get_or_create(code=s['stock_symbol'])
stock.name = s['stock_name']
stock.count += 1
stock.weight += s['weight']
stock.save()

Portfolio 記錄下組合及其收益,Stock則記錄每支股票的被收錄數和總收錄份額。
對於抓取到的,一般也可以存在文件中,或者直接通過 SQL 存入資料庫,視不同情況和個人喜好而定。
Step.5 批量抓取
前面的一套做下來,就完整地抓取了一組數據。要達到目的,還要設計一下批量抓取的程序。
一個要解決的問題就是如何獲得組合列表。這個可以再通過另一個抓取程序來實現。然後根據這些列表來循環抓取就可以了。
若要細究,還要考慮列表如何保存和使用,如何處理抓取失敗和重復抓取,如何控制抓取頻率防止被封,可否並行抓取等等。
Step.6 數據分析
數據有了,你要怎麼用它,這是個很大的問題。可以簡單的統計現象,也可以想辦法深入分析背後隱藏的邏輯。不多說,我也還只是在摸索之中。

⑧ 如何利用一些 finance 資料庫 api 批量獲取股票信息

使用Yahoo API獲取股票信息。

閱讀全文

與python爬取實時股票資料庫相關的資料

熱點內容
一隻梭哈的股票 瀏覽:975
股票換手率跟拉漲停有關系么 瀏覽:874
香港奧馬士股票 瀏覽:165
主力資金流入股票還是不漲 瀏覽:71
上市股票是外賬數據 瀏覽:656
股票賬戶同一個名打新 瀏覽:573
上海花博會影響下股票 瀏覽:434
我國股票盤前交易時間 瀏覽:563
股票發行時間如何計算 瀏覽:596
股票APP中如何查買入股排名 瀏覽:594
員工持股的股票來源 瀏覽:751
女孩子的投資股票經歷 瀏覽:913
富士康內部股票賣了多長時間到賬 瀏覽:572
國際ipo指數etf的股票行情 瀏覽:263
控股股東破產對股票有什麼影響 瀏覽:380
納斯達克股票今日走勢 瀏覽:177
模擬炒股票官方軟體下載 瀏覽:359
股票銷售怎樣和客戶要資金 瀏覽:956
債券和股票的那個風險大 瀏覽:994
華為退休員工可以拿走股票嗎 瀏覽:924