python爬蟲爬東方財富股票資料庫

1. 如何用python 爬蟲抓取金融數據

獲取數據是數據分析中必不可少的一部分，而網路爬蟲是是獲取數據的一個重要渠道之一。鑒於此，我拾起了Python這把利器，開啟了網路爬蟲之路。

本篇使用的版本為python3.5，意在抓取證券之星上當天所有A股數據。程序主要分為三個部分：網頁源碼的獲取、所需內容的提取、所得結果的整理。

一、網頁源碼的獲取

很多人喜歡用python爬蟲的原因之一就是它容易上手。只需以下幾行代碼既可抓取大部分網頁的源碼。

為了減少干擾，我先用正則表達式從整個頁面源碼中匹配出以上的主體部分，然後從主體部分中匹配出每隻股票的信息。代碼如下。

pattern=re.compile('<tbody[sS]*</tbody>')
body=re.findall(pattern,str(content)) #匹配<tbody和</tbody>之間的所有代碼pattern=re.compile('>(.*?)<')
stock_page=re.findall(pattern,body[0]) #匹配>和<之間的所有信息

其中compile方法為編譯匹配模式，findall方法用此匹配模式去匹配出所需信息，並以列表的方式返回。正則表達式的語法還挺多的，下面我只羅列所用到符號的含義。

語法 說明

. 匹配任意除換行符「 」外的字元

* 匹配前一個字元0次或無限次

？ 匹配前一個字元0次或一次

s 空白字元：[<空格> fv]

S 非空白字元：[^s]

[...] 字元集，對應的位置可以是字元集中任意字元

(...) 被括起來的表達式將作為分組，裡面一般為我們所需提取的內容

正則表達式的語法挺多的，也許有大牛隻要一句正則表達式就可提取我想提取的內容。在提取股票主體部分代碼時發現有人用xpath表達式提取顯得更簡潔一些，看來頁面解析也有很長的一段路要走。

三、所得結果的整理

通過非貪婪模式(.*?)匹配>和<之間的所有數據，會匹配出一些空白字元出來，所以我們採用如下代碼把空白字元移除。

stock_last=stock_total[:] #stock_total：匹配出的股票數據for data in stock_total: #stock_last：整理後的股票數據
if data=='':
stock_last.remove('')

最後，我們可以列印幾列數據看下效果，代碼如下

print('代碼',' ','簡稱',' ',' ','最新價',' ','漲跌幅',' ','漲跌額',' ','5分鍾漲幅')for i in range(0,len(stock_last),13): #網頁總共有13列數據
print(stock_last[i],' ',stock_last[i+1],' ',' ',stock_last[i+2],' ',' ',stock_last[i+3],' ',' ',stock_last[i+4],' ',' ',stock_last[i+5])

2. 利用python爬蟲技術可以做到哪些炫酷有趣的事

用python爬蟲爬取股票公司網站數據，做短線買股票會提高你買入和拋售的判斷。

3. 東方財富數據中心資金流交易時段能實時查看嗎

dhswgc
如何爬東方財富網資金流的往日數據
東方財富網 ，見下圖，個股資金流 板塊資金流能爬往日的數據嗎？比如爬前一段時間主力凈流入，超大單流入等

行業板塊資金流向排行 _ 數據中心 _ 東方財富網
​
data.eastmoney.com
圖標

編輯於 06-20
著作權歸作者所有 · 申請轉載
分享到
​
​
​
股票
金融
python爬蟲
評論

添加評論...
推薦閱讀
中國股市：我最看好的一份科技龍頭，未來翻倍空間至少50倍（名單）
A市觀票的文章 · 352 贊同
爬取東方財富網當日股票交易情況
介紹爬蟲內容爬蟲的第一步是得到數據的存放地址，因此，爬取股票行情數據之前，第一步的工作是解析網頁，尋找數據的url。 東方財富網股票行情界面如圖： 此頁面的鏈接為： 行情中心：國內最…
依若學術的文章 · 1 贊同
A股養家，走進游資大佬——歡樂海岸
歡樂海岸之所以被稱作為歡樂海岸，是因為其席位叫做中泰證券深圳歡樂海岸證券營業部，當然協同席位超過10個，通道極好，其資金規模超10億，對龍頭股主升浪情有獨鍾，並且敢於鎖倉，市場號召…
傅盤的文章 · 5 贊同
【盤點】十大熱門股票app
當今社會經濟快速發展，老百姓的生活也是越過越滋潤，加之隨著互聯網的發展，各種信息滲透我們的生活，越來越多的人了解到投資理財的重要性，炒股成為當下熱門的投資方式。但是對於炒股軟體…
愛飛翔的的文章 · 15 贊同
北上跑了，全球股市躺了，白銀崩了！
laod...的文章 · 9 贊同
北上跑了，全球股市躺了，白銀崩了！
9.21 午評 : 解析北上行為
周五北上資金大筆買入，創了3個月流入新高，94億。 今天又大筆賣出…
laod...的文章 · 6 贊同
9.21 午評 : 解析北上行為
資金凈流入/流出
關於資金的凈流入和凈流出問題，我個人一直很是疑惑，股票既然是一…
小馬說券的文章 · 24 贊同
資金凈流入/流出
比茅台還穩的「低調」牛股？年內上漲240%，背後有何貓膩？
股浪風乘的文章 · 15 贊同
數據採集-python爬蟲項目-3.股票新聞抓取和輿情分析（附代碼）
懶懶的兔...的文章
數據採集-python爬蟲項目-3.股票新聞抓取和輿情分析（附代碼）

4. python用什麼方法或者庫可以拿到全部股票代碼

首先你需要知道哪個網站上有所有股票代碼，然後分析這個網站股票代碼的存放方式，再利用python寫一個爬蟲去爬取所有的股票代碼

5. Python 如何爬股票數據

現在都不用爬數據拉，很多量化平台能提供數據介面的服務。像比如基礎金融數據，包括滬深A股行情數據，上市公司財務數據，場內基金數據，指數數據，期貨數據以及宏觀經濟數據；或者Alpha特色因子，技術分析指標因子，股票tick數據以及網路因子數據這些數據都可以在JQData這種數據服務中找到的。
有的供應商還能提供level2的行情數據，不過這種比較貴，幾萬塊一年吧

6. python怎麼抓取東方財富實時數據

這種代碼在csdn網站上輕輕鬆鬆就可以找到。

7. 一般公司用python爬蟲爬取什麼內容

由於項目需求收集並使用過一些爬蟲相關庫，做過一些對比分析。以下是我接觸過的一些庫：