python爬虫爬东方财富股票数据库

1. 如何用python 爬虫抓取金融数据

获取数据是数据分析中必不可少的一部分，而网络爬虫是是获取数据的一个重要渠道之一。鉴于此，我拾起了Python这把利器，开启了网络爬虫之路。

本篇使用的版本为python3.5，意在抓取证券之星上当天所有A股数据。程序主要分为三个部分：网页源码的获取、所需内容的提取、所得结果的整理。

一、网页源码的获取

很多人喜欢用python爬虫的原因之一就是它容易上手。只需以下几行代码既可抓取大部分网页的源码。

为了减少干扰，我先用正则表达式从整个页面源码中匹配出以上的主体部分，然后从主体部分中匹配出每只股票的信息。代码如下。

pattern=re.compile('<tbody[sS]*</tbody>')
body=re.findall(pattern,str(content)) #匹配<tbody和</tbody>之间的所有代码pattern=re.compile('>(.*?)<')
stock_page=re.findall(pattern,body[0]) #匹配>和<之间的所有信息

其中compile方法为编译匹配模式，findall方法用此匹配模式去匹配出所需信息，并以列表的方式返回。正则表达式的语法还挺多的，下面我只罗列所用到符号的含义。

语法 说明

. 匹配任意除换行符“ ”外的字符

* 匹配前一个字符0次或无限次

？ 匹配前一个字符0次或一次

s 空白字符：[<空格> fv]

S 非空白字符：[^s]

[...] 字符集，对应的位置可以是字符集中任意字符

(...) 被括起来的表达式将作为分组，里面一般为我们所需提取的内容

正则表达式的语法挺多的，也许有大牛只要一句正则表达式就可提取我想提取的内容。在提取股票主体部分代码时发现有人用xpath表达式提取显得更简洁一些，看来页面解析也有很长的一段路要走。

三、所得结果的整理

通过非贪婪模式(.*?)匹配>和<之间的所有数据，会匹配出一些空白字符出来，所以我们采用如下代码把空白字符移除。

stock_last=stock_total[:] #stock_total：匹配出的股票数据for data in stock_total: #stock_last：整理后的股票数据
if data=='':
stock_last.remove('')

最后，我们可以打印几列数据看下效果，代码如下

print('代码',' ','简称',' ',' ','最新价',' ','涨跌幅',' ','涨跌额',' ','5分钟涨幅')for i in range(0,len(stock_last),13): #网页总共有13列数据
print(stock_last[i],' ',stock_last[i+1],' ',' ',stock_last[i+2],' ',' ',stock_last[i+3],' ',' ',stock_last[i+4],' ',' ',stock_last[i+5])

2. 利用python爬虫技术可以做到哪些炫酷有趣的事

用python爬虫爬取股票公司网站数据，做短线买股票会提高你买入和抛售的判断。

3. 东方财富数据中心资金流交易时段能实时查看吗

dhswgc
如何爬东方财富网资金流的往日数据
东方财富网 ，见下图，个股资金流 板块资金流能爬往日的数据吗？比如爬前一段时间主力净流入，超大单流入等

行业板块资金流向排行 _ 数据中心 _ 东方财富网
​
data.eastmoney.com
图标

编辑于 06-20
着作权归作者所有 · 申请转载
分享到
​
​
​
股票
金融
python爬虫
评论

添加评论...
推荐阅读
中国股市：我最看好的一份科技龙头，未来翻倍空间至少50倍（名单）
A市观票的文章 · 352 赞同
爬取东方财富网当日股票交易情况
介绍爬虫内容爬虫的第一步是得到数据的存放地址，因此，爬取股票行情数据之前，第一步的工作是解析网页，寻找数据的url。 东方财富网股票行情界面如图： 此页面的链接为： 行情中心：国内最…
依若学术的文章 · 1 赞同
A股养家，走进游资大佬——欢乐海岸
欢乐海岸之所以被称作为欢乐海岸，是因为其席位叫做中泰证券深圳欢乐海岸证券营业部，当然协同席位超过10个，通道极好，其资金规模超10亿，对龙头股主升浪情有独钟，并且敢于锁仓，市场号召…
傅盘的文章 · 5 赞同
【盘点】十大热门股票app
当今社会经济快速发展，老百姓的生活也是越过越滋润，加之随着互联网的发展，各种信息渗透我们的生活，越来越多的人了解到投资理财的重要性，炒股成为当下热门的投资方式。但是对于炒股软件…
爱飞翔的的文章 · 15 赞同
北上跑了，全球股市躺了，白银崩了！
laod...的文章 · 9 赞同
北上跑了，全球股市躺了，白银崩了！
9.21 午评 : 解析北上行为
周五北上资金大笔买入，创了3个月流入新高，94亿。 今天又大笔卖出…
laod...的文章 · 6 赞同
9.21 午评 : 解析北上行为
资金净流入/流出
关于资金的净流入和净流出问题，我个人一直很是疑惑，股票既然是一…
小马说券的文章 · 24 赞同
资金净流入/流出
比茅台还稳的“低调”牛股？年内上涨240%，背后有何猫腻？
股浪风乘的文章 · 15 赞同
数据采集-python爬虫项目-3.股票新闻抓取和舆情分析（附代码）
懒懒的兔...的文章
数据采集-python爬虫项目-3.股票新闻抓取和舆情分析（附代码）

4. python用什么方法或者库可以拿到全部股票代码

首先你需要知道哪个网站上有所有股票代码，然后分析这个网站股票代码的存放方式，再利用python写一个爬虫去爬取所有的股票代码

5. Python 如何爬股票数据

现在都不用爬数据拉，很多量化平台能提供数据接口的服务。像比如基础金融数据，包括沪深A股行情数据，上市公司财务数据，场内基金数据，指数数据，期货数据以及宏观经济数据；或者Alpha特色因子，技术分析指标因子，股票tick数据以及网络因子数据这些数据都可以在JQData这种数据服务中找到的。
有的供应商还能提供level2的行情数据，不过这种比较贵，几万块一年吧

6. python怎么抓取东方财富实时数据

这种代码在csdn网站上轻轻松松就可以找到。

7. 一般公司用python爬虫爬取什么内容

由于项目需求收集并使用过一些爬虫相关库，做过一些对比分析。以下是我接触过的一些库：