爬虫爬取股票历史交易数据

⑴ 如何用python 爬虫抓取金融数据

获取数据是数据分析中必不可少的一部分，而网络爬虫是是获取数据的一个重要渠道之一。鉴于此，我拾起了Python这把利器，开启了网络爬虫之路。

本篇使用的版本为python3.5，意在抓取证券之星上当天所有A股数据。程序主要分为三个部分：网页源码的获取、所需内容的提取、所得结果的整理。

一、网页源码的获取

很多人喜欢用python爬虫的原因之一就是它容易上手。只需以下几行代码既可抓取大部分网页的源码。

为了减少干扰，我先用正则表达式从整个页面源码中匹配出以上的主体部分，然后从主体部分中匹配出每只股票的信息。代码如下。

pattern=re.compile('<tbody[sS]*</tbody>')
body=re.findall(pattern,str(content)) #匹配<tbody和</tbody>之间的所有代码pattern=re.compile('>(.*?)<')
stock_page=re.findall(pattern,body[0]) #匹配>和<之间的所有信息

其中compile方法为编译匹配模式，findall方法用此匹配模式去匹配出所需信息，并以列表的方式返回。正则表达式的语法还挺多的，下面我只罗列所用到符号的含义。

语法 说明

. 匹配任意除换行符“ ”外的字符

* 匹配前一个字符0次或无限次

？ 匹配前一个字符0次或一次

s 空白字符：[<空格> fv]

S 非空白字符：[^s]

[...] 字符集，对应的位置可以是字符集中任意字符

(...) 被括起来的表达式将作为分组，里面一般为我们所需提取的内容

正则表达式的语法挺多的，也许有大牛只要一句正则表达式就可提取我想提取的内容。在提取股票主体部分代码时发现有人用xpath表达式提取显得更简洁一些，看来页面解析也有很长的一段路要走。

三、所得结果的整理

通过非贪婪模式(.*?)匹配>和<之间的所有数据，会匹配出一些空白字符出来，所以我们采用如下代码把空白字符移除。

stock_last=stock_total[:] #stock_total：匹配出的股票数据for data in stock_total: #stock_last：整理后的股票数据
if data=='':
stock_last.remove('')

最后，我们可以打印几列数据看下效果，代码如下

print('代码',' ','简称',' ',' ','最新价',' ','涨跌幅',' ','涨跌额',' ','5分钟涨幅')for i in range(0,len(stock_last),13): #网页总共有13列数据
print(stock_last[i],' ',stock_last[i+1],' ',' ',stock_last[i+2],' ',' ',stock_last[i+3],' ',' ',stock_last[i+4],' ',' ',stock_last[i+5])

⑵ 如何快速取得股票交易历史数据

以同花顺股票软件为例：首先切换到要下载数据的股票K线形态，按“F1”进入“日线某某股票历史成交”，点击鼠标右键->数据导出->导出所有数据->在“请选择导出的类型”中选择excel或txt,,只有这二种格式可以选择；选取好后点击下一步，在“导入导出对话框模板”中选择你要的项目（如最高价、最低价，开盘价等，默认是全选），点下一步，完成。默认保存路径在桌面上。

⑶ 爬取股票信息是网络爬虫的应用场景吗

网络爬虫可以用来爬取股票信息，因为股票信息可以在互联网上搜索并获取，网络爬虫可以自动收集这些信息。网络爬虫是一种自动地抓取互联网信息的程序，能够按照指定的规则自动地抓取网站上的信息，是一种常见的数据抓取技术。

⑷ 如何用爬虫抓取股市数据并生成分析报表

1. 关于数据采集
股票数据是一种标准化的结构数据，是可以通过API接口访问的（不过一般要通过渠道，开放的API有一定的局限性）。也可以通过爬虫软件进行采集，但是爬虫软件采集数据不能保证实时性，根据数据量和采集周期，可能要延迟几十秒到几分钟不等。我们总结了一套专业的爬虫技术解决方案(Ruby + Sidekiq)。能够很快实现这个采集，也可以后台可视化调度任务。

2. 关于展现
网络股票数据的展现，网页端直接通过HTML5技术就已经足够，如果对界面要求高一点，可以采用集成前端框架，如Bootstrap；如果针对移动端开发， 可以使用Ionic框架。

3. 关于触发事件
如果是采用Ruby on Rails的开发框架的话，倒是很方便了，有如sidekiq, whenever这样子的Gem直接实现任务管理和事件触发。

⑸ 如何利用python抓取美股数据

一 准备环境

1 安装tushare模块包。

pip install tushare

二 注册tushare账号，获取token（目前tushare pro版本必须有token值才能正常访问）

访问https://tushare.pro/register?reg=380388 tushare官网进行注册，然后记录token值备用。

三 开始python编程

Python代码：

import tushare as ts

#设置token

token='你自己的token'

pro = ts.pro_api(token)

#获取002242.SZ日行数据

pa=pro.daily(ts_code='002242.SZ', start_date='20200701',end_date='20200716')

# 打印获取数据

print(pa)

运行程序，可见如下打印，002242.SZ最近两周的数据都在这里了。

⑹ Python 爬取同花顺行业板块日K线数据

最近一直想研究一下行业k线，找了很久，在同花顺找到了获取的url
比如，881129 通信设备板块
http://d.10jqka.com.cn/v4/line/bk_881129/01/last.js 获取日k线数据 但是需要cookie不然只能访问一次
（利用Google浏览器的 右击页面 检查--Network 可以看到页面请求的url）

⑺ 如何使用Python获取股票分时成交数据

可以使用爬虫来爬取数据，在写个处理逻辑进行数据的整理。你可以详细说明下你的需求，要爬取的网站等等。
希望我的回答对你有帮助