爬取股票交易数据

‘壹’ 如何编程从免费股票软件中提取实时数据

自己写程序的话，一种方法是从已提供的信息源，例如webservice获取数据。还有种办法就是去连接提供即时信息的网页硬解析。

代码举例如下：

Created on Thu Jul 23 09:17:27 2015
@author: jet
"""
DAY_PRICE_COLS = ['date', 'open', 'high', 'close', 'low', 'volume',
'chg', '%chg', 'ma5', 'ma10', 'ma20',
'vma5', 'vma10', 'vma20', 'turnover']
DAY_PRICE_URL = '%sapi.finance.%s/%s/?code=%s&type=last'
INDEX_KEY = ['SH', 'SZ', 'HS300', 'SZ50', 'GEB', 'SMEB']
INDEX_LIST = {'SH': 'sh000001', 'SZ': 'sz399001', 'HS300': 'sz399300',
'SZ50': 'sh000016', 'GEB': 'sz399006', 'SMEB': 'sz399005'}
INDEX_DAY_PRICE_COLS= ['date', 'open', 'high', 'close', 'low', 'volume',
'chg', '%chg', 'ma5', 'ma10', 'ma20',
'vma5', 'vma10', 'vma20']
K_TYPE_KEY = ['D', 'W', 'M']
K_TYPE_MIN_KEY = ['5', '15', '30', '60']
K_TYPE = {'D': 'akdaily', 'W': 'akweekly', 'M': 'akmonthly'}
MIN_PRICE_URL = '%sapi.finance.%s/akmin?scode=%s&type=%s'
PAGE_TYPE = {'http': 'http://', 'ftp': 'ftp://'}
PAGE_DOMAIN = {'sina': 'sina.com.cn', 'ifeng': 'ifeng.com'}
URL_ERROR_MSG = '获取失败，请检查网络状态，或者API端口URL已经不匹配！'

get_hist_data.py
# -*- coding: utf-8 -*-
"""
Created on Thu Jul 23 09:15:40 2015
@author: jet
"""
import const as ct
import pandas as pd
import json
from urllib2 import urlopen,Request

def get_hist_data(code = None, start = None, end = None, ktype = 'D'):
"""
功能:
获取个股历史交易数据
--------
输入:
--------
code:string
股票代码 比如:601989
start:string
开始日期 格式:YYYY-MM-DD 为空时取到API所提供的最早日期数据
end:string
结束日期 格式:YYYY-MM-DD 为空时取到最近一个交易日数据
ktype:string(default=D, 函数内部自动统一为大写)
数据类型 D=日K线，W=周K线，M=月K线，5=5分钟，15=15分钟
30=30分钟，60=60分钟
输出:
--------
DataFrame
date 日期
open 开盘价
high 最高价
close 收盘价
low 最低价
chg 涨跌额
p_chg 涨跌幅
ma5 5日均价
ma10 10日均价
ma20 20日均价
vma5 5日均量
vma10 10日均量
vma20 20日均量
turnover换手率(指数无此项)
"""
code = code_to_APIcode(code.upper())
ktype = ktype.upper()

url = ''
url = get_url(ktype, code)
print(url)

js = json.loads(ping_API(url))
cols = []

if len(js['record'][0]) == 14:
cols = ct.INDEX_DAY_PRICE_COLS
else:
cols = ct.DAY_PRICE_COLS
df = pd.DataFrame(js['record'], columns=cols)

if ktype in ct.K_TYPE_KEY:
df = df.applymap(lambda x:x.replace(u',', u''))
for col in cols[1:]:
df[col]=df[col].astype(float)
if start is not None:
df = df [df.date >= start]
if end is not None:
df = df[df.date <= end]
df = df.set_index('date')
return df

def code_to_APIcode(code):
"""
功能：
验证输入的股票代码是否正确，若正确则返回API对应使用的股票代码
"""
print(code)
if code in ct.INDEX_KEY:
return ct.INDEX_LIST[code]
else:
if len(code) != 6:
raise IOError('code input error!')
else:
return 'sh%s'%code if code[:1] in ['5', '6'] else 'sz%s'%code

def get_url(ktype, code):
"""
功能：
验证输入的K线类型是否正确，若正确则返回url
"""
if ktype in ct.K_TYPE_KEY:
url = ct.DAY_PRICE_URL % (ct.PAGE_TYPE['http'], ct.PAGE_DOMAIN['ifeng'],
ct.K_TYPE[ktype], code)
return url
elif ktype in ct.K_TYPE_MIN_KEY:
url = ct.MIN_PRICE_URL % (ct.PAGE_TYPE['http'], ct.PAGE_DOMAIN['ifeng'],
code, ktype)
return url
else:
raise IOError('ktype input error!')

def ping_API(url):
"""
功能：
向API发送数据请求，若链接正常返回数据
"""
text = ''
try:
req = Request(url)
text = urlopen(req,timeout=10).read()
if len(text) < 15:
raise IOError('no data!')
except Exception as e:
print(e)
else:
return text

#测试入口
print(get_hist_data('601989','2015-07-11','2015-07-22'))

‘贰’ 如何下载股票历史成交数据到Excel或txt

以华中智能股票软件为例：（以Think pad X13 锐龙版笔记本电脑，Windows 10 操作为例）首先切换到要下载数据的股票K线形态，按“F1”进入“日线某某股票历史成交”，点击鼠标右键->数据导出->导出所有数据->在“请选择导出的类型”中选择excel或txt
补充资料：
如何获取所有股票历史数据：
如果要对股市进行分析，首先就要获取所有股票的历史数据，只有通过股票的历史数据，我们才能分析出股市的规律。
（以Think pad X13 锐龙版笔记本电脑，Windows 10 操作为例）
一、工具/原料
1、EXCEL2007或者以上版本，不能使用WPS
2、电脑1g内存1核处理器及以上配置
3、拥有较强逻辑分析能力以及少量智慧及以上的大脑一颗
方法/步骤：
第一步，获取股票代码，复制其中一部分到第一个工作表A4到A127，然后通过程序把每一个代码写入到不同的工作表A2位置，并对该工作表以该股票代码命名。程序如下：
Sub 工作表命名()
For i = 4 To 127
Sheets(i).Range("a2") = "'" & Sheets(1).Range("a" & i)
Next i
For i = 4 To Sheets.Count
Sheets(i).Name = Sheets(i).Range("a2").Value
Next
End Sub
第二步，获取股票历史数据。代码如下：
Private Function GetSource(sURL As String) As String
Dim oXHTTP As Object
Set oXHTTP = CreateObject("MSXML2.XMLHTTP")
oXHTTP.Open "GET"， sURL， False
oXHTTP.Send
GetSource = oXHTTP.responsetext
Set oXHTTP = Nothing
End Function
Sub 历史数据()
Dim objXML As Object
Dim txtContent As String
Dim i As Integer
Dim strCode As String
Dim gp As String
Dim kaishihang
Dim arr， arr1， arr2， arr3， arr4， arr5， arr6， arr7， arr8， arr9， arr10， arr11
On Error Resume Next
EndRow = Range("a65536").End(xlUp).Row
startRow = 4
If startRow <= EndRow Then
Range(Cells(startRow， 1)， Cells(EndRow， 11)).Value = ""
Else
Exit Sub
End If
Set objXML = CreateObject("Microsoft.XMLHTTP")
gp = [A2]
For h = 1 To 4
For m = 1 To 4
kaishihang = [A65535].End(xlUp).Row
nian = Replace(Str(Year(Now) + 1 - h)， " "， "")
ji = Replace(Str(4 + 1 - m)， " "， "")
With objXML
.Open "GET"， "http://quotes.money.163.com/trade/lsjyj_" + gp + ".html?year=" + nian + "&season=" + ji + ""， False
.Send
If objXML.Status = 200 Then
txtContent = .responsetext
arr = Split(txtContent， "'>")
For i = 1 To UBound(arr)
arr1 = Split(arr(i)， " Cells(i + kaishihang， 1) = Right(Left(arr1(0)， 10)， 10)
arr2 = Split(arr1(1)， Chr(60))
Cells(i + kaishihang， 2) = Mid(arr2(0)， InStr(arr2(0)， ">") + 1)
arr3 = Split(arr1(2)， Chr(60))
Cells(i + kaishihang， 3) = Mid(arr3(0)， InStr(arr3(0)， ">") + 1)
arr4 = Split(arr1(3)， Chr(60))
Cells(i + kaishihang， 4) = Mid(arr4(0)， InStr(arr4(0)， ">") + 1)
arr5 = Split(arr1(4)， Chr(60))
Cells(i + kaishihang， 5) = Mid(arr5(0)， InStr(arr5(0)， ">") + 1)
arr6 = Split(arr1(5)， Chr(60))
Cells(i + kaishihang， 6) = Mid(arr6(0)， InStr(arr6(0)， ">") + 1)
arr7 = Split(arr1(6)， Chr(60))
Cells(i + kaishihang， 7) = Mid(arr7(0)， InStr(arr7(0)， ">") + 1)
arr8 = Split(arr1(7)， Chr(60))
Cells(i + kaishihang， 8) = Mid(arr8(0)， InStr(arr8(0)， ">") + 1)
arr9 = Split(arr1(8)， Chr(60))
Cells(i + kaishihang， 9) = Mid(arr9(0)， InStr(arr9(0)， ">") + 1)
arr10 = Split(arr1(9)， Chr(60))
Cells(i + kaishihang， 10) = Mid(arr10(0)， InStr(arr10(0)， ">") + 1)
arr11 = Split(arr1(10)， Chr(60))
Cells(i + kaishihang， 11) = Mid(arr11(0)， InStr(arr11(0)， ">") + 1)
Next i
End If
End With
Next m
Next h
Set objXML = Nothing
End Sub
第三步，获取上证历史数据，并获取所有股票的历史数据。程序如下：
Sub 所有股票历史数据获取()
Application.ScreenUpdating = False
Dim s As String， gp As String， nian As String， ji As String， s1 As String
Dim arr， arr1， arr2， arr3， arr4， arr5， arr6， arr7， arr8， arr9
Dim i， h As Long
Dim kaishihang
Dim LastRow As Long， r As Long
On Error Resume Next
EndRow = Sheet2.Range("a65536").End(xlUp).Row
startRow = 4
If startRow <= EndRow Then
Sheet2.Range(Sheet2.Cells(startRow， 1)， Sheet2.Cells(EndRow， 9)).Value = ""
Else
Exit Sub
End If
For h = 1 To 5
For m = 1 To 4
kaishihang = Sheet2.[A65535].End(xlUp).Row
nian = Replace(Str(Year(Now) + 1 - h)， " "， "")
ji = Replace(Str(4 + 1 - m)， " "， "")
s1 = "http://quotes.money.163.com/trade/lsjysj_shu_000001.html?year=" + nian + "&season=" + ji + ""
s = GetSource(s1)
arr = Split(s， "'>")
For i = 1 To UBound(arr)
arr1 = Split(arr(i)， " Sheet2.Cells(i + kaishihang， 1) = Right(Left(arr1(0)， 4)， 4) & "-" & Right(Left(arr1(0)， 6)， 2) & "-" & Right(Left(arr1(0)， 10)， 2)
arr2 = Split(arr1(1)， Chr(60))
Sheet2.Cells(i + kaishihang， 2) = Mid(arr2(0)， InStr(arr2(0)， ">") + 1)
arr3 = Split(arr1(2)， Chr(60))
Sheet2.Cells(i + kaishihang， 3) = Mid(arr3(0)， InStr(arr3(0)， ">") + 1)
arr4 = Split(arr1(3)， Chr(60))
Sheet2.Cells(i + kaishihang， 4) = Mid(arr4(0)， InStr(arr4(0)， ">") + 1)
arr5 = Split(arr1(4)， Chr(60))
Sheet2.Cells(i + kaishihang， 5) = Mid(arr5(0)， InStr(arr5(0)， ">") + 1)
arr6 = Split(arr1(5)， Chr(60))
Sheet2.Cells(i + kaishihang， 6) = Mid(arr6(0)， InStr(arr6(0)， ">") + 1)
arr7 = Split(arr1(6)， Chr(60))
Sheet2.Cells(i + kaishihang， 7) = Mid(arr7(0)， InStr(arr7(0)， ">") + 1)
arr8 = Split(arr1(7)， Chr(60))
Sheet2.Cells(i + kaishihang， 8) = Mid(arr8(0)， InStr(arr8(0)， ">") + 1)
arr9 = Split(arr1(8)， Chr(60))
Sheet2.Cells(i + kaishihang， 9) = Mid(arr9(0)， InStr(arr9(0)， ">") + 1)
Next i
Next m
Next h
Application.ScreenUpdating = True
n = Worksheets.Count
For i = 4 To n
Worksheets(i).Activate
历史数据
Next
End Sub
第四步，保存工作簿，并对该工作簿命名为1，然后复制该工作簿27份，把所有股票代码写入每一个工作簿第一个工作表的A3到A127列。然后根据第一步对工作簿内的工作表命名，并在每一个工作表A2单元格内写入股票代码。
第五步，把这些工作簿存放到炒股文件夹下的数据库文件下。然后在炒股文件夹下新建一个工作簿，命名为“一键更新表格”，写入如下代码：
Sub 所有股票历史数据更新()
Dim wb As Workbook
For i = 1 To 27
Set wb = Workbooks.Open(ThisWorkbook.Path & "数据库" & i & "".xlsb"")
Application.Run ""'"" & wb.Path & """" & i & "".xlsb'!所有股票历史数据获取""
wb.Save
wb.Close
Next i
End sub
当启动这一段代码以后，程序会自动一个一个的打开对应的工作簿然后获取里面所有股票的历史数据，存放在对应的工作表当中。
第六步，对相应的程序添加按钮，这样，我们在启动对应程序时，只需要点一下对应的按钮就可以实现了。这样，我们通过多个工作簿就实现了获取所有股票历史数据的方法。而后面，我们只需要通过获取对应股票每一天的历史数据，我们就能够在任意一天很快速的能够拥有所有股票的历史数据了。
注意事项
1、在后续需要对这些数据进行分析，里面会加入很多计算，所以启动所有历史数据更新时，我们应该要关闭自动更新。
2、因为历史数据很大，所以这里只获取四年的数据，想要获取更多数据，可以更改程序里面 “For h = 1 To 5”的那个5即可。
3、历史数据的获取需要较长的时间，要提前做好准备。
4、如果你想要弄清楚用EXCEL建立炒股系统的整套方法，请看后续内容。"

‘叁’ 爬虫股票数据违法吗

摘要 另外，还有下列三种情况，爬虫有可能违法，严重的甚至构成犯罪：

‘肆’ 如何使用Python获取股票分时成交数据

可以使用爬虫来爬取数据，在写个处理逻辑进行数据的整理。你可以详细说明下你的需求，要爬取的网站等等。
希望我的回答对你有帮助

‘伍’ 如何快速取得股票交易历史数据

示例：

最近二十天左右的每5分钟数据

网页链接

（参数：股票编号、分钟间隔（5、15、30、60）、均值（5、10、15、20、25）、查询个数点（最大值242））

返回数据格式：日期、开盘价、最高价、最低价、收盘价、成交量

‘陆’ 怎么抓取股票数据

那么中国股市的数据有没有呢？答案是肯定的，不过要按照下面的参数做些调整，下面提供全球证券交易所的资料。
上证股票是股票代码后面加上.ss，深证股票是股票代码后面加上.sz
例如：000001 = 000001.sz
深市数据链接：http://table.finance.yahoo.com/table.csv?s=000001.sz
上市数据链接：http://table.finance.yahoo.com/table.csv?s=600000.ss
上证综指代码：000001.ss，深证成指代码：399001.SZ，沪深300代码：000300.ss
下面就是世界股票交易所的网址和缩写，要查找哪个股票交易所的数据，就按照上面的格式以此类推。
上海交易所=cn.finance.yahoo.com,.SS,Chinese,sl1d1t1c1ohgv
深圳交易所=cn.finance.yahoo.com,.SZ,Chinese,sl1d1t1c1ohgv
美国交易所=finance.yahoo.com,,United States,sl1d1t1c1ohgv
加拿大=ca.finance.yahoo.com,.TO,Toronto,sl1d1t1c1ohgv
新西兰=au.finance.yahoo.com,.NZ,sl1d1t1c1ohgv
新加坡=sg.finance.yahoo.com,.SI,Singapore,sl1d1t1c1ohgv
香港=hk.finance.yahoo.com,.HK,Hong Kong,sl1d1t1c1ohgv
台湾=tw.finance.yahoo.com,.TW,Taiwan,sl1d1t1c1ohgv
印度=in.finance.yahoo.com,.BO,Bombay,sl1d1t1c1ohgv
伦敦=uk.finance.yahoo.com,.L,London,sl1d1t1c1ohgv
澳洲=au.finance.yahoo.com,.AX,Sydney,sl1d1t1c1ohgv
巴西=br.finance.yahoo.com,.SA,Sao Paulo,sl1d1t1c1ohgv
瑞典=se.finance.yahoo.com,.ST,Stockholm,sl1d1t1c1ohgv
以上方法只能提供历史数据，实时数据不能抓取，此方法由ArthurXF提供

‘柒’ 如何用python 爬虫抓取金融数据

获取数据是数据分析中必不可少的一部分，而网络爬虫是是获取数据的一个重要渠道之一。鉴于此，我拾起了Python这把利器，开启了网络爬虫之路。

本篇使用的版本为python3.5，意在抓取证券之星上当天所有A股数据。程序主要分为三个部分：网页源码的获取、所需内容的提取、所得结果的整理。

一、网页源码的获取

很多人喜欢用python爬虫的原因之一就是它容易上手。只需以下几行代码既可抓取大部分网页的源码。

为了减少干扰，我先用正则表达式从整个页面源码中匹配出以上的主体部分，然后从主体部分中匹配出每只股票的信息。代码如下。

pattern=re.compile('<tbody[sS]*</tbody>')
body=re.findall(pattern,str(content)) #匹配<tbody和</tbody>之间的所有代码pattern=re.compile('>(.*?)<')
stock_page=re.findall(pattern,body[0]) #匹配>和<之间的所有信息

其中compile方法为编译匹配模式，findall方法用此匹配模式去匹配出所需信息，并以列表的方式返回。正则表达式的语法还挺多的，下面我只罗列所用到符号的含义。

语法 说明

. 匹配任意除换行符“ ”外的字符

* 匹配前一个字符0次或无限次

？ 匹配前一个字符0次或一次

s 空白字符：[<空格> fv]

S 非空白字符：[^s]

[...] 字符集，对应的位置可以是字符集中任意字符

(...) 被括起来的表达式将作为分组，里面一般为我们所需提取的内容

正则表达式的语法挺多的，也许有大牛只要一句正则表达式就可提取我想提取的内容。在提取股票主体部分代码时发现有人用xpath表达式提取显得更简洁一些，看来页面解析也有很长的一段路要走。

三、所得结果的整理

通过非贪婪模式(.*?)匹配>和<之间的所有数据，会匹配出一些空白字符出来，所以我们采用如下代码把空白字符移除。

stock_last=stock_total[:] #stock_total：匹配出的股票数据for data in stock_total: #stock_last：整理后的股票数据
if data=='':
stock_last.remove('')

最后，我们可以打印几列数据看下效果，代码如下

print('代码',' ','简称',' ',' ','最新价',' ','涨跌幅',' ','涨跌额',' ','5分钟涨幅')for i in range(0,len(stock_last),13): #网页总共有13列数据
print(stock_last[i],' ',stock_last[i+1],' ',' ',stock_last[i+2],' ',' ',stock_last[i+3],' ',' ',stock_last[i+4],' ',' ',stock_last[i+5])

‘捌’ Python 如何爬股票数据

现在都不用爬数据拉，很多量化平台能提供数据接口的服务。像比如基础金融数据，包括沪深A股行情数据，上市公司财务数据，场内基金数据，指数数据，期货数据以及宏观经济数据；或者Alpha特色因子，技术分析指标因子，股票tick数据以及网络因子数据这些数据都可以在JQData这种数据服务中找到的。
有的供应商还能提供level2的行情数据，不过这种比较贵，几万块一年吧

‘玖’ java 如何实现 获取实时股票数据

一般有三种方式：

1. 网页爬虫。采用爬虫去爬取目标网页的股票数据，去GitHub或技术论坛（如CSDN、51CTO）上找一下别人写的爬虫集成到项目中。

2. 请求第三方API。会有专门的公司（例如网络API市场）提供股票数据，你只需要去购买他们的服务，使用他们提供的SDK，仿照demo开发实现即可。如下图所示：

‘拾’ 如何获取股票交易数据

你指的交易数据是什么，如果是自己的交易数据的话，你使用的券商是会提供每次交易的交割单的，在交易软件上也能看到你每笔交易的委托和成交明细。
如果是市场上所有人的交易数据的话，这个是拿不到的。能拿到交易数据的都是各大券商，交易所和上市公司，但是上市公司是只能拿到自己公司的股票交易数据。