股票数据采集及处理

① 股票数据有办法采集或者实时监控么

之前采过股市数据，用的是小帮软件机器人这个小工具。
这个软件他自身有数据监控和挖掘分析功能，可以实时监测股票数据的异动，
采集的结果自动生成分析报表，直接浏览就行了，还是很方便的，你可以去看看。
操作也是不难，非计算机专业的人也能使。

② 数据采集的方法有哪两类

1、离线搜集：

工具：ETL;

在数据仓库的语境下，ETL基本上便是数据搜集的代表，包括数据的提取(Extract)、转换(Transform)和加载(Load)。在转换的过程中，需求针对具体的事务场景对数据进行治理，例如进行不合法数据监测与过滤、格式转换与数据规范化、数据替换、确保数据完整性等。

2、实时搜集：

工具：Flume/Kafka;

实时搜集首要用在考虑流处理的事务场景，比方，用于记录数据源的履行的各种操作活动，比方网络监控的流量办理、金融运用的股票记账和 web 服务器记录的用户访问行为。在流处理场景，数据搜集会成为Kafka的顾客，就像一个水坝一般将上游源源不断的数据拦截住，然后依据事务场景做对应的处理(例如去重、去噪、中心核算等)，之后再写入到对应的数据存储中。

3、互联网搜集：

工具：Crawler, DPI等;

Scribe是Facebook开发的数据(日志)搜集体系。又被称为网页蜘蛛，网络机器人，是一种按照一定的规矩，自动地抓取万维网信息的程序或者脚本，它支持图片、音频、视频等文件或附件的搜集。

除了网络中包含的内容之外，关于网络流量的搜集能够运用DPI或DFI等带宽办理技术进行处理。

4、其他数据搜集方法

关于企业生产经营数据上的客户数据，财务数据等保密性要求较高的数据，能够通过与数据技术服务商合作，运用特定体系接口等相关方式搜集数据。比方八度云核算的数企BDSaaS，无论是数据搜集技术、BI数据剖析，还是数据的安全性和保密性，都做得很好。

③ 如何获取实时的股票数据

要跟供应商协商得到他的接口才能得到实时股票行情数据；
股票实时行情，可以通过两个方法来进行查看：
第一种，在网络搜索页面直接输入股票代码，如：000717，网络输入后，即可在搜索结果中看到，其中分时，就是该股票在当天的实时走向。

第二种，通过炒股软件，如东财，同花顺等，在开启后，直接输入，股票代码，如600854，点击回车。进入的第一个页面就是该股票在当天的实时行情。

同时在股票软件的分时成交界面，可以查看到每一分钟的成交价和手数。股票行情趋势判断必要时也需要结合分时成交界面的数据来进行判断。

查看其它股票的行情也是一样的道理，直接键入该股票的代码就可以查看到该股票当天或某个时间段内的行情。当然，精准的行情走势、趋势，是需要结合多种指标来共同进行分析的。

④ 股市数据如何获取

股市的数据通过炒股软件，每天就可以自动收取

⑤ 想要金融类数据，应该如何收集

金融大数据平台的搭建和应用是两个部分，对于金融大数据平台来说，这两个部分都很重要。

所以以下的部分我们从大数据平台和银行可以分析哪些指标这两个角度来阐述。

一、大数据平台

大数据平台的整体架构可以由以下几个部分组成：

1.一个客户

客户主题：客户属性（客户编号、客户类别）、指标（资产总额、持有产品、交易笔数、交易金额、RFM）、签约（渠道签约、业务签约）组成宽表

2.做了一笔交易

交易主题：交易金融属性、业务类别、支付通道组成宽表。

3.使用哪个账户

账户主题：账户属性（所属客户、开户日期、所属分行、产品、利率、成本）组成宽表

4.通过什么渠道

渠道主题：渠道属性、维度、限额组成宽表

5.涉及哪类业务&产品

产品主题：产品属性、维度、指标组成宽表

⑥ 网友们，股票自动化工具可以做数据采集和实时数据监控吗

当然可以拉，小 帮有这个领域的应用
小帮有一款产品是这样的，针对股票，实现股票价格的自动采集，然后数据监测，到达临界点以后提醒或者做一些操作。
一切电脑的重复操作交给小帮吧，它帮你实现批量化 自动化

⑦ 如何下载股票历史成交数据到Excel或txt

以华中智能股票软件为例：（以Think pad X13 锐龙版笔记本电脑，Windows 10 操作为例）首先切换到要下载数据的股票K线形态，按“F1”进入“日线某某股票历史成交”，点击鼠标右键->数据导出->导出所有数据->在“请选择导出的类型”中选择excel或txt
补充资料：
如何获取所有股票历史数据：
如果要对股市进行分析，首先就要获取所有股票的历史数据，只有通过股票的历史数据，我们才能分析出股市的规律。
（以Think pad X13 锐龙版笔记本电脑，Windows 10 操作为例）
一、工具/原料
1、EXCEL2007或者以上版本，不能使用WPS
2、电脑1g内存1核处理器及以上配置
3、拥有较强逻辑分析能力以及少量智慧及以上的大脑一颗
方法/步骤：
第一步，获取股票代码，复制其中一部分到第一个工作表A4到A127，然后通过程序把每一个代码写入到不同的工作表A2位置，并对该工作表以该股票代码命名。程序如下：
Sub 工作表命名()
For i = 4 To 127
Sheets(i).Range("a2") = "'" & Sheets(1).Range("a" & i)
Next i
For i = 4 To Sheets.Count
Sheets(i).Name = Sheets(i).Range("a2").Value
Next
End Sub
第二步，获取股票历史数据。代码如下：
Private Function GetSource(sURL As String) As String
Dim oXHTTP As Object
Set oXHTTP = CreateObject("MSXML2.XMLHTTP")
oXHTTP.Open "GET"， sURL， False
oXHTTP.Send
GetSource = oXHTTP.responsetext
Set oXHTTP = Nothing
End Function
Sub 历史数据()
Dim objXML As Object
Dim txtContent As String
Dim i As Integer
Dim strCode As String
Dim gp As String
Dim kaishihang
Dim arr， arr1， arr2， arr3， arr4， arr5， arr6， arr7， arr8， arr9， arr10， arr11
On Error Resume Next
EndRow = Range("a65536").End(xlUp).Row
startRow = 4
If startRow <= EndRow Then
Range(Cells(startRow， 1)， Cells(EndRow， 11)).Value = ""
Else
Exit Sub
End If
Set objXML = CreateObject("Microsoft.XMLHTTP")
gp = [A2]
For h = 1 To 4
For m = 1 To 4
kaishihang = [A65535].End(xlUp).Row
nian = Replace(Str(Year(Now) + 1 - h)， " "， "")
ji = Replace(Str(4 + 1 - m)， " "， "")
With objXML
.Open "GET"， "http://quotes.money.163.com/trade/lsjyj_" + gp + ".html?year=" + nian + "&season=" + ji + ""， False
.Send
If objXML.Status = 200 Then
txtContent = .responsetext
arr = Split(txtContent， "'>")
For i = 1 To UBound(arr)
arr1 = Split(arr(i)， " Cells(i + kaishihang， 1) = Right(Left(arr1(0)， 10)， 10)
arr2 = Split(arr1(1)， Chr(60))
Cells(i + kaishihang， 2) = Mid(arr2(0)， InStr(arr2(0)， ">") + 1)
arr3 = Split(arr1(2)， Chr(60))
Cells(i + kaishihang， 3) = Mid(arr3(0)， InStr(arr3(0)， ">") + 1)
arr4 = Split(arr1(3)， Chr(60))
Cells(i + kaishihang， 4) = Mid(arr4(0)， InStr(arr4(0)， ">") + 1)
arr5 = Split(arr1(4)， Chr(60))
Cells(i + kaishihang， 5) = Mid(arr5(0)， InStr(arr5(0)， ">") + 1)
arr6 = Split(arr1(5)， Chr(60))
Cells(i + kaishihang， 6) = Mid(arr6(0)， InStr(arr6(0)， ">") + 1)
arr7 = Split(arr1(6)， Chr(60))
Cells(i + kaishihang， 7) = Mid(arr7(0)， InStr(arr7(0)， ">") + 1)
arr8 = Split(arr1(7)， Chr(60))
Cells(i + kaishihang， 8) = Mid(arr8(0)， InStr(arr8(0)， ">") + 1)
arr9 = Split(arr1(8)， Chr(60))
Cells(i + kaishihang， 9) = Mid(arr9(0)， InStr(arr9(0)， ">") + 1)
arr10 = Split(arr1(9)， Chr(60))
Cells(i + kaishihang， 10) = Mid(arr10(0)， InStr(arr10(0)， ">") + 1)
arr11 = Split(arr1(10)， Chr(60))
Cells(i + kaishihang， 11) = Mid(arr11(0)， InStr(arr11(0)， ">") + 1)
Next i
End If
End With
Next m
Next h
Set objXML = Nothing
End Sub
第三步，获取上证历史数据，并获取所有股票的历史数据。程序如下：
Sub 所有股票历史数据获取()
Application.ScreenUpdating = False
Dim s As String， gp As String， nian As String， ji As String， s1 As String
Dim arr， arr1， arr2， arr3， arr4， arr5， arr6， arr7， arr8， arr9
Dim i， h As Long
Dim kaishihang
Dim LastRow As Long， r As Long
On Error Resume Next
EndRow = Sheet2.Range("a65536").End(xlUp).Row
startRow = 4
If startRow <= EndRow Then
Sheet2.Range(Sheet2.Cells(startRow， 1)， Sheet2.Cells(EndRow， 9)).Value = ""
Else
Exit Sub
End If
For h = 1 To 5
For m = 1 To 4
kaishihang = Sheet2.[A65535].End(xlUp).Row
nian = Replace(Str(Year(Now) + 1 - h)， " "， "")
ji = Replace(Str(4 + 1 - m)， " "， "")
s1 = "http://quotes.money.163.com/trade/lsjysj_shu_000001.html?year=" + nian + "&season=" + ji + ""
s = GetSource(s1)
arr = Split(s， "'>")
For i = 1 To UBound(arr)
arr1 = Split(arr(i)， " Sheet2.Cells(i + kaishihang， 1) = Right(Left(arr1(0)， 4)， 4) & "-" & Right(Left(arr1(0)， 6)， 2) & "-" & Right(Left(arr1(0)， 10)， 2)
arr2 = Split(arr1(1)， Chr(60))
Sheet2.Cells(i + kaishihang， 2) = Mid(arr2(0)， InStr(arr2(0)， ">") + 1)
arr3 = Split(arr1(2)， Chr(60))
Sheet2.Cells(i + kaishihang， 3) = Mid(arr3(0)， InStr(arr3(0)， ">") + 1)
arr4 = Split(arr1(3)， Chr(60))
Sheet2.Cells(i + kaishihang， 4) = Mid(arr4(0)， InStr(arr4(0)， ">") + 1)
arr5 = Split(arr1(4)， Chr(60))
Sheet2.Cells(i + kaishihang， 5) = Mid(arr5(0)， InStr(arr5(0)， ">") + 1)
arr6 = Split(arr1(5)， Chr(60))
Sheet2.Cells(i + kaishihang， 6) = Mid(arr6(0)， InStr(arr6(0)， ">") + 1)
arr7 = Split(arr1(6)， Chr(60))
Sheet2.Cells(i + kaishihang， 7) = Mid(arr7(0)， InStr(arr7(0)， ">") + 1)
arr8 = Split(arr1(7)， Chr(60))
Sheet2.Cells(i + kaishihang， 8) = Mid(arr8(0)， InStr(arr8(0)， ">") + 1)
arr9 = Split(arr1(8)， Chr(60))
Sheet2.Cells(i + kaishihang， 9) = Mid(arr9(0)， InStr(arr9(0)， ">") + 1)
Next i
Next m
Next h
Application.ScreenUpdating = True
n = Worksheets.Count
For i = 4 To n
Worksheets(i).Activate
历史数据
Next
End Sub
第四步，保存工作簿，并对该工作簿命名为1，然后复制该工作簿27份，把所有股票代码写入每一个工作簿第一个工作表的A3到A127列。然后根据第一步对工作簿内的工作表命名，并在每一个工作表A2单元格内写入股票代码。
第五步，把这些工作簿存放到炒股文件夹下的数据库文件下。然后在炒股文件夹下新建一个工作簿，命名为“一键更新表格”，写入如下代码：
Sub 所有股票历史数据更新()
Dim wb As Workbook
For i = 1 To 27
Set wb = Workbooks.Open(ThisWorkbook.Path & "数据库" & i & "".xlsb"")
Application.Run ""'"" & wb.Path & """" & i & "".xlsb'!所有股票历史数据获取""
wb.Save
wb.Close
Next i
End sub
当启动这一段代码以后，程序会自动一个一个的打开对应的工作簿然后获取里面所有股票的历史数据，存放在对应的工作表当中。
第六步，对相应的程序添加按钮，这样，我们在启动对应程序时，只需要点一下对应的按钮就可以实现了。这样，我们通过多个工作簿就实现了获取所有股票历史数据的方法。而后面，我们只需要通过获取对应股票每一天的历史数据，我们就能够在任意一天很快速的能够拥有所有股票的历史数据了。
注意事项
1、在后续需要对这些数据进行分析，里面会加入很多计算，所以启动所有历史数据更新时，我们应该要关闭自动更新。
2、因为历史数据很大，所以这里只获取四年的数据，想要获取更多数据，可以更改程序里面 “For h = 1 To 5”的那个5即可。
3、历史数据的获取需要较长的时间，要提前做好准备。
4、如果你想要弄清楚用EXCEL建立炒股系统的整套方法，请看后续内容。"

⑧ 对于股票数据可以从什么维度进行采集

对于股票数据可以从大盘信息,行业信息,个股信息三个维度进行采集。大盘信息，大盘的好坏会直接影响个股的走势,大盘的资金面对投资者来说十分重要；股票数据一定要看行业信息，分析板块指数不仅可以发现上涨或者待上涨的板块，而且可以筛选出领涨个股及时买进；个股上信息要用到一些技术指标，其中最重要的是K线图和量线图，通过这几个不同维度的分析后,我们就可以对股票数据有一个全面系统的了解。

⑨ 如何用爬虫抓取股市数据并生成分析报表

推荐个很好用的软件，我也是一直在用的，就是前嗅的ForeSpider软件，
我是一直用过很多的采集软件，最后选择的前嗅的软件，ForeSpider这款软件是可视化的操作。简单配置几步就可以采集。如果网站比较复杂，这个软件自带爬虫脚本语言，通过写几行脚本，就可以采集所有的公开数据。
软件还自带免费的数据库，数据采集直接存入数据库，也可以导出成excel文件。
如果自己不想配置，前嗅可以配置采集模板，我的模板就是从前嗅购买的。
另外他们公司不光是软件好用，还有自己的数据分析系统，直接采集完数据后入库，ForeSpider内部集成了数据挖掘的功能，可以快速进行聚类分类、统计分析等，采集结果入库后就可以形成分析报表。
最主要的是他采集速度非常快，我之前用八爪鱼的软件，开服务器采，用了一个月采了100万条，后来我用ForeSpider。笔记本采的，一天就好几百万条。
这些都是我一直用前嗅的经验心得，你不妨试试。
建议你可以下载一个免费版试一试，免费版不限制功能，没有到期时间。

⑩ 如何使用 Yahoo，Finance stock API 获取股票数据

有三种方法获得数据，具体如下：

1、通过API获取实时数据

请求地址：http://finance.yahoo.com/d/quotes.csv?s=<股票名称>&f=<数据列选项>

具体参数：

s – 表示股票名称，多个股票之间使用英文“+”分隔如：”XOM+BBDb.TO+MSFT”，表示三个公司的股票：XOM，BBDb.TO，MSFT。

f – 表示返回数据列，如”snd1l1yr”。更详细的参见雅虎股票 API f 参数对照表。

2、通过API获取历史数据

请求地址如下：http://ichart.yahoo.com/table.csv?s=<string>&a=<int>&b=<int>&c=<int>&d=<int>&e=<int>&f=<int>&g=d&ignore=.csv

具体参数：

s – 股票名称

a – 起始时间，月

b – 起始时间，日

c – 起始时间，年

d – 结束时间，月

e – 结束时间，日

f – 结束时间，年

g – 时间周期。

例如: g=w, 表示周期是“周"。d表示“日”(day)，w表示“周”(week)，m表示“月”(mouth)，一定注意月份参数，其值比真实数据少1。如需要9月数据，则写为08。

3、通过API获取深沪股票数据

雅虎的API是国际性的，支持查询国内沪深股市的数据，但代码稍微变动一下，如浦发银行的代号是：600000.SS。规则是：上海市场末尾加.SS，深圳市场末尾加.SZ。