股票數據採集及處理

① 股票數據有辦法採集或者實時監控么

之前采過股市數據，用的是小幫軟體機器人這個小工具。
這個軟體他自身有數據監控和挖掘分析功能，可以實時監測股票數據的異動，
採集的結果自動生成分析報表，直接瀏覽就行了，還是很方便的，你可以去看看。
操作也是不難，非計算機專業的人也能使。

② 數據採集的方法有哪兩類

1、離線搜集：

工具：ETL;

在數據倉庫的語境下，ETL基本上便是數據搜集的代表，包括數據的提取(Extract)、轉換(Transform)和載入(Load)。在轉換的過程中，需求針對具體的事務場景對數據進行治理，例如進行不合法數據監測與過濾、格式轉換與數據規范化、數據替換、確保數據完整性等。

2、實時搜集：

工具：Flume/Kafka;

實時搜集首要用在考慮流處理的事務場景，比方，用於記錄數據源的履行的各種操作活動，比方網路監控的流量辦理、金融運用的股票記賬和 web 伺服器記錄的用戶訪問行為。在流處理場景，數據搜集會成為Kafka的顧客，就像一個水壩一般將上游源源不斷的數據攔截住，然後依據事務場景做對應的處理(例如去重、去噪、中心核算等)，之後再寫入到對應的數據存儲中。

3、互聯網搜集：

工具：Crawler, DPI等;

Scribe是Facebook開發的數據(日誌)搜集體系。又被稱為網頁蜘蛛，網路機器人，是一種按照一定的規矩，自動地抓取萬維網信息的程序或者腳本，它支持圖片、音頻、視頻等文件或附件的搜集。

除了網路中包含的內容之外，關於網路流量的搜集能夠運用DPI或DFI等帶寬辦理技術進行處理。

4、其他數據搜集方法

關於企業生產經營數據上的客戶數據，財務數據等保密性要求較高的數據，能夠通過與數據技術服務商合作，運用特定體系介面等相關方式搜集數據。比方八度雲核算的數企BDSaaS，無論是數據搜集技術、BI數據剖析，還是數據的安全性和保密性，都做得很好。

③ 如何獲取實時的股票數據

要跟供應商協商得到他的介面才能得到實時股票行情數據；
股票實時行情，可以通過兩個方法來進行查看：
第一種，在網路搜索頁面直接輸入股票代碼，如：000717，網路輸入後，即可在搜索結果中看到，其中分時，就是該股票在當天的實時走向。

第二種，通過炒股軟體，如東財，同花順等，在開啟後，直接輸入，股票代碼，如600854，點擊回車。進入的第一個頁面就是該股票在當天的實時行情。

同時在股票軟體的分時成交界面，可以查看到每一分鍾的成交價和手數。股票行情趨勢判斷必要時也需要結合分時成交界面的數據來進行判斷。

查看其它股票的行情也是一樣的道理，直接鍵入該股票的代碼就可以查看到該股票當天或某個時間段內的行情。當然，精準的行情走勢、趨勢，是需要結合多種指標來共同進行分析的。

④ 股市數據如何獲取

股市的數據通過炒股軟體，每天就可以自動收取

⑤ 想要金融類數據，應該如何收集

金融大數據平台的搭建和應用是兩個部分，對於金融大數據平台來說，這兩個部分都很重要。

所以以下的部分我們從大數據平台和銀行可以分析哪些指標這兩個角度來闡述。

一、大數據平台

大數據平台的整體架構可以由以下幾個部分組成：

1.一個客戶

客戶主題：客戶屬性（客戶編號、客戶類別）、指標（資產總額、持有產品、交易筆數、交易金額、RFM）、簽約（渠道簽約、業務簽約）組成寬表

2.做了一筆交易

交易主題：交易金融屬性、業務類別、支付通道組成寬表。

3.使用哪個賬戶

賬戶主題：賬戶屬性（所屬客戶、開戶日期、所屬分行、產品、利率、成本）組成寬表

4.通過什麼渠道

渠道主題：渠道屬性、維度、限額組成寬表

5.涉及哪類業務&產品

產品主題：產品屬性、維度、指標組成寬表

⑥ 網友們，股票自動化工具可以做數據採集和實時數據監控嗎

當然可以拉，小 幫有這個領域的應用
小幫有一款產品是這樣的，針對股票，實現股票價格的自動採集，然後數據監測，到達臨界點以後提醒或者做一些操作。
一切電腦的重復操作交給小幫吧，它幫你實現批量化 自動化

⑦ 如何下載股票歷史成交數據到Excel或txt

以華中智能股票軟體為例：（以Think pad X13 銳龍版筆記本電腦，Windows 10 操作為例）首先切換到要下載數據的股票K線形態，按「F1」進入「日線某某股票歷史成交」，點擊滑鼠右鍵->數據導出->導出所有數據->在「請選擇導出的類型」中選擇excel或txt
補充資料：
如何獲取所有股票歷史數據：
如果要對股市進行分析，首先就要獲取所有股票的歷史數據，只有通過股票的歷史數據，我們才能分析出股市的規律。
（以Think pad X13 銳龍版筆記本電腦，Windows 10 操作為例）
一、工具/原料
1、EXCEL2007或者以上版本，不能使用WPS
2、電腦1g內存1核處理器及以上配置
3、擁有較強邏輯分析能力以及少量智慧及以上的大腦一顆
方法/步驟：
第一步，獲取股票代碼，復制其中一部分到第一個工作表A4到A127，然後通過程序把每一個代碼寫入到不同的工作表A2位置，並對該工作表以該股票代碼命名。程序如下：
Sub 工作表命名()
For i = 4 To 127
Sheets(i).Range("a2") = "'" & Sheets(1).Range("a" & i)
Next i
For i = 4 To Sheets.Count
Sheets(i).Name = Sheets(i).Range("a2").Value
Next
End Sub
第二步，獲取股票歷史數據。代碼如下：
Private Function GetSource(sURL As String) As String
Dim oXHTTP As Object
Set oXHTTP = CreateObject("MSXML2.XMLHTTP")
oXHTTP.Open "GET"， sURL， False
oXHTTP.Send
GetSource = oXHTTP.responsetext
Set oXHTTP = Nothing
End Function
Sub 歷史數據()
Dim objXML As Object
Dim txtContent As String
Dim i As Integer
Dim strCode As String
Dim gp As String
Dim kaishihang
Dim arr， arr1， arr2， arr3， arr4， arr5， arr6， arr7， arr8， arr9， arr10， arr11
On Error Resume Next
EndRow = Range("a65536").End(xlUp).Row
startRow = 4
If startRow <= EndRow Then
Range(Cells(startRow， 1)， Cells(EndRow， 11)).Value = ""
Else
Exit Sub
End If
Set objXML = CreateObject("Microsoft.XMLHTTP")
gp = [A2]
For h = 1 To 4
For m = 1 To 4
kaishihang = [A65535].End(xlUp).Row
nian = Replace(Str(Year(Now) + 1 - h)， " "， "")
ji = Replace(Str(4 + 1 - m)， " "， "")
With objXML
.Open "GET"， "http://quotes.money.163.com/trade/lsjyj_" + gp + ".html?year=" + nian + "&season=" + ji + ""， False
.Send
If objXML.Status = 200 Then
txtContent = .responsetext
arr = Split(txtContent， "'>")
For i = 1 To UBound(arr)
arr1 = Split(arr(i)， " Cells(i + kaishihang， 1) = Right(Left(arr1(0)， 10)， 10)
arr2 = Split(arr1(1)， Chr(60))
Cells(i + kaishihang， 2) = Mid(arr2(0)， InStr(arr2(0)， ">") + 1)
arr3 = Split(arr1(2)， Chr(60))
Cells(i + kaishihang， 3) = Mid(arr3(0)， InStr(arr3(0)， ">") + 1)
arr4 = Split(arr1(3)， Chr(60))
Cells(i + kaishihang， 4) = Mid(arr4(0)， InStr(arr4(0)， ">") + 1)
arr5 = Split(arr1(4)， Chr(60))
Cells(i + kaishihang， 5) = Mid(arr5(0)， InStr(arr5(0)， ">") + 1)
arr6 = Split(arr1(5)， Chr(60))
Cells(i + kaishihang， 6) = Mid(arr6(0)， InStr(arr6(0)， ">") + 1)
arr7 = Split(arr1(6)， Chr(60))
Cells(i + kaishihang， 7) = Mid(arr7(0)， InStr(arr7(0)， ">") + 1)
arr8 = Split(arr1(7)， Chr(60))
Cells(i + kaishihang， 8) = Mid(arr8(0)， InStr(arr8(0)， ">") + 1)
arr9 = Split(arr1(8)， Chr(60))
Cells(i + kaishihang， 9) = Mid(arr9(0)， InStr(arr9(0)， ">") + 1)
arr10 = Split(arr1(9)， Chr(60))
Cells(i + kaishihang， 10) = Mid(arr10(0)， InStr(arr10(0)， ">") + 1)
arr11 = Split(arr1(10)， Chr(60))
Cells(i + kaishihang， 11) = Mid(arr11(0)， InStr(arr11(0)， ">") + 1)
Next i
End If
End With
Next m
Next h
Set objXML = Nothing
End Sub
第三步，獲取上證歷史數據，並獲取所有股票的歷史數據。程序如下：
Sub 所有股票歷史數據獲取()
Application.ScreenUpdating = False
Dim s As String， gp As String， nian As String， ji As String， s1 As String
Dim arr， arr1， arr2， arr3， arr4， arr5， arr6， arr7， arr8， arr9
Dim i， h As Long
Dim kaishihang
Dim LastRow As Long， r As Long
On Error Resume Next
EndRow = Sheet2.Range("a65536").End(xlUp).Row
startRow = 4
If startRow <= EndRow Then
Sheet2.Range(Sheet2.Cells(startRow， 1)， Sheet2.Cells(EndRow， 9)).Value = ""
Else
Exit Sub
End If
For h = 1 To 5
For m = 1 To 4
kaishihang = Sheet2.[A65535].End(xlUp).Row
nian = Replace(Str(Year(Now) + 1 - h)， " "， "")
ji = Replace(Str(4 + 1 - m)， " "， "")
s1 = "http://quotes.money.163.com/trade/lsjysj_shu_000001.html?year=" + nian + "&season=" + ji + ""
s = GetSource(s1)
arr = Split(s， "'>")
For i = 1 To UBound(arr)
arr1 = Split(arr(i)， " Sheet2.Cells(i + kaishihang， 1) = Right(Left(arr1(0)， 4)， 4) & "-" & Right(Left(arr1(0)， 6)， 2) & "-" & Right(Left(arr1(0)， 10)， 2)
arr2 = Split(arr1(1)， Chr(60))
Sheet2.Cells(i + kaishihang， 2) = Mid(arr2(0)， InStr(arr2(0)， ">") + 1)
arr3 = Split(arr1(2)， Chr(60))
Sheet2.Cells(i + kaishihang， 3) = Mid(arr3(0)， InStr(arr3(0)， ">") + 1)
arr4 = Split(arr1(3)， Chr(60))
Sheet2.Cells(i + kaishihang， 4) = Mid(arr4(0)， InStr(arr4(0)， ">") + 1)
arr5 = Split(arr1(4)， Chr(60))
Sheet2.Cells(i + kaishihang， 5) = Mid(arr5(0)， InStr(arr5(0)， ">") + 1)
arr6 = Split(arr1(5)， Chr(60))
Sheet2.Cells(i + kaishihang， 6) = Mid(arr6(0)， InStr(arr6(0)， ">") + 1)
arr7 = Split(arr1(6)， Chr(60))
Sheet2.Cells(i + kaishihang， 7) = Mid(arr7(0)， InStr(arr7(0)， ">") + 1)
arr8 = Split(arr1(7)， Chr(60))
Sheet2.Cells(i + kaishihang， 8) = Mid(arr8(0)， InStr(arr8(0)， ">") + 1)
arr9 = Split(arr1(8)， Chr(60))
Sheet2.Cells(i + kaishihang， 9) = Mid(arr9(0)， InStr(arr9(0)， ">") + 1)
Next i
Next m
Next h
Application.ScreenUpdating = True
n = Worksheets.Count
For i = 4 To n
Worksheets(i).Activate
歷史數據
Next
End Sub
第四步，保存工作簿，並對該工作簿命名為1，然後復制該工作簿27份，把所有股票代碼寫入每一個工作簿第一個工作表的A3到A127列。然後根據第一步對工作簿內的工作表命名，並在每一個工作表A2單元格內寫入股票代碼。
第五步，把這些工作簿存放到炒股文件夾下的資料庫文件下。然後在炒股文件夾下新建一個工作簿，命名為「一鍵更新表格」，寫入如下代碼：
Sub 所有股票歷史數據更新()
Dim wb As Workbook
For i = 1 To 27
Set wb = Workbooks.Open(ThisWorkbook.Path & "資料庫" & i & "".xlsb"")
Application.Run ""'"" & wb.Path & """" & i & "".xlsb'!所有股票歷史數據獲取""
wb.Save
wb.Close
Next i
End sub
當啟動這一段代碼以後，程序會自動一個一個的打開對應的工作簿然後獲取裡面所有股票的歷史數據，存放在對應的工作表當中。
第六步，對相應的程序添加按鈕，這樣，我們在啟動對應程序時，只需要點一下對應的按鈕就可以實現了。這樣，我們通過多個工作簿就實現了獲取所有股票歷史數據的方法。而後面，我們只需要通過獲取對應股票每一天的歷史數據，我們就能夠在任意一天很快速的能夠擁有所有股票的歷史數據了。
注意事項
1、在後續需要對這些數據進行分析，裡面會加入很多計算，所以啟動所有歷史數據更新時，我們應該要關閉自動更新。
2、因為歷史數據很大，所以這里只獲取四年的數據，想要獲取更多數據，可以更改程序裡面 「For h = 1 To 5」的那個5即可。
3、歷史數據的獲取需要較長的時間，要提前做好准備。
4、如果你想要弄清楚用EXCEL建立炒股系統的整套方法，請看後續內容。"

⑧ 對於股票數據可以從什麼維度進行採集

對於股票數據可以從大盤信息,行業信息,個股信息三個維度進行採集。大盤信息，大盤的好壞會直接影響個股的走勢,大盤的資金面對投資者來說十分重要；股票數據一定要看行業信息，分析板塊指數不僅可以發現上漲或者待上漲的板塊，而且可以篩選出領漲個股及時買進；個股上信息要用到一些技術指標，其中最重要的是K線圖和量線圖，通過這幾個不同維度的分析後,我們就可以對股票數據有一個全面系統的了解。

⑨ 如何用爬蟲抓取股市數據並生成分析報表

推薦個很好用的軟體，我也是一直在用的，就是前嗅的ForeSpider軟體，
我是一直用過很多的採集軟體，最後選擇的前嗅的軟體，ForeSpider這款軟體是可視化的操作。簡單配置幾步就可以採集。如果網站比較復雜，這個軟體自帶爬蟲腳本語言，通過寫幾行腳本，就可以採集所有的公開數據。
軟體還自帶免費的資料庫，數據採集直接存入資料庫，也可以導出成excel文件。
如果自己不想配置，前嗅可以配置採集模板，我的模板就是從前嗅購買的。
另外他們公司不光是軟體好用，還有自己的數據分析系統，直接採集完數據後入庫，ForeSpider內部集成了數據挖掘的功能，可以快速進行聚類分類、統計分析等，採集結果入庫後就可以形成分析報表。
最主要的是他採集速度非常快，我之前用八爪魚的軟體，開伺服器采，用了一個月采了100萬條，後來我用ForeSpider。筆記本採的，一天就好幾百萬條。
這些都是我一直用前嗅的經驗心得，你不妨試試。
建議你可以下載一個免費版試一試，免費版不限制功能，沒有到期時間。

⑩ 如何使用 Yahoo，Finance stock API 獲取股票數據

有三種方法獲得數據，具體如下：

1、通過API獲取實時數據

請求地址：http://finance.yahoo.com/d/quotes.csv?s=<股票名稱>&f=<數據列選項>

具體參數：

s – 表示股票名稱，多個股票之間使用英文「+」分隔如：」XOM+BBDb.TO+MSFT」，表示三個公司的股票：XOM，BBDb.TO，MSFT。

f – 表示返回數據列，如」snd1l1yr」。更詳細的參見雅虎股票 API f 參數對照表。

2、通過API獲取歷史數據

請求地址如下：http://ichart.yahoo.com/table.csv?s=<string>&a=<int>&b=<int>&c=<int>&d=<int>&e=<int>&f=<int>&g=d&ignore=.csv

具體參數：

s – 股票名稱

a – 起始時間，月

b – 起始時間，日

c – 起始時間，年

d – 結束時間，月

e – 結束時間，日

f – 結束時間，年

g – 時間周期。

例如: g=w, 表示周期是「周"。d表示「日」(day)，w表示「周」(week)，m表示「月」(mouth)，一定注意月份參數，其值比真實數據少1。如需要9月數據，則寫為08。

3、通過API獲取深滬股票數據

雅虎的API是國際性的，支持查詢國內滬深股市的數據，但代碼稍微變動一下，如浦發銀行的代號是：600000.SS。規則是：上海市場末尾加.SS，深圳市場末尾加.SZ。