爬蟲抓取新浪股票數據

Ⅰ C#如何提取新浪等網站的股票實時動態行情數據

網站的都是後台系統 是不能夠直接提取數據的 而且相對來說網站上的信息並不全面 還是找個順手的軟體做分析和復盤比較好 東方財富金融終端這個信息比較全 但是我用的是中信建投 這個看盤比較清晰
希望對你有幫助

Ⅱ matlab怎樣抓取Yahoo/Sina的股票數據

給你一個常式，用於抓取新浪股票2017年1月份的股票數據。程序如下：

clc;
clear;
year=2017;
season = 1 ;
fprintf('抓取%d年%d季度的數據中...\n', year, season)
[sourcefile, status] = urlread(sprintf('http://vip.stock.finance.sina.com.cn/corp/go.php/vMS_MarketHistory/stockid/000001/type/S.phtml?year=%d&season=%d', year));
expr2 = '<div align="center">(\d*\.?\d*)</div>';
[datafile, data_tokens] = regexp(sourcefile, expr2, 'match', 'tokens'); %從源文件中獲取目標數據
data = zeros(size(data_tokens));%產生和數據相同長度的0
for idx = 1:length(data_tokens)
data(idx) = str2double(data_tokens{idx}{1}); %轉變數據類型後存入data中
end
%%占坑打個廣告，代寫matlab程序（畢業設計，課程任務等）
%%信號處理，小波變換，PCA降維，ICA分析，分類器，濾波器等。QQ：1577232787

Ⅲ 請問怎樣用Java獲取股票行情歷史數據新浪、搜狐、百度財經都可以......

publicclassStockConnection{
	publicstaticvoidmain(String[]args){
		URLur=null;
		try{
			//搜狐股票行情歷史介面
//			ur=newURL("http://q.stock.sohu.com/hisHq?code=cn_300228&start=20130930&end=20131231&stat=1&order=D&period=d&callback=historySearchHandler&rt=jsonp");
			//新浪股票行情歷史介面
			ur=newURL("http://biz.finance.sina.com.cn/stock/flash_hq/kline_data.php?&rand=random(10000)&symbol=sh600000&end_date=20150809&begin_date=20000101&type=plain");
			HttpURLConnectionuc=(HttpURLConnection)ur.openConnection();
			BufferedReaderreader=newBufferedReader(newInputStreamReader(ur.openStream(),"GBK"));
			Stringline;
			while((line=reader.readLine())!=null){
				System.out.println(line);
			}
		}catch(Exceptione){
			//TODOAuto-generatedcatchblock
			e.printStackTrace();
		}
	}
}

Ⅳ 如何用爬蟲抓取股市數據並生成分析報表

1. 關於數據採集
股票數據是一種標准化的結構數據，是可以通過API介面訪問的（不過一般要通過渠道，開放的API有一定的局限性）。也可以通過爬蟲軟體進行採集，但是爬蟲軟體採集數據不能保證實時性，根據數據量和採集周期，可能要延遲幾十秒到幾分鍾不等。我們總結了一套專業的爬蟲技術解決方案(Ruby + Sidekiq)。能夠很快實現這個採集，也可以後台可視化調度任務。

2. 關於展現
網路股票數據的展現，網頁端直接通過HTML5技術就已經足夠，如果對界面要求高一點，可以採用集成前端框架，如Bootstrap；如果針對移動端開發， 可以使用Ionic框架。

3. 關於觸發事件
如果是採用Ruby on Rails的開發框架的話，倒是很方便了，有如sidekiq, whenever這樣子的Gem直接實現任務管理和事件觸發。

Ⅳ 如何通過軟體抓取新浪財經里單只股票數據

如果你是准備抓歷史數據，那還不如直接使用免費的wdz程序，滬深1990年至今的全部日線歷史；2000年至今十幾年的5分鍾數據都可以直接輸出，而且可轉化為各種格式。根本不用去新浪中抓取。

Ⅵ 爬蟲股票數據違法嗎

摘要 另外，還有下列三種情況，爬蟲有可能違法，嚴重的甚至構成犯罪：

Ⅶ 請問用C#如何提取新浪等網站的股票實時動態行情數據

找到一個利用webservice的方法，希望能夠幫助你

聲明: 這篇文章適合在C#命令行編譯器下的開發借鑒,對於已經裝了MS.NET的朋友,開發客戶端時將會更容易一些,我隨後對登出我自己的開發程序,這篇文章為我摘錄的.摘錄URL:http://www.knowsky.com/2016.html

(一)

Web Services，即Web服務，是微軟.NET戰略中非常重要的一個概念。它的目的是將Web站點轉變為集組織、應用、服務以及設備於一體的可設計Web站點，使Web站點不再處於被動的地位。

本文將介紹如何建立和使用一個在.NET 平台上提供股票報價的Web服務。我們將使用Yahoo的一項以CSV（以逗號分隔的值）的格式提供股票報價的免費服務，將其包含在我們的web 服務中。

注意：這個報價服務常式的運行大約延遲15分鍾，只用於教學目的。

建立Web服務

下面將採用逐步講解代碼的形式來幫助你理解在.NET 中Web服務的編程模式。我們可以使用notepad等任何文本編輯器來編寫 這里的Web服務常式代碼，最後將文件存儲為StockQuote.asmx。請注意：所有的Web服務文件保存時都使用擴展名 *.asmx。

＜%@ WebService Language="C#" class="DailyStock" %＞

代碼的第一行定義了一個 Web 服務，使用的語言是C#。class屬性用來指示Web服務應該調用和使用的類。如果在Web服務中使用了許多類，那麼就應該用這個屬性來表明Web服務應該首先調用的類。

using System ;

using System.Web.Services ;

using System.Net ;

using System.IO ;

using System.Text ;

以上代碼負責引入必要的名稱空間。 請記住永遠都要引入System.Web.Services這個名稱空間。根據類的需要，再引入保留的名稱空間。

public class DailyStock : WebService

{

......

....

}

這里我們將公共類定義為 DailyStock，它擴展了 System.Web.Services.WebService 類。所有想暴露為 Web服務的類都應該擴展System.Web.Services.WebServices類。 另外，Web 服務的存取修飾語永遠都是public。

[WebMethod]

public string GetQuote(string symbol)

{

........

........

}

以上我們定義了一個公共Web方法 GetQuote。同類的定義一樣，Web 方法也都要用 public這個修飾語來聲明。 [WebMethod] 屬性呈現出將要被用在Web服務中的一些潛在方法，希望客戶存取的所有方法都應該用[WebMethod] 屬性進行標記。GetQuote方法接受一個字元串輸入參數，它包含了使用者所需要的報價符號。這個方法返回一個字元串，其中包含股票報價或錯誤

string ret;

try

{

// The Path to the Yahoo Quotes Service

string fullpath = @"http://

// Create a HttpWebRequest object on the Yahoo url

HttpWebRequest webreq = (HttpWebRequest)WebRequestFactory.Create(fullpath);

// Get a HttpWebResponse object from the Yahoo url

HttpWebResponse webresp = (HttpWebResponse)webreq.GetResponse();

// Create a StreamReader object and pass the Yahoo Server stream as a parameter

StreamReader strm = new StreamReader(webresp.GetResponseStream(), Encoding.ASCII);

// Read a single line from the stream (from the server)

// We read only a single line, since the Yahoo server returns all the

// information needed by us in just one line.

ret= strm.ReadLine();

// Close the stream to the server and free the resources.

strm.Close();

}

catch(Exception)

{

// If exception occurred inform the user

ret="Exception Occurred" ;

}

file://Return the Quote or Exception

return ret ;

以上是GetQuote 方法的內容。這里使用一個 try-catch模塊來截獲從Yahoo中得到股票報價的過程中可能發生的錯誤。在 try-catch模塊內部聲明了一個字元串變數，這個變數中保存著獲取yahoo服務的完整路徑，用戶提供的symbol字元串變數被加到這個連接字元串上。

路徑建立好之後，就要從連接字元串中構造一個 HttpWebRequest對象和一個 HttpWebResponse 對象。接著，用StreamReader打開一個到Yahoo

(二)

配置Web服務

配置Web 服務與一個配置ASP.NET應用程序相同。如果自己有Web伺服器，那麼就創建一個稱為stockquote 的虛擬目錄，然後將 StockQuote.asmx復制到這個目錄中。如此就完成了Web 服務的配製。要調用Web服務，首先啟動瀏覽器，然後鍵入Web 服務的路徑，如 http://localhost/stockquote/StockQuote.asmx，接著看到的頁面就是由Web服務運行時間環境自動生成的結果。在文本框中鍵入符號，例如AOL 或 MS，再點擊invoke按鈕，這時就會彈出一個新的窗口，在其中向你顯示了Web服務的輸出信息。

使用Web服務

基本上有兩種使用Web 服務的方法。可以通過瀏覽器直接調用 Web 服務，並按照上面介紹的方法來使用它。或者，也可以在應用程序使用它。下面就看看如何建立一個Web 應用程序和一個控制台應用程序，通過它們來使用Web服務。當然，也可以使用Win Form 應用程序作為替代來使用Web 服務。

獲取服務的描述

為了與Web服務進行通信，客戶應該知道這個Web服務支持哪種方法以及如何與它們進行通信。.NET 上的Web服務自動用SDL（服務描述語言）產生一個 XML格式文檔，這樣就使客戶能夠獲取與Web服務通信時所需要的信息。 在Web 服務URL之後附加 ?SDL 使Web服務生成客戶能夠使用的SDL文檔。要查閱這里接受的Web 服務的SDL，可以在瀏覽器中鍵入http://localhost/stockquote/StockQuote.asmx?SDL。

(三)

構造代理庫

.NET 平台上的應用程序可以使用代理庫來調用Web服務上的方法，這樣使用Web服務就非常容易。生成代理庫的第一步是從SDL中生成一個Web服務的代理類。.NET SDK提供了一個叫做WebServiceUtil.exe的工具，它能夠幫助我們生成一個代理類。要生成Web服務的代理類，首先進入命令行環境，然後轉到將要開發客戶應用程序的那個目錄，接著輸入以下命令：

WebServiceUtil /c:proxy /pa:http://localhost/stockquote/StockQuote.asmx?SDL /n:Quotes

以上命令執行後，會在運行這個命令的目錄中生成一個 C# 源代碼文件，叫做 DailyStock.cs （要記住Web服務類的名稱也是 DailyStock,）。現在來看這些自變數的含義：

l /c:proxy：告訴WebServiceUtil生成一個代理類

l /pa:http://localhost/stockquote/StockQuote.asmx?SDL：向SDL提供Web服務的路徑。如果已經將Web服務的SDL 保存到了硬碟上，我們甚至可以提供SDL文件的本地路徑。

l /n:Quotes：告訴WebServiceUtil將代理類放在 Quotes名稱空間。這樣做的目的是為了更容易地管理和使用代理庫。

代理庫准備好之後，我們使用C# 編譯器從上面步驟中剛創建的代理類中生成一個代理庫：

csc /target:library /r:System.dll;System.Web.Services.dll;System.Net.dll;

System.IO.dll;System.Xml.Serialization.dll DailyStock.cs

生成代理庫的時候，我們使用了 /target:library開關以表示想要輸出一個庫文件。我們還引用一些曾經在Web服務中使用過的集合。編譯器將在運行命令所在目錄中生成一個名為DailyStock.dll 的dll 庫。

(四)

創建 Web應用程序用戶

下面創建一個Web應用程序StockConsumer.aspx，它作為這個StockQuote（股票報價） Web服務的第一個用戶。

＜%@ Page language="C#" %＞

＜%@ Import Namespace="System.Xml" %＞

＜%@ Import Namespace="Quotes" %＞

以上引入必要的名稱空間。要記住也要引入 Quotes名稱空間，它是代理庫的名稱空間。

＜html＞

＜head＞

＜script runat=server＞

// Wire up the onClick event for a button

protected void button1_Click(object sender, EventArgs e)

{

file://Create a object of the class DailyStock (the proxy class)

DailyStock ds = new DailyStock();

// Call the GetQuote method of the proxy class DailyStock and

// pass the symbol string from the textbox

string res = ds.GetQuote(symbol.Text);

// The returned string has values which are separated

// by commas.

// Hence we split the returned string into parts

char[] splitter = {','} ;

string[] temp = res.Split(splitter);

// Check if the string array returned has more than one

// elements since if there are less than one elements

// then an exception must have been returned

if(temp.Length >1)

{

// The WebService returns a lot of information about the

// stock. We only show the relevant portions

// Set the label to current Index

curindex.Text = "Current Index :"+temp[1];

// Set the label to current Date Time

curdate.Text ="Last Update on"+temp[2]+" at "+temp[3];

}

else

{

error.Text = "Error :"+res ; file://set the error label

}

}

＜/script＞

以上ASP.NET頁面代碼中，首先對Web 服務DailyStock進行例示。由於已經生成了代理庫，因此Web服務的調用方法與其它任何庫的調用方法都相同。調用DailyStock 類的GetQuote()方法後，將返回一個字元串，其中包含了以逗號分隔的列表符號的完整信息。

我們將限制顯示給客戶的信息為只顯示當前指數和所報告指數的日期/時間。為了將字元串分成若干不同的部分，這里使用了字元串類的Split方法，在出現逗號的地方將字元串分割成部分。並且，將分割開的字元串組成數組之後，再使用相關的數值為Web頁面設置不同的標簽。

代碼的其餘部分

＜body＞

＜center＞

＜h2＞.NET101 Stock Quote Consumer ＜/h2＞

＜form runat=server ＞

＜table border=1 celspacing=1＞

＜tr＞＜th＞Please enter the symbol below＜/th＞＜/tr＞

＜tr＞＜td＞

＜asp:textbox id=symbol runat=server /＞

＜asp:button id=button1 text="Get Quote" onClick="button1_Click" runat=server /＞

＜/td＞＜/tr＞

＜tr＞＜td＞＜asp:label id=curindex runat=server /＞＜/td＞＜/tr＞

＜tr＞＜td＞＜asp:label id=curdate runat=server /＞＜/td＞＜/tr＞

＜tr＞＜td＞＜asp:label id=error runat=server /＞＜/td＞＜/tr＞

＜/table＞

＜/form＞

＜/center＞

＜/body＞

＜/html＞

(五)

小結

下面總結一下配置Web應用程序的步驟：

l 創建一個叫做StockConsumer的虛擬目錄

l 將 StockConsumer.aspx 文件復制到這個虛擬目錄下

l 在wwwroot 文件夾中創建一個 bin 虛擬目錄

l 設置bin目錄以執行代碼的許可權

l 將代理 dll 文件DailyStock.dll復制到這個目錄下，ASP.NET 運行時間引擎會自動從Bin目錄中選擇對外部庫的引用。這里的例子中，這個外部庫是DailyStock.dll。

現在調用文件 http://localhost/StockConsumer/StockConsumer.aspx，然後鍵入股票的符號，點擊 "Get Quote"（獲取報價）按鈕，就能看到正在使用的Web服務了。注意：Web服務應該能夠使用yahoo伺服器，否則它就會返回一個錯誤信息。

Ⅷ 如何用python 爬蟲抓取金融數據

獲取數據是數據分析中必不可少的一部分，而網路爬蟲是是獲取數據的一個重要渠道之一。鑒於此，我拾起了Python這把利器，開啟了網路爬蟲之路。

本篇使用的版本為python3.5，意在抓取證券之星上當天所有A股數據。程序主要分為三個部分：網頁源碼的獲取、所需內容的提取、所得結果的整理。

一、網頁源碼的獲取

很多人喜歡用python爬蟲的原因之一就是它容易上手。只需以下幾行代碼既可抓取大部分網頁的源碼。

為了減少干擾，我先用正則表達式從整個頁面源碼中匹配出以上的主體部分，然後從主體部分中匹配出每隻股票的信息。代碼如下。

pattern=re.compile('<tbody[sS]*</tbody>')
body=re.findall(pattern,str(content)) #匹配<tbody和</tbody>之間的所有代碼pattern=re.compile('>(.*?)<')
stock_page=re.findall(pattern,body[0]) #匹配>和<之間的所有信息

其中compile方法為編譯匹配模式，findall方法用此匹配模式去匹配出所需信息，並以列表的方式返回。正則表達式的語法還挺多的，下面我只羅列所用到符號的含義。

語法 說明

. 匹配任意除換行符「 」外的字元

* 匹配前一個字元0次或無限次

？ 匹配前一個字元0次或一次

s 空白字元：[<空格> fv]

S 非空白字元：[^s]

[...] 字元集，對應的位置可以是字元集中任意字元

(...) 被括起來的表達式將作為分組，裡面一般為我們所需提取的內容

正則表達式的語法挺多的，也許有大牛隻要一句正則表達式就可提取我想提取的內容。在提取股票主體部分代碼時發現有人用xpath表達式提取顯得更簡潔一些，看來頁面解析也有很長的一段路要走。

三、所得結果的整理

通過非貪婪模式(.*?)匹配>和<之間的所有數據，會匹配出一些空白字元出來，所以我們採用如下代碼把空白字元移除。

stock_last=stock_total[:] #stock_total：匹配出的股票數據for data in stock_total: #stock_last：整理後的股票數據
if data=='':
stock_last.remove('')

最後，我們可以列印幾列數據看下效果，代碼如下

print('代碼',' ','簡稱',' ',' ','最新價',' ','漲跌幅',' ','漲跌額',' ','5分鍾漲幅')for i in range(0,len(stock_last),13): #網頁總共有13列數據
print(stock_last[i],' ',stock_last[i+1],' ',' ',stock_last[i+2],' ',' ',stock_last[i+3],' ',' ',stock_last[i+4],' ',' ',stock_last[i+5])

Ⅸ 如何使用Python獲取股票分時成交數據

可以使用爬蟲來爬取數據，在寫個處理邏輯進行數據的整理。你可以詳細說明下你的需求，要爬取的網站等等。
希望我的回答對你有幫助

Ⅹ 如何用C#編程讀取新浪的股票實時行情

使用system.net下HttpWebRequest 和HttpWebResponse 就能完成你的需求。
1、你直接請求sina的頁面。
2、通過對返回的字元串（或者document對象）進行分析，能夠取到相應的數據。