提取網頁中股票資料庫

① 如何利用一些 finance 資料庫 api 批量獲取股票信息

使用Yahoo API獲取股票信息。

② 請問用C#如何提取新浪等網站的股票實時動態行情數據

找到一個利用webservice的方法，希望能夠幫助你

聲明: 這篇文章適合在C#命令行編譯器下的開發借鑒,對於已經裝了MS.NET的朋友,開發客戶端時將會更容易一些,我隨後對登出我自己的開發程序,這篇文章為我摘錄的.摘錄URL:http://www.knowsky.com/2016.html

(一)

Web Services，即Web服務，是微軟.NET戰略中非常重要的一個概念。它的目的是將Web站點轉變為集組織、應用、服務以及設備於一體的可設計Web站點，使Web站點不再處於被動的地位。

本文將介紹如何建立和使用一個在.NET 平台上提供股票報價的Web服務。我們將使用Yahoo的一項以CSV（以逗號分隔的值）的格式提供股票報價的免費服務，將其包含在我們的web 服務中。

注意：這個報價服務常式的運行大約延遲15分鍾，只用於教學目的。

建立Web服務

下面將採用逐步講解代碼的形式來幫助你理解在.NET 中Web服務的編程模式。我們可以使用notepad等任何文本編輯器來編寫 這里的Web服務常式代碼，最後將文件存儲為StockQuote.asmx。請注意：所有的Web服務文件保存時都使用擴展名 *.asmx。

＜%@ WebService Language="C#" class="DailyStock" %＞

代碼的第一行定義了一個 Web 服務，使用的語言是C#。class屬性用來指示Web服務應該調用和使用的類。如果在Web服務中使用了許多類，那麼就應該用這個屬性來表明Web服務應該首先調用的類。

using System ;

using System.Web.Services ;

using System.Net ;

using System.IO ;

using System.Text ;

以上代碼負責引入必要的名稱空間。 請記住永遠都要引入System.Web.Services這個名稱空間。根據類的需要，再引入保留的名稱空間。

public class DailyStock : WebService

{

......

....

}

這里我們將公共類定義為 DailyStock，它擴展了 System.Web.Services.WebService 類。所有想暴露為 Web服務的類都應該擴展System.Web.Services.WebServices類。 另外，Web 服務的存取修飾語永遠都是public。

[WebMethod]

public string GetQuote(string symbol)

{

........

........

}

以上我們定義了一個公共Web方法 GetQuote。同類的定義一樣，Web 方法也都要用 public這個修飾語來聲明。 [WebMethod] 屬性呈現出將要被用在Web服務中的一些潛在方法，希望客戶存取的所有方法都應該用[WebMethod] 屬性進行標記。GetQuote方法接受一個字元串輸入參數，它包含了使用者所需要的報價符號。這個方法返回一個字元串，其中包含股票報價或錯誤

string ret;

try

{

// The Path to the Yahoo Quotes Service

string fullpath = @"http://

// Create a HttpWebRequest object on the Yahoo url

HttpWebRequest webreq = (HttpWebRequest)WebRequestFactory.Create(fullpath);

// Get a HttpWebResponse object from the Yahoo url

HttpWebResponse webresp = (HttpWebResponse)webreq.GetResponse();

// Create a StreamReader object and pass the Yahoo Server stream as a parameter

StreamReader strm = new StreamReader(webresp.GetResponseStream(), Encoding.ASCII);

// Read a single line from the stream (from the server)

// We read only a single line, since the Yahoo server returns all the

// information needed by us in just one line.

ret= strm.ReadLine();

// Close the stream to the server and free the resources.

strm.Close();

}

catch(Exception)

{

// If exception occurred inform the user

ret="Exception Occurred" ;

}

file://Return the Quote or Exception

return ret ;

以上是GetQuote 方法的內容。這里使用一個 try-catch模塊來截獲從Yahoo中得到股票報價的過程中可能發生的錯誤。在 try-catch模塊內部聲明了一個字元串變數，這個變數中保存著獲取yahoo服務的完整路徑，用戶提供的symbol字元串變數被加到這個連接字元串上。

路徑建立好之後，就要從連接字元串中構造一個 HttpWebRequest對象和一個 HttpWebResponse 對象。接著，用StreamReader打開一個到Yahoo

(二)

配置Web服務

配置Web 服務與一個配置ASP.NET應用程序相同。如果自己有Web伺服器，那麼就創建一個稱為stockquote 的虛擬目錄，然後將 StockQuote.asmx復制到這個目錄中。如此就完成了Web 服務的配製。要調用Web服務，首先啟動瀏覽器，然後鍵入Web 服務的路徑，如 http://localhost/stockquote/StockQuote.asmx，接著看到的頁面就是由Web服務運行時間環境自動生成的結果。在文本框中鍵入符號，例如AOL 或 MS，再點擊invoke按鈕，這時就會彈出一個新的窗口，在其中向你顯示了Web服務的輸出信息。

使用Web服務

基本上有兩種使用Web 服務的方法。可以通過瀏覽器直接調用 Web 服務，並按照上面介紹的方法來使用它。或者，也可以在應用程序使用它。下面就看看如何建立一個Web 應用程序和一個控制台應用程序，通過它們來使用Web服務。當然，也可以使用Win Form 應用程序作為替代來使用Web 服務。

獲取服務的描述

為了與Web服務進行通信，客戶應該知道這個Web服務支持哪種方法以及如何與它們進行通信。.NET 上的Web服務自動用SDL（服務描述語言）產生一個 XML格式文檔，這樣就使客戶能夠獲取與Web服務通信時所需要的信息。 在Web 服務URL之後附加 ?SDL 使Web服務生成客戶能夠使用的SDL文檔。要查閱這里接受的Web 服務的SDL，可以在瀏覽器中鍵入http://localhost/stockquote/StockQuote.asmx?SDL。

(三)

構造代理庫

.NET 平台上的應用程序可以使用代理庫來調用Web服務上的方法，這樣使用Web服務就非常容易。生成代理庫的第一步是從SDL中生成一個Web服務的代理類。.NET SDK提供了一個叫做WebServiceUtil.exe的工具，它能夠幫助我們生成一個代理類。要生成Web服務的代理類，首先進入命令行環境，然後轉到將要開發客戶應用程序的那個目錄，接著輸入以下命令：

WebServiceUtil /c:proxy /pa:http://localhost/stockquote/StockQuote.asmx?SDL /n:Quotes

以上命令執行後，會在運行這個命令的目錄中生成一個 C# 源代碼文件，叫做 DailyStock.cs （要記住Web服務類的名稱也是 DailyStock,）。現在來看這些自變數的含義：

l /c:proxy：告訴WebServiceUtil生成一個代理類

l /pa:http://localhost/stockquote/StockQuote.asmx?SDL：向SDL提供Web服務的路徑。如果已經將Web服務的SDL 保存到了硬碟上，我們甚至可以提供SDL文件的本地路徑。

l /n:Quotes：告訴WebServiceUtil將代理類放在 Quotes名稱空間。這樣做的目的是為了更容易地管理和使用代理庫。

代理庫准備好之後，我們使用C# 編譯器從上面步驟中剛創建的代理類中生成一個代理庫：

csc /target:library /r:System.dll;System.Web.Services.dll;System.Net.dll;

System.IO.dll;System.Xml.Serialization.dll DailyStock.cs

生成代理庫的時候，我們使用了 /target:library開關以表示想要輸出一個庫文件。我們還引用一些曾經在Web服務中使用過的集合。編譯器將在運行命令所在目錄中生成一個名為DailyStock.dll 的dll 庫。

(四)

創建 Web應用程序用戶

下面創建一個Web應用程序StockConsumer.aspx，它作為這個StockQuote（股票報價） Web服務的第一個用戶。

＜%@ Page language="C#" %＞

＜%@ Import Namespace="System.Xml" %＞

＜%@ Import Namespace="Quotes" %＞

以上引入必要的名稱空間。要記住也要引入 Quotes名稱空間，它是代理庫的名稱空間。

＜html＞

＜head＞

＜script runat=server＞

// Wire up the onClick event for a button

protected void button1_Click(object sender, EventArgs e)

{

file://Create a object of the class DailyStock (the proxy class)

DailyStock ds = new DailyStock();

// Call the GetQuote method of the proxy class DailyStock and

// pass the symbol string from the textbox

string res = ds.GetQuote(symbol.Text);

// The returned string has values which are separated

// by commas.

// Hence we split the returned string into parts

char[] splitter = {','} ;

string[] temp = res.Split(splitter);

// Check if the string array returned has more than one

// elements since if there are less than one elements

// then an exception must have been returned

if(temp.Length >1)

{

// The WebService returns a lot of information about the

// stock. We only show the relevant portions

// Set the label to current Index

curindex.Text = "Current Index :"+temp[1];

// Set the label to current Date Time

curdate.Text ="Last Update on"+temp[2]+" at "+temp[3];

}

else

{

error.Text = "Error :"+res ; file://set the error label

}

}

＜/script＞

以上ASP.NET頁面代碼中，首先對Web 服務DailyStock進行例示。由於已經生成了代理庫，因此Web服務的調用方法與其它任何庫的調用方法都相同。調用DailyStock 類的GetQuote()方法後，將返回一個字元串，其中包含了以逗號分隔的列表符號的完整信息。

我們將限制顯示給客戶的信息為只顯示當前指數和所報告指數的日期/時間。為了將字元串分成若干不同的部分，這里使用了字元串類的Split方法，在出現逗號的地方將字元串分割成部分。並且，將分割開的字元串組成數組之後，再使用相關的數值為Web頁面設置不同的標簽。

代碼的其餘部分

＜body＞

＜center＞

＜h2＞.NET101 Stock Quote Consumer ＜/h2＞

＜form runat=server ＞

＜table border=1 celspacing=1＞

＜tr＞＜th＞Please enter the symbol below＜/th＞＜/tr＞

＜tr＞＜td＞

＜asp:textbox id=symbol runat=server /＞

＜asp:button id=button1 text="Get Quote" onClick="button1_Click" runat=server /＞

＜/td＞＜/tr＞

＜tr＞＜td＞＜asp:label id=curindex runat=server /＞＜/td＞＜/tr＞

＜tr＞＜td＞＜asp:label id=curdate runat=server /＞＜/td＞＜/tr＞

＜tr＞＜td＞＜asp:label id=error runat=server /＞＜/td＞＜/tr＞

＜/table＞

＜/form＞

＜/center＞

＜/body＞

＜/html＞

(五)

小結

下面總結一下配置Web應用程序的步驟：

l 創建一個叫做StockConsumer的虛擬目錄

l 將 StockConsumer.aspx 文件復制到這個虛擬目錄下

l 在wwwroot 文件夾中創建一個 bin 虛擬目錄

l 設置bin目錄以執行代碼的許可權

l 將代理 dll 文件DailyStock.dll復制到這個目錄下，ASP.NET 運行時間引擎會自動從Bin目錄中選擇對外部庫的引用。這里的例子中，這個外部庫是DailyStock.dll。

現在調用文件 http://localhost/StockConsumer/StockConsumer.aspx，然後鍵入股票的符號，點擊 "Get Quote"（獲取報價）按鈕，就能看到正在使用的Web服務了。注意：Web服務應該能夠使用yahoo伺服器，否則它就會返回一個錯誤信息。

③ 如何用爬蟲抓取股市數據並生成分析報表

推薦個很好用的軟體，我也是一直在用的，就是前嗅的ForeSpider軟體，
我是一直用過很多的採集軟體，最後選擇的前嗅的軟體，ForeSpider這款軟體是可視化的操作。簡單配置幾步就可以採集。如果網站比較復雜，這個軟體自帶爬蟲腳本語言，通過寫幾行腳本，就可以採集所有的公開數據。
軟體還自帶免費的資料庫，數據採集直接存入資料庫，也可以導出成excel文件。
如果自己不想配置，前嗅可以配置採集模板，我的模板就是從前嗅購買的。
另外他們公司不光是軟體好用，還有自己的數據分析系統，直接採集完數據後入庫，ForeSpider內部集成了數據挖掘的功能，可以快速進行聚類分類、統計分析等，採集結果入庫後就可以形成分析報表。
最主要的是他採集速度非常快，我之前用八爪魚的軟體，開伺服器采，用了一個月采了100萬條，後來我用ForeSpider。筆記本採的，一天就好幾百萬條。
這些都是我一直用前嗅的經驗心得，你不妨試試。
建議你可以下載一個免費版試一試，免費版不限制功能，沒有到期時間。

④ 怎麼抓取股票數據

那麼中國股市的數據有沒有呢？答案是肯定的，不過要按照下面的參數做些調整，下面提供全球證券交易所的資料。
上證股票是股票代碼後面加上.ss，深證股票是股票代碼後面加上.sz
例如：000001 = 000001.sz
深市數據鏈接：http://table.finance.yahoo.com/table.csv?s=000001.sz
上市數據鏈接：http://table.finance.yahoo.com/table.csv?s=600000.ss
上證綜指代碼：000001.ss，深證成指代碼：399001.SZ，滬深300代碼：000300.ss
下面就是世界股票交易所的網址和縮寫，要查找哪個股票交易所的數據，就按照上面的格式以此類推。
上海交易所=cn.finance.yahoo.com,.SS,Chinese,sl1d1t1c1ohgv
深圳交易所=cn.finance.yahoo.com,.SZ,Chinese,sl1d1t1c1ohgv
美國交易所=finance.yahoo.com,,United States,sl1d1t1c1ohgv
加拿大=ca.finance.yahoo.com,.TO,Toronto,sl1d1t1c1ohgv
紐西蘭=au.finance.yahoo.com,.NZ,sl1d1t1c1ohgv
新加坡=sg.finance.yahoo.com,.SI,Singapore,sl1d1t1c1ohgv
香港=hk.finance.yahoo.com,.HK,Hong Kong,sl1d1t1c1ohgv
台灣=tw.finance.yahoo.com,.TW,Taiwan,sl1d1t1c1ohgv
印度=in.finance.yahoo.com,.BO,Bombay,sl1d1t1c1ohgv
倫敦=uk.finance.yahoo.com,.L,London,sl1d1t1c1ohgv
澳洲=au.finance.yahoo.com,.AX,Sydney,sl1d1t1c1ohgv
巴西=br.finance.yahoo.com,.SA,Sao Paulo,sl1d1t1c1ohgv
瑞典=se.finance.yahoo.com,.ST,Stockholm,sl1d1t1c1ohgv
以上方法只能提供歷史數據，實時數據不能抓取，此方法由ArthurXF提供

⑤ 如何用excel獲取網頁上的股票數據並按照日期製成表格拜託各位了 3Q

打開通曉信行情軟體切換到某個股票的K線圖狀況再按F1菜單體系裡選擇數據導出點高等導出文件名.TXT改為.XLS\"點添加品種找到本身保存的股票再點開端導出就OK了。 查看原帖>>

⑥ 如何導出股票的全部行情數據

不同的股票客戶端導出方式不一樣，以同花順為例供您參考：
1、打開軟體登錄，選擇「自選股」，找出需要下載的股票；
2、在要導出數據的股票上點擊右鍵，選擇數據導出；
3、選擇excel文件的導出地址，選擇所需數據范圍日期，點擊下一步；
4、打開excel數據文件查看。

溫馨提示：以上步驟供您參考。
應答時間：2021-05-27，最新業務變化請以平安銀行官網公布為准。
[平安銀行我知道]想要知道更多？快來看「平安銀行我知道」吧~
https://b.pingan.com.cn/paim/iknow/index.html

⑦ 如何編程從免費股票軟體中提取實時數據

自己寫程序的話，一種方法是從已提供的信息源，例如webservice獲取數據。還有種辦法就是去連接提供即時信息的網頁硬解析。

代碼舉例如下：

Created on Thu Jul 23 09:17:27 2015
@author: jet
"""
DAY_PRICE_COLS = ['date', 'open', 'high', 'close', 'low', 'volume',
'chg', '%chg', 'ma5', 'ma10', 'ma20',
'vma5', 'vma10', 'vma20', 'turnover']
DAY_PRICE_URL = '%sapi.finance.%s/%s/?code=%s&type=last'
INDEX_KEY = ['SH', 'SZ', 'HS300', 'SZ50', 'GEB', 'SMEB']
INDEX_LIST = {'SH': 'sh000001', 'SZ': 'sz399001', 'HS300': 'sz399300',
'SZ50': 'sh000016', 'GEB': 'sz399006', 'SMEB': 'sz399005'}
INDEX_DAY_PRICE_COLS= ['date', 'open', 'high', 'close', 'low', 'volume',
'chg', '%chg', 'ma5', 'ma10', 'ma20',
'vma5', 'vma10', 'vma20']
K_TYPE_KEY = ['D', 'W', 'M']
K_TYPE_MIN_KEY = ['5', '15', '30', '60']
K_TYPE = {'D': 'akdaily', 'W': 'akweekly', 'M': 'akmonthly'}
MIN_PRICE_URL = '%sapi.finance.%s/akmin?scode=%s&type=%s'
PAGE_TYPE = {'http': 'http://', 'ftp': 'ftp://'}
PAGE_DOMAIN = {'sina': 'sina.com.cn', 'ifeng': 'ifeng.com'}
URL_ERROR_MSG = '獲取失敗，請檢查網路狀態，或者API埠URL已經不匹配！'

get_hist_data.py
# -*- coding: utf-8 -*-
"""
Created on Thu Jul 23 09:15:40 2015
@author: jet
"""
import const as ct
import pandas as pd
import json
from urllib2 import urlopen,Request

def get_hist_data(code = None, start = None, end = None, ktype = 'D'):
"""
功能:
獲取個股歷史交易數據
--------
輸入:
--------
code:string
股票代碼 比如:601989
start:string
開始日期 格式:YYYY-MM-DD 為空時取到API所提供的最早日期數據
end:string
結束日期 格式:YYYY-MM-DD 為空時取到最近一個交易日數據
ktype:string(default=D, 函數內部自動統一為大寫)
數據類型 D=日K線，W=周K線，M=月K線，5=5分鍾，15=15分鍾
30=30分鍾，60=60分鍾
輸出:
--------
DataFrame
date 日期
open 開盤價
high 最高價
close 收盤價
low 最低價
chg 漲跌額
p_chg 漲跌幅
ma5 5日均價
ma10 10日均價
ma20 20日均價
vma5 5日均量
vma10 10日均量
vma20 20日均量
turnover換手率(指數無此項)
"""
code = code_to_APIcode(code.upper())
ktype = ktype.upper()

url = ''
url = get_url(ktype, code)
print(url)

js = json.loads(ping_API(url))
cols = []

if len(js['record'][0]) == 14:
cols = ct.INDEX_DAY_PRICE_COLS
else:
cols = ct.DAY_PRICE_COLS
df = pd.DataFrame(js['record'], columns=cols)

if ktype in ct.K_TYPE_KEY:
df = df.applymap(lambda x:x.replace(u',', u''))
for col in cols[1:]:
df[col]=df[col].astype(float)
if start is not None:
df = df [df.date >= start]
if end is not None:
df = df[df.date <= end]
df = df.set_index('date')
return df

def code_to_APIcode(code):
"""
功能：
驗證輸入的股票代碼是否正確，若正確則返回API對應使用的股票代碼
"""
print(code)
if code in ct.INDEX_KEY:
return ct.INDEX_LIST[code]
else:
if len(code) != 6:
raise IOError('code input error!')
else:
return 'sh%s'%code if code[:1] in ['5', '6'] else 'sz%s'%code

def get_url(ktype, code):
"""
功能：
驗證輸入的K線類型是否正確，若正確則返回url
"""
if ktype in ct.K_TYPE_KEY:
url = ct.DAY_PRICE_URL % (ct.PAGE_TYPE['http'], ct.PAGE_DOMAIN['ifeng'],
ct.K_TYPE[ktype], code)
return url
elif ktype in ct.K_TYPE_MIN_KEY:
url = ct.MIN_PRICE_URL % (ct.PAGE_TYPE['http'], ct.PAGE_DOMAIN['ifeng'],
code, ktype)
return url
else:
raise IOError('ktype input error!')

def ping_API(url):
"""
功能：
向API發送數據請求，若鏈接正常返回數據
"""
text = ''
try:
req = Request(url)
text = urlopen(req,timeout=10).read()
if len(text) < 15:
raise IOError('no data!')
except Exception as e:
print(e)
else:
return text

#測試入口
print(get_hist_data('601989','2015-07-11','2015-07-22'))

⑧ 怎樣獲取東方財富網的股票數據 如開盤價

首先考慮對方API。亞馬遜就有API，你可以調取圖書信息。要麼根據鏈接，獲取整個網頁內容，然後用正則表達式獲取指定部分數據。
東方財富網是中國訪問量最大、影響力最大的財經證券門戶網站之一。東方財富網致力於打造專業、權威、為用戶著想的財經媒體。2004年3月上線。多年來，憑借權威、全面、專業、及時的優勢，東方財富網持續位居中國財經類網站第一位，並不斷擴大與競爭對手之間的差距，鞏固優勢地位。
東方財富網始終堅持網站內容的權威性和專業性，打造中國財經航母。網站內容涉及財經、股票、基金、期貨、債券、外匯、銀行、保險等諸多金融資訊與財經信息，全面覆蓋財經領域，每日更新上萬條最新數據及資訊，為用戶提供便利的查詢。網站全體員工以「沒有休息日、新聞不過夜」作為工作口號，保證讓廣大用戶在第一時間盡覽天下財經及理財資訊。東方財富網從用戶需求出發，打造中國最大、最火爆的互動平台。

⑨ 如何通過軟體抓取新浪財經里單只股票數據

如果你是准備抓歷史數據，那還不如直接使用免費的wdz程序，滬深1990年至今的全部日線歷史；2000年至今十幾年的5分鍾數據都可以直接輸出，而且可轉化為各種格式。根本不用去新浪中抓取。

⑩ 如何使用 Yahoo，Finance stock API 獲取股票數據

有三種方法獲得數據，具體如下：

1、通過API獲取實時數據

請求地址：http://finance.yahoo.com/d/quotes.csv?s=<股票名稱>&f=<數據列選項>

具體參數：

s – 表示股票名稱，多個股票之間使用英文「+」分隔如：」XOM+BBDb.TO+MSFT」，表示三個公司的股票：XOM，BBDb.TO，MSFT。

f – 表示返回數據列，如」snd1l1yr」。更詳細的參見雅虎股票 API f 參數對照表。

2、通過API獲取歷史數據

請求地址如下：http://ichart.yahoo.com/table.csv?s=<string>&a=<int>&b=<int>&c=<int>&d=<int>&e=<int>&f=<int>&g=d&ignore=.csv

具體參數：

s – 股票名稱

a – 起始時間，月

b – 起始時間，日

c – 起始時間，年

d – 結束時間，月

e – 結束時間，日

f – 結束時間，年

g – 時間周期。

例如: g=w, 表示周期是「周"。d表示「日」(day)，w表示「周」(week)，m表示「月」(mouth)，一定注意月份參數，其值比真實數據少1。如需要9月數據，則寫為08。

3、通過API獲取深滬股票數據

雅虎的API是國際性的，支持查詢國內滬深股市的數據，但代碼稍微變動一下，如浦發銀行的代號是：600000.SS。規則是：上海市場末尾加.SS，深圳市場末尾加.SZ。