提取网页中股票数据库

① 如何利用一些 finance 数据库 api 批量获取股票信息

使用Yahoo API获取股票信息。

② 请问用C#如何提取新浪等网站的股票实时动态行情数据

找到一个利用webservice的方法，希望能够帮助你

声明: 这篇文章适合在C#命令行编译器下的开发借鉴,对于已经装了MS.NET的朋友,开发客户端时将会更容易一些,我随后对登出我自己的开发程序,这篇文章为我摘录的.摘录URL:http://www.knowsky.com/2016.html

(一)

Web Services，即Web服务，是微软.NET战略中非常重要的一个概念。它的目的是将Web站点转变为集组织、应用、服务以及设备于一体的可设计Web站点，使Web站点不再处于被动的地位。

本文将介绍如何建立和使用一个在.NET 平台上提供股票报价的Web服务。我们将使用Yahoo的一项以CSV（以逗号分隔的值）的格式提供股票报价的免费服务，将其包含在我们的web 服务中。

注意：这个报价服务例程的运行大约延迟15分钟，只用于教学目的。

建立Web服务

下面将采用逐步讲解代码的形式来帮助你理解在.NET 中Web服务的编程模式。我们可以使用notepad等任何文本编辑器来编写 这里的Web服务例程代码，最后将文件存储为StockQuote.asmx。请注意：所有的Web服务文件保存时都使用扩展名 *.asmx。

＜%@ WebService Language="C#" class="DailyStock" %＞

代码的第一行定义了一个 Web 服务，使用的语言是C#。class属性用来指示Web服务应该调用和使用的类。如果在Web服务中使用了许多类，那么就应该用这个属性来表明Web服务应该首先调用的类。

using System ;

using System.Web.Services ;

using System.Net ;

using System.IO ;

using System.Text ;

以上代码负责引入必要的名称空间。 请记住永远都要引入System.Web.Services这个名称空间。根据类的需要，再引入保留的名称空间。

public class DailyStock : WebService

{

......

....

}

这里我们将公共类定义为 DailyStock，它扩展了 System.Web.Services.WebService 类。所有想暴露为 Web服务的类都应该扩展System.Web.Services.WebServices类。 另外，Web 服务的存取修饰语永远都是public。

[WebMethod]

public string GetQuote(string symbol)

{

........

........

}

以上我们定义了一个公共Web方法 GetQuote。同类的定义一样，Web 方法也都要用 public这个修饰语来声明。 [WebMethod] 属性呈现出将要被用在Web服务中的一些潜在方法，希望客户存取的所有方法都应该用[WebMethod] 属性进行标记。GetQuote方法接受一个字符串输入参数，它包含了使用者所需要的报价符号。这个方法返回一个字符串，其中包含股票报价或错误

string ret;

try

{

// The Path to the Yahoo Quotes Service

string fullpath = @"http://

// Create a HttpWebRequest object on the Yahoo url

HttpWebRequest webreq = (HttpWebRequest)WebRequestFactory.Create(fullpath);

// Get a HttpWebResponse object from the Yahoo url

HttpWebResponse webresp = (HttpWebResponse)webreq.GetResponse();

// Create a StreamReader object and pass the Yahoo Server stream as a parameter

StreamReader strm = new StreamReader(webresp.GetResponseStream(), Encoding.ASCII);

// Read a single line from the stream (from the server)

// We read only a single line, since the Yahoo server returns all the

// information needed by us in just one line.

ret= strm.ReadLine();

// Close the stream to the server and free the resources.

strm.Close();

}

catch(Exception)

{

// If exception occurred inform the user

ret="Exception Occurred" ;

}

file://Return the Quote or Exception

return ret ;

以上是GetQuote 方法的内容。这里使用一个 try-catch模块来截获从Yahoo中得到股票报价的过程中可能发生的错误。在 try-catch模块内部声明了一个字符串变量，这个变量中保存着获取yahoo服务的完整路径，用户提供的symbol字符串变量被加到这个连接字符串上。

路径建立好之后，就要从连接字符串中构造一个 HttpWebRequest对象和一个 HttpWebResponse 对象。接着，用StreamReader打开一个到Yahoo

(二)

配置Web服务

配置Web 服务与一个配置ASP.NET应用程序相同。如果自己有Web服务器，那么就创建一个称为stockquote 的虚拟目录，然后将 StockQuote.asmx复制到这个目录中。如此就完成了Web 服务的配制。要调用Web服务，首先启动浏览器，然后键入Web 服务的路径，如 http://localhost/stockquote/StockQuote.asmx，接着看到的页面就是由Web服务运行时间环境自动生成的结果。在文本框中键入符号，例如AOL 或 MS，再点击invoke按钮，这时就会弹出一个新的窗口，在其中向你显示了Web服务的输出信息。

使用Web服务

基本上有两种使用Web 服务的方法。可以通过浏览器直接调用 Web 服务，并按照上面介绍的方法来使用它。或者，也可以在应用程序使用它。下面就看看如何建立一个Web 应用程序和一个控制台应用程序，通过它们来使用Web服务。当然，也可以使用Win Form 应用程序作为替代来使用Web 服务。

获取服务的描述

为了与Web服务进行通信，客户应该知道这个Web服务支持哪种方法以及如何与它们进行通信。.NET 上的Web服务自动用SDL（服务描述语言）产生一个 XML格式文档，这样就使客户能够获取与Web服务通信时所需要的信息。 在Web 服务URL之后附加 ?SDL 使Web服务生成客户能够使用的SDL文档。要查阅这里接受的Web 服务的SDL，可以在浏览器中键入http://localhost/stockquote/StockQuote.asmx?SDL。

(三)

构造代理库

.NET 平台上的应用程序可以使用代理库来调用Web服务上的方法，这样使用Web服务就非常容易。生成代理库的第一步是从SDL中生成一个Web服务的代理类。.NET SDK提供了一个叫做WebServiceUtil.exe的工具，它能够帮助我们生成一个代理类。要生成Web服务的代理类，首先进入命令行环境，然后转到将要开发客户应用程序的那个目录，接着输入以下命令：

WebServiceUtil /c:proxy /pa:http://localhost/stockquote/StockQuote.asmx?SDL /n:Quotes

以上命令执行后，会在运行这个命令的目录中生成一个 C# 源代码文件，叫做 DailyStock.cs （要记住Web服务类的名称也是 DailyStock,）。现在来看这些自变量的含义：

l /c:proxy：告诉WebServiceUtil生成一个代理类

l /pa:http://localhost/stockquote/StockQuote.asmx?SDL：向SDL提供Web服务的路径。如果已经将Web服务的SDL 保存到了硬盘上，我们甚至可以提供SDL文件的本地路径。

l /n:Quotes：告诉WebServiceUtil将代理类放在 Quotes名称空间。这样做的目的是为了更容易地管理和使用代理库。

代理库准备好之后，我们使用C# 编译器从上面步骤中刚创建的代理类中生成一个代理库：

csc /target:library /r:System.dll;System.Web.Services.dll;System.Net.dll;

System.IO.dll;System.Xml.Serialization.dll DailyStock.cs

生成代理库的时候，我们使用了 /target:library开关以表示想要输出一个库文件。我们还引用一些曾经在Web服务中使用过的集合。编译器将在运行命令所在目录中生成一个名为DailyStock.dll 的dll 库。

(四)

创建 Web应用程序用户

下面创建一个Web应用程序StockConsumer.aspx，它作为这个StockQuote（股票报价） Web服务的第一个用户。

＜%@ Page language="C#" %＞

＜%@ Import Namespace="System.Xml" %＞

＜%@ Import Namespace="Quotes" %＞

以上引入必要的名称空间。要记住也要引入 Quotes名称空间，它是代理库的名称空间。

＜html＞

＜head＞

＜script runat=server＞

// Wire up the onClick event for a button

protected void button1_Click(object sender, EventArgs e)

{

file://Create a object of the class DailyStock (the proxy class)

DailyStock ds = new DailyStock();

// Call the GetQuote method of the proxy class DailyStock and

// pass the symbol string from the textbox

string res = ds.GetQuote(symbol.Text);

// The returned string has values which are separated

// by commas.

// Hence we split the returned string into parts

char[] splitter = {','} ;

string[] temp = res.Split(splitter);

// Check if the string array returned has more than one

// elements since if there are less than one elements

// then an exception must have been returned

if(temp.Length >1)

{

// The WebService returns a lot of information about the

// stock. We only show the relevant portions

// Set the label to current Index

curindex.Text = "Current Index :"+temp[1];

// Set the label to current Date Time

curdate.Text ="Last Update on"+temp[2]+" at "+temp[3];

}

else

{

error.Text = "Error :"+res ; file://set the error label

}

}

＜/script＞

以上ASP.NET页面代码中，首先对Web 服务DailyStock进行例示。由于已经生成了代理库，因此Web服务的调用方法与其它任何库的调用方法都相同。调用DailyStock 类的GetQuote()方法后，将返回一个字符串，其中包含了以逗号分隔的列表符号的完整信息。

我们将限制显示给客户的信息为只显示当前指数和所报告指数的日期/时间。为了将字符串分成若干不同的部分，这里使用了字符串类的Split方法，在出现逗号的地方将字符串分割成部分。并且，将分割开的字符串组成数组之后，再使用相关的数值为Web页面设置不同的标签。

代码的其余部分

＜body＞

＜center＞

＜h2＞.NET101 Stock Quote Consumer ＜/h2＞

＜form runat=server ＞

＜table border=1 celspacing=1＞

＜tr＞＜th＞Please enter the symbol below＜/th＞＜/tr＞

＜tr＞＜td＞

＜asp:textbox id=symbol runat=server /＞

＜asp:button id=button1 text="Get Quote" onClick="button1_Click" runat=server /＞

＜/td＞＜/tr＞

＜tr＞＜td＞＜asp:label id=curindex runat=server /＞＜/td＞＜/tr＞

＜tr＞＜td＞＜asp:label id=curdate runat=server /＞＜/td＞＜/tr＞

＜tr＞＜td＞＜asp:label id=error runat=server /＞＜/td＞＜/tr＞

＜/table＞

＜/form＞

＜/center＞

＜/body＞

＜/html＞

(五)

小结

下面总结一下配置Web应用程序的步骤：

l 创建一个叫做StockConsumer的虚拟目录

l 将 StockConsumer.aspx 文件复制到这个虚拟目录下

l 在wwwroot 文件夹中创建一个 bin 虚拟目录

l 设置bin目录以执行代码的权限

l 将代理 dll 文件DailyStock.dll复制到这个目录下，ASP.NET 运行时间引擎会自动从Bin目录中选择对外部库的引用。这里的例子中，这个外部库是DailyStock.dll。

现在调用文件 http://localhost/StockConsumer/StockConsumer.aspx，然后键入股票的符号，点击 "Get Quote"（获取报价）按钮，就能看到正在使用的Web服务了。注意：Web服务应该能够使用yahoo服务器，否则它就会返回一个错误信息。

③ 如何用爬虫抓取股市数据并生成分析报表

推荐个很好用的软件，我也是一直在用的，就是前嗅的ForeSpider软件，
我是一直用过很多的采集软件，最后选择的前嗅的软件，ForeSpider这款软件是可视化的操作。简单配置几步就可以采集。如果网站比较复杂，这个软件自带爬虫脚本语言，通过写几行脚本，就可以采集所有的公开数据。
软件还自带免费的数据库，数据采集直接存入数据库，也可以导出成excel文件。
如果自己不想配置，前嗅可以配置采集模板，我的模板就是从前嗅购买的。
另外他们公司不光是软件好用，还有自己的数据分析系统，直接采集完数据后入库，ForeSpider内部集成了数据挖掘的功能，可以快速进行聚类分类、统计分析等，采集结果入库后就可以形成分析报表。
最主要的是他采集速度非常快，我之前用八爪鱼的软件，开服务器采，用了一个月采了100万条，后来我用ForeSpider。笔记本采的，一天就好几百万条。
这些都是我一直用前嗅的经验心得，你不妨试试。
建议你可以下载一个免费版试一试，免费版不限制功能，没有到期时间。

④ 怎么抓取股票数据

那么中国股市的数据有没有呢？答案是肯定的，不过要按照下面的参数做些调整，下面提供全球证券交易所的资料。
上证股票是股票代码后面加上.ss，深证股票是股票代码后面加上.sz
例如：000001 = 000001.sz
深市数据链接：http://table.finance.yahoo.com/table.csv?s=000001.sz
上市数据链接：http://table.finance.yahoo.com/table.csv?s=600000.ss
上证综指代码：000001.ss，深证成指代码：399001.SZ，沪深300代码：000300.ss
下面就是世界股票交易所的网址和缩写，要查找哪个股票交易所的数据，就按照上面的格式以此类推。
上海交易所=cn.finance.yahoo.com,.SS,Chinese,sl1d1t1c1ohgv
深圳交易所=cn.finance.yahoo.com,.SZ,Chinese,sl1d1t1c1ohgv
美国交易所=finance.yahoo.com,,United States,sl1d1t1c1ohgv
加拿大=ca.finance.yahoo.com,.TO,Toronto,sl1d1t1c1ohgv
新西兰=au.finance.yahoo.com,.NZ,sl1d1t1c1ohgv
新加坡=sg.finance.yahoo.com,.SI,Singapore,sl1d1t1c1ohgv
香港=hk.finance.yahoo.com,.HK,Hong Kong,sl1d1t1c1ohgv
台湾=tw.finance.yahoo.com,.TW,Taiwan,sl1d1t1c1ohgv
印度=in.finance.yahoo.com,.BO,Bombay,sl1d1t1c1ohgv
伦敦=uk.finance.yahoo.com,.L,London,sl1d1t1c1ohgv
澳洲=au.finance.yahoo.com,.AX,Sydney,sl1d1t1c1ohgv
巴西=br.finance.yahoo.com,.SA,Sao Paulo,sl1d1t1c1ohgv
瑞典=se.finance.yahoo.com,.ST,Stockholm,sl1d1t1c1ohgv
以上方法只能提供历史数据，实时数据不能抓取，此方法由ArthurXF提供

⑤ 如何用excel获取网页上的股票数据并按照日期制成表格拜托各位了 3Q

打开通晓信行情软件切换到某个股票的K线图状况再按F1菜单体系里选择数据导出点高等导出文件名.TXT改为.XLS\"点添加品种找到本身保存的股票再点开端导出就OK了。 查看原帖>>

⑥ 如何导出股票的全部行情数据

不同的股票客户端导出方式不一样，以同花顺为例供您参考：
1、打开软件登录，选择“自选股”，找出需要下载的股票；
2、在要导出数据的股票上点击右键，选择数据导出；
3、选择excel文件的导出地址，选择所需数据范围日期，点击下一步；
4、打开excel数据文件查看。

温馨提示：以上步骤供您参考。
应答时间：2021-05-27，最新业务变化请以平安银行官网公布为准。
[平安银行我知道]想要知道更多？快来看“平安银行我知道”吧~
https://b.pingan.com.cn/paim/iknow/index.html

⑦ 如何编程从免费股票软件中提取实时数据

自己写程序的话，一种方法是从已提供的信息源，例如webservice获取数据。还有种办法就是去连接提供即时信息的网页硬解析。

代码举例如下：

Created on Thu Jul 23 09:17:27 2015
@author: jet
"""
DAY_PRICE_COLS = ['date', 'open', 'high', 'close', 'low', 'volume',
'chg', '%chg', 'ma5', 'ma10', 'ma20',
'vma5', 'vma10', 'vma20', 'turnover']
DAY_PRICE_URL = '%sapi.finance.%s/%s/?code=%s&type=last'
INDEX_KEY = ['SH', 'SZ', 'HS300', 'SZ50', 'GEB', 'SMEB']
INDEX_LIST = {'SH': 'sh000001', 'SZ': 'sz399001', 'HS300': 'sz399300',
'SZ50': 'sh000016', 'GEB': 'sz399006', 'SMEB': 'sz399005'}
INDEX_DAY_PRICE_COLS= ['date', 'open', 'high', 'close', 'low', 'volume',
'chg', '%chg', 'ma5', 'ma10', 'ma20',
'vma5', 'vma10', 'vma20']
K_TYPE_KEY = ['D', 'W', 'M']
K_TYPE_MIN_KEY = ['5', '15', '30', '60']
K_TYPE = {'D': 'akdaily', 'W': 'akweekly', 'M': 'akmonthly'}
MIN_PRICE_URL = '%sapi.finance.%s/akmin?scode=%s&type=%s'
PAGE_TYPE = {'http': 'http://', 'ftp': 'ftp://'}
PAGE_DOMAIN = {'sina': 'sina.com.cn', 'ifeng': 'ifeng.com'}
URL_ERROR_MSG = '获取失败，请检查网络状态，或者API端口URL已经不匹配！'

get_hist_data.py
# -*- coding: utf-8 -*-
"""
Created on Thu Jul 23 09:15:40 2015
@author: jet
"""
import const as ct
import pandas as pd
import json
from urllib2 import urlopen,Request

def get_hist_data(code = None, start = None, end = None, ktype = 'D'):
"""
功能:
获取个股历史交易数据
--------
输入:
--------
code:string
股票代码 比如:601989
start:string
开始日期 格式:YYYY-MM-DD 为空时取到API所提供的最早日期数据
end:string
结束日期 格式:YYYY-MM-DD 为空时取到最近一个交易日数据
ktype:string(default=D, 函数内部自动统一为大写)
数据类型 D=日K线，W=周K线，M=月K线，5=5分钟，15=15分钟
30=30分钟，60=60分钟
输出:
--------
DataFrame
date 日期
open 开盘价
high 最高价
close 收盘价
low 最低价
chg 涨跌额
p_chg 涨跌幅
ma5 5日均价
ma10 10日均价
ma20 20日均价
vma5 5日均量
vma10 10日均量
vma20 20日均量
turnover换手率(指数无此项)
"""
code = code_to_APIcode(code.upper())
ktype = ktype.upper()

url = ''
url = get_url(ktype, code)
print(url)

js = json.loads(ping_API(url))
cols = []

if len(js['record'][0]) == 14:
cols = ct.INDEX_DAY_PRICE_COLS
else:
cols = ct.DAY_PRICE_COLS
df = pd.DataFrame(js['record'], columns=cols)

if ktype in ct.K_TYPE_KEY:
df = df.applymap(lambda x:x.replace(u',', u''))
for col in cols[1:]:
df[col]=df[col].astype(float)
if start is not None:
df = df [df.date >= start]
if end is not None:
df = df[df.date <= end]
df = df.set_index('date')
return df

def code_to_APIcode(code):
"""
功能：
验证输入的股票代码是否正确，若正确则返回API对应使用的股票代码
"""
print(code)
if code in ct.INDEX_KEY:
return ct.INDEX_LIST[code]
else:
if len(code) != 6:
raise IOError('code input error!')
else:
return 'sh%s'%code if code[:1] in ['5', '6'] else 'sz%s'%code

def get_url(ktype, code):
"""
功能：
验证输入的K线类型是否正确，若正确则返回url
"""
if ktype in ct.K_TYPE_KEY:
url = ct.DAY_PRICE_URL % (ct.PAGE_TYPE['http'], ct.PAGE_DOMAIN['ifeng'],
ct.K_TYPE[ktype], code)
return url
elif ktype in ct.K_TYPE_MIN_KEY:
url = ct.MIN_PRICE_URL % (ct.PAGE_TYPE['http'], ct.PAGE_DOMAIN['ifeng'],
code, ktype)
return url
else:
raise IOError('ktype input error!')

def ping_API(url):
"""
功能：
向API发送数据请求，若链接正常返回数据
"""
text = ''
try:
req = Request(url)
text = urlopen(req,timeout=10).read()
if len(text) < 15:
raise IOError('no data!')
except Exception as e:
print(e)
else:
return text

#测试入口
print(get_hist_data('601989','2015-07-11','2015-07-22'))

⑧ 怎样获取东方财富网的股票数据 如开盘价

首先考虑对方API。亚马逊就有API，你可以调取图书信息。要么根据链接，获取整个网页内容，然后用正则表达式获取指定部分数据。
东方财富网是中国访问量最大、影响力最大的财经证券门户网站之一。东方财富网致力于打造专业、权威、为用户着想的财经媒体。2004年3月上线。多年来，凭借权威、全面、专业、及时的优势，东方财富网持续位居中国财经类网站第一位，并不断扩大与竞争对手之间的差距，巩固优势地位。
东方财富网始终坚持网站内容的权威性和专业性，打造中国财经航母。网站内容涉及财经、股票、基金、期货、债券、外汇、银行、保险等诸多金融资讯与财经信息，全面覆盖财经领域，每日更新上万条最新数据及资讯，为用户提供便利的查询。网站全体员工以“没有休息日、新闻不过夜”作为工作口号，保证让广大用户在第一时间尽览天下财经及理财资讯。东方财富网从用户需求出发，打造中国最大、最火爆的互动平台。

⑨ 如何通过软件抓取新浪财经里单只股票数据

如果你是准备抓历史数据，那还不如直接使用免费的wdz程序，沪深1990年至今的全部日线历史；2000年至今十几年的5分钟数据都可以直接输出，而且可转化为各种格式。根本不用去新浪中抓取。

⑩ 如何使用 Yahoo，Finance stock API 获取股票数据

有三种方法获得数据，具体如下：

1、通过API获取实时数据

请求地址：http://finance.yahoo.com/d/quotes.csv?s=<股票名称>&f=<数据列选项>

具体参数：

s – 表示股票名称，多个股票之间使用英文“+”分隔如：”XOM+BBDb.TO+MSFT”，表示三个公司的股票：XOM，BBDb.TO，MSFT。

f – 表示返回数据列，如”snd1l1yr”。更详细的参见雅虎股票 API f 参数对照表。

2、通过API获取历史数据

请求地址如下：http://ichart.yahoo.com/table.csv?s=<string>&a=<int>&b=<int>&c=<int>&d=<int>&e=<int>&f=<int>&g=d&ignore=.csv

具体参数：

s – 股票名称

a – 起始时间，月

b – 起始时间，日

c – 起始时间，年

d – 结束时间，月

e – 结束时间，日

f – 结束时间，年

g – 时间周期。

例如: g=w, 表示周期是“周"。d表示“日”(day)，w表示“周”(week)，m表示“月”(mouth)，一定注意月份参数，其值比真实数据少1。如需要9月数据，则写为08。

3、通过API获取深沪股票数据

雅虎的API是国际性的，支持查询国内沪深股市的数据，但代码稍微变动一下，如浦发银行的代号是：600000.SS。规则是：上海市场末尾加.SS，深圳市场末尾加.SZ。