爬虫抓取新浪股票数据

Ⅰ C#如何提取新浪等网站的股票实时动态行情数据

网站的都是后台系统 是不能够直接提取数据的 而且相对来说网站上的信息并不全面 还是找个顺手的软件做分析和复盘比较好 东方财富金融终端这个信息比较全 但是我用的是中信建投 这个看盘比较清晰
希望对你有帮助

Ⅱ matlab怎样抓取Yahoo/Sina的股票数据

给你一个例程，用于抓取新浪股票2017年1月份的股票数据。程序如下：

clc;
clear;
year=2017;
season = 1 ;
fprintf('抓取%d年%d季度的数据中...\n', year, season)
[sourcefile, status] = urlread(sprintf('http://vip.stock.finance.sina.com.cn/corp/go.php/vMS_MarketHistory/stockid/000001/type/S.phtml?year=%d&season=%d', year));
expr2 = '<div align="center">(\d*\.?\d*)</div>';
[datafile, data_tokens] = regexp(sourcefile, expr2, 'match', 'tokens'); %从源文件中获取目标数据
data = zeros(size(data_tokens));%产生和数据相同长度的0
for idx = 1:length(data_tokens)
data(idx) = str2double(data_tokens{idx}{1}); %转变数据类型后存入data中
end
%%占坑打个广告，代写matlab程序（毕业设计，课程任务等）
%%信号处理，小波变换，PCA降维，ICA分析，分类器，滤波器等。QQ：1577232787

Ⅲ 请问怎样用Java获取股票行情历史数据新浪、搜狐、百度财经都可以......

publicclassStockConnection{
	publicstaticvoidmain(String[]args){
		URLur=null;
		try{
			//搜狐股票行情历史接口
//			ur=newURL("http://q.stock.sohu.com/hisHq?code=cn_300228&start=20130930&end=20131231&stat=1&order=D&period=d&callback=historySearchHandler&rt=jsonp");
			//新浪股票行情历史接口
			ur=newURL("http://biz.finance.sina.com.cn/stock/flash_hq/kline_data.php?&rand=random(10000)&symbol=sh600000&end_date=20150809&begin_date=20000101&type=plain");
			HttpURLConnectionuc=(HttpURLConnection)ur.openConnection();
			BufferedReaderreader=newBufferedReader(newInputStreamReader(ur.openStream(),"GBK"));
			Stringline;
			while((line=reader.readLine())!=null){
				System.out.println(line);
			}
		}catch(Exceptione){
			//TODOAuto-generatedcatchblock
			e.printStackTrace();
		}
	}
}

Ⅳ 如何用爬虫抓取股市数据并生成分析报表

1. 关于数据采集
股票数据是一种标准化的结构数据，是可以通过API接口访问的（不过一般要通过渠道，开放的API有一定的局限性）。也可以通过爬虫软件进行采集，但是爬虫软件采集数据不能保证实时性，根据数据量和采集周期，可能要延迟几十秒到几分钟不等。我们总结了一套专业的爬虫技术解决方案(Ruby + Sidekiq)。能够很快实现这个采集，也可以后台可视化调度任务。

2. 关于展现
网络股票数据的展现，网页端直接通过HTML5技术就已经足够，如果对界面要求高一点，可以采用集成前端框架，如Bootstrap；如果针对移动端开发， 可以使用Ionic框架。

3. 关于触发事件
如果是采用Ruby on Rails的开发框架的话，倒是很方便了，有如sidekiq, whenever这样子的Gem直接实现任务管理和事件触发。

Ⅳ 如何通过软件抓取新浪财经里单只股票数据

如果你是准备抓历史数据，那还不如直接使用免费的wdz程序，沪深1990年至今的全部日线历史；2000年至今十几年的5分钟数据都可以直接输出，而且可转化为各种格式。根本不用去新浪中抓取。

Ⅵ 爬虫股票数据违法吗

摘要 另外，还有下列三种情况，爬虫有可能违法，严重的甚至构成犯罪：

Ⅶ 请问用C#如何提取新浪等网站的股票实时动态行情数据

找到一个利用webservice的方法，希望能够帮助你

声明: 这篇文章适合在C#命令行编译器下的开发借鉴,对于已经装了MS.NET的朋友,开发客户端时将会更容易一些,我随后对登出我自己的开发程序,这篇文章为我摘录的.摘录URL:http://www.knowsky.com/2016.html

(一)

Web Services，即Web服务，是微软.NET战略中非常重要的一个概念。它的目的是将Web站点转变为集组织、应用、服务以及设备于一体的可设计Web站点，使Web站点不再处于被动的地位。

本文将介绍如何建立和使用一个在.NET 平台上提供股票报价的Web服务。我们将使用Yahoo的一项以CSV（以逗号分隔的值）的格式提供股票报价的免费服务，将其包含在我们的web 服务中。

注意：这个报价服务例程的运行大约延迟15分钟，只用于教学目的。

建立Web服务

下面将采用逐步讲解代码的形式来帮助你理解在.NET 中Web服务的编程模式。我们可以使用notepad等任何文本编辑器来编写 这里的Web服务例程代码，最后将文件存储为StockQuote.asmx。请注意：所有的Web服务文件保存时都使用扩展名 *.asmx。

＜%@ WebService Language="C#" class="DailyStock" %＞

代码的第一行定义了一个 Web 服务，使用的语言是C#。class属性用来指示Web服务应该调用和使用的类。如果在Web服务中使用了许多类，那么就应该用这个属性来表明Web服务应该首先调用的类。

using System ;

using System.Web.Services ;

using System.Net ;

using System.IO ;

using System.Text ;

以上代码负责引入必要的名称空间。 请记住永远都要引入System.Web.Services这个名称空间。根据类的需要，再引入保留的名称空间。

public class DailyStock : WebService

{

......

....

}

这里我们将公共类定义为 DailyStock，它扩展了 System.Web.Services.WebService 类。所有想暴露为 Web服务的类都应该扩展System.Web.Services.WebServices类。 另外，Web 服务的存取修饰语永远都是public。

[WebMethod]

public string GetQuote(string symbol)

{

........

........

}

以上我们定义了一个公共Web方法 GetQuote。同类的定义一样，Web 方法也都要用 public这个修饰语来声明。 [WebMethod] 属性呈现出将要被用在Web服务中的一些潜在方法，希望客户存取的所有方法都应该用[WebMethod] 属性进行标记。GetQuote方法接受一个字符串输入参数，它包含了使用者所需要的报价符号。这个方法返回一个字符串，其中包含股票报价或错误

string ret;

try

{

// The Path to the Yahoo Quotes Service

string fullpath = @"http://

// Create a HttpWebRequest object on the Yahoo url

HttpWebRequest webreq = (HttpWebRequest)WebRequestFactory.Create(fullpath);

// Get a HttpWebResponse object from the Yahoo url

HttpWebResponse webresp = (HttpWebResponse)webreq.GetResponse();

// Create a StreamReader object and pass the Yahoo Server stream as a parameter

StreamReader strm = new StreamReader(webresp.GetResponseStream(), Encoding.ASCII);

// Read a single line from the stream (from the server)

// We read only a single line, since the Yahoo server returns all the

// information needed by us in just one line.

ret= strm.ReadLine();

// Close the stream to the server and free the resources.

strm.Close();

}

catch(Exception)

{

// If exception occurred inform the user

ret="Exception Occurred" ;

}

file://Return the Quote or Exception

return ret ;

以上是GetQuote 方法的内容。这里使用一个 try-catch模块来截获从Yahoo中得到股票报价的过程中可能发生的错误。在 try-catch模块内部声明了一个字符串变量，这个变量中保存着获取yahoo服务的完整路径，用户提供的symbol字符串变量被加到这个连接字符串上。

路径建立好之后，就要从连接字符串中构造一个 HttpWebRequest对象和一个 HttpWebResponse 对象。接着，用StreamReader打开一个到Yahoo

(二)

配置Web服务

配置Web 服务与一个配置ASP.NET应用程序相同。如果自己有Web服务器，那么就创建一个称为stockquote 的虚拟目录，然后将 StockQuote.asmx复制到这个目录中。如此就完成了Web 服务的配制。要调用Web服务，首先启动浏览器，然后键入Web 服务的路径，如 http://localhost/stockquote/StockQuote.asmx，接着看到的页面就是由Web服务运行时间环境自动生成的结果。在文本框中键入符号，例如AOL 或 MS，再点击invoke按钮，这时就会弹出一个新的窗口，在其中向你显示了Web服务的输出信息。

使用Web服务

基本上有两种使用Web 服务的方法。可以通过浏览器直接调用 Web 服务，并按照上面介绍的方法来使用它。或者，也可以在应用程序使用它。下面就看看如何建立一个Web 应用程序和一个控制台应用程序，通过它们来使用Web服务。当然，也可以使用Win Form 应用程序作为替代来使用Web 服务。

获取服务的描述

为了与Web服务进行通信，客户应该知道这个Web服务支持哪种方法以及如何与它们进行通信。.NET 上的Web服务自动用SDL（服务描述语言）产生一个 XML格式文档，这样就使客户能够获取与Web服务通信时所需要的信息。 在Web 服务URL之后附加 ?SDL 使Web服务生成客户能够使用的SDL文档。要查阅这里接受的Web 服务的SDL，可以在浏览器中键入http://localhost/stockquote/StockQuote.asmx?SDL。

(三)

构造代理库

.NET 平台上的应用程序可以使用代理库来调用Web服务上的方法，这样使用Web服务就非常容易。生成代理库的第一步是从SDL中生成一个Web服务的代理类。.NET SDK提供了一个叫做WebServiceUtil.exe的工具，它能够帮助我们生成一个代理类。要生成Web服务的代理类，首先进入命令行环境，然后转到将要开发客户应用程序的那个目录，接着输入以下命令：

WebServiceUtil /c:proxy /pa:http://localhost/stockquote/StockQuote.asmx?SDL /n:Quotes

以上命令执行后，会在运行这个命令的目录中生成一个 C# 源代码文件，叫做 DailyStock.cs （要记住Web服务类的名称也是 DailyStock,）。现在来看这些自变量的含义：

l /c:proxy：告诉WebServiceUtil生成一个代理类

l /pa:http://localhost/stockquote/StockQuote.asmx?SDL：向SDL提供Web服务的路径。如果已经将Web服务的SDL 保存到了硬盘上，我们甚至可以提供SDL文件的本地路径。

l /n:Quotes：告诉WebServiceUtil将代理类放在 Quotes名称空间。这样做的目的是为了更容易地管理和使用代理库。

代理库准备好之后，我们使用C# 编译器从上面步骤中刚创建的代理类中生成一个代理库：

csc /target:library /r:System.dll;System.Web.Services.dll;System.Net.dll;

System.IO.dll;System.Xml.Serialization.dll DailyStock.cs

生成代理库的时候，我们使用了 /target:library开关以表示想要输出一个库文件。我们还引用一些曾经在Web服务中使用过的集合。编译器将在运行命令所在目录中生成一个名为DailyStock.dll 的dll 库。

(四)

创建 Web应用程序用户

下面创建一个Web应用程序StockConsumer.aspx，它作为这个StockQuote（股票报价） Web服务的第一个用户。

＜%@ Page language="C#" %＞

＜%@ Import Namespace="System.Xml" %＞

＜%@ Import Namespace="Quotes" %＞

以上引入必要的名称空间。要记住也要引入 Quotes名称空间，它是代理库的名称空间。

＜html＞

＜head＞

＜script runat=server＞

// Wire up the onClick event for a button

protected void button1_Click(object sender, EventArgs e)

{

file://Create a object of the class DailyStock (the proxy class)

DailyStock ds = new DailyStock();

// Call the GetQuote method of the proxy class DailyStock and

// pass the symbol string from the textbox

string res = ds.GetQuote(symbol.Text);

// The returned string has values which are separated

// by commas.

// Hence we split the returned string into parts

char[] splitter = {','} ;

string[] temp = res.Split(splitter);

// Check if the string array returned has more than one

// elements since if there are less than one elements

// then an exception must have been returned

if(temp.Length >1)

{

// The WebService returns a lot of information about the

// stock. We only show the relevant portions

// Set the label to current Index

curindex.Text = "Current Index :"+temp[1];

// Set the label to current Date Time

curdate.Text ="Last Update on"+temp[2]+" at "+temp[3];

}

else

{

error.Text = "Error :"+res ; file://set the error label

}

}

＜/script＞

以上ASP.NET页面代码中，首先对Web 服务DailyStock进行例示。由于已经生成了代理库，因此Web服务的调用方法与其它任何库的调用方法都相同。调用DailyStock 类的GetQuote()方法后，将返回一个字符串，其中包含了以逗号分隔的列表符号的完整信息。

我们将限制显示给客户的信息为只显示当前指数和所报告指数的日期/时间。为了将字符串分成若干不同的部分，这里使用了字符串类的Split方法，在出现逗号的地方将字符串分割成部分。并且，将分割开的字符串组成数组之后，再使用相关的数值为Web页面设置不同的标签。

代码的其余部分

＜body＞

＜center＞

＜h2＞.NET101 Stock Quote Consumer ＜/h2＞

＜form runat=server ＞

＜table border=1 celspacing=1＞

＜tr＞＜th＞Please enter the symbol below＜/th＞＜/tr＞

＜tr＞＜td＞

＜asp:textbox id=symbol runat=server /＞

＜asp:button id=button1 text="Get Quote" onClick="button1_Click" runat=server /＞

＜/td＞＜/tr＞

＜tr＞＜td＞＜asp:label id=curindex runat=server /＞＜/td＞＜/tr＞

＜tr＞＜td＞＜asp:label id=curdate runat=server /＞＜/td＞＜/tr＞

＜tr＞＜td＞＜asp:label id=error runat=server /＞＜/td＞＜/tr＞

＜/table＞

＜/form＞

＜/center＞

＜/body＞

＜/html＞

(五)

小结

下面总结一下配置Web应用程序的步骤：

l 创建一个叫做StockConsumer的虚拟目录

l 将 StockConsumer.aspx 文件复制到这个虚拟目录下

l 在wwwroot 文件夹中创建一个 bin 虚拟目录

l 设置bin目录以执行代码的权限

l 将代理 dll 文件DailyStock.dll复制到这个目录下，ASP.NET 运行时间引擎会自动从Bin目录中选择对外部库的引用。这里的例子中，这个外部库是DailyStock.dll。

现在调用文件 http://localhost/StockConsumer/StockConsumer.aspx，然后键入股票的符号，点击 "Get Quote"（获取报价）按钮，就能看到正在使用的Web服务了。注意：Web服务应该能够使用yahoo服务器，否则它就会返回一个错误信息。

Ⅷ 如何用python 爬虫抓取金融数据

获取数据是数据分析中必不可少的一部分，而网络爬虫是是获取数据的一个重要渠道之一。鉴于此，我拾起了Python这把利器，开启了网络爬虫之路。

本篇使用的版本为python3.5，意在抓取证券之星上当天所有A股数据。程序主要分为三个部分：网页源码的获取、所需内容的提取、所得结果的整理。

一、网页源码的获取

很多人喜欢用python爬虫的原因之一就是它容易上手。只需以下几行代码既可抓取大部分网页的源码。

为了减少干扰，我先用正则表达式从整个页面源码中匹配出以上的主体部分，然后从主体部分中匹配出每只股票的信息。代码如下。

pattern=re.compile('<tbody[sS]*</tbody>')
body=re.findall(pattern,str(content)) #匹配<tbody和</tbody>之间的所有代码pattern=re.compile('>(.*?)<')
stock_page=re.findall(pattern,body[0]) #匹配>和<之间的所有信息

其中compile方法为编译匹配模式，findall方法用此匹配模式去匹配出所需信息，并以列表的方式返回。正则表达式的语法还挺多的，下面我只罗列所用到符号的含义。

语法 说明

. 匹配任意除换行符“ ”外的字符

* 匹配前一个字符0次或无限次

？ 匹配前一个字符0次或一次

s 空白字符：[<空格> fv]

S 非空白字符：[^s]

[...] 字符集，对应的位置可以是字符集中任意字符

(...) 被括起来的表达式将作为分组，里面一般为我们所需提取的内容

正则表达式的语法挺多的，也许有大牛只要一句正则表达式就可提取我想提取的内容。在提取股票主体部分代码时发现有人用xpath表达式提取显得更简洁一些，看来页面解析也有很长的一段路要走。

三、所得结果的整理

通过非贪婪模式(.*?)匹配>和<之间的所有数据，会匹配出一些空白字符出来，所以我们采用如下代码把空白字符移除。

stock_last=stock_total[:] #stock_total：匹配出的股票数据for data in stock_total: #stock_last：整理后的股票数据
if data=='':
stock_last.remove('')

最后，我们可以打印几列数据看下效果，代码如下

print('代码',' ','简称',' ',' ','最新价',' ','涨跌幅',' ','涨跌额',' ','5分钟涨幅')for i in range(0,len(stock_last),13): #网页总共有13列数据
print(stock_last[i],' ',stock_last[i+1],' ',' ',stock_last[i+2],' ',' ',stock_last[i+3],' ',' ',stock_last[i+4],' ',' ',stock_last[i+5])

Ⅸ 如何使用Python获取股票分时成交数据

可以使用爬虫来爬取数据，在写个处理逻辑进行数据的整理。你可以详细说明下你的需求，要爬取的网站等等。
希望我的回答对你有帮助

Ⅹ 如何用C#编程读取新浪的股票实时行情

使用system.net下HttpWebRequest 和HttpWebResponse 就能完成你的需求。
1、你直接请求sina的页面。
2、通过对返回的字符串（或者document对象）进行分析，能够取到相应的数据。