导航:首页 > 数据行情 > 如何从网上爬股票数据库

如何从网上爬股票数据库

发布时间:2023-02-25 22:32:30

① java 如何实现 获取实时股票数据

一般有三种方式:

  1. 网页爬虫。采用爬虫去爬取目标网页的股票数据,去GitHub或技术论坛(如CSDN、51CTO)上找一下别人写的爬虫集成到项目中。

  2. 请求第三方API。会有专门的公司(例如网络API市场)提供股票数据,你只需要去购买他们的服务,使用他们提供的SDK,仿照demo开发实现即可。如下图所示:

② 如何用爬虫抓取股市数据并生成分析报表

推荐个很好用的软件,我也是一直在用的,就是前嗅的ForeSpider软件,
我是一直用过很多的采集软件,最后选择的前嗅的软件,ForeSpider这款软件是可视化的操作。简单配置几步就可以采集。如果网站比较复杂,这个软件自带爬虫脚本语言,通过写几行脚本,就可以采集所有的公开数据。
软件还自带免费的数据库,数据采集直接存入数据库,也可以导出成excel文件。
如果自己不想配置,前嗅可以配置采集模板,我的模板就是从前嗅购买的。
另外他们公司不光是软件好用,还有自己的数据分析系统,直接采集完数据后入库,ForeSpider内部集成了数据挖掘的功能,可以快速进行聚类分类、统计分析等,采集结果入库后就可以形成分析报表。
最主要的是他采集速度非常快,我之前用八爪鱼的软件,开服务器采,用了一个月采了100万条,后来我用ForeSpider。笔记本采的,一天就好几百万条。
这些都是我一直用前嗅的经验心得,你不妨试试。
建议你可以下载一个免费版试一试,免费版不限制功能,没有到期时间。

③ 如何快速取得股票交易历史数据

示例:

最近二十天左右的每5分钟数据

网页链接

(参数:股票编号、分钟间隔(5、15、30、60)、均值(5、10、15、20、25)、查询个数点(最大值242))

返回数据格式:日期、开盘价、最高价、最低价、收盘价、成交量

④ 股市数据如何获取

股市的数据通过炒股软件,每天就可以自动收取

⑤ 如何使用Yahoo,FinancestockAPI获取股票数据

有三种方法获得数据,具体如下:

1、通过API获取实时数据

请求地址:http://finance.yahoo.com/d/quotes.csv?s=<股票名称>&f=<数据列选项>

具体参数:

s–表示股票名称,多个股票之间使用英文“+”分隔如:”XOM+BBDb.TO+MSFT”,表示三个公司的股票:XOM,BBDb.TO,MSFT。

f–表示返回数据列,如”snd1l1yr”。更详细的参见雅虎股票APIf参数对照表。

2、通过API获取历史数据

请求地址如下:http://ichart.yahoo.com/table.csv?s=<string>&a=<int>&b=<int>&c=<int>&d=<int>&e=<int>&f=<int>&g=d&ignore=.csv

具体参数:

s–股票名称

a–起始时间,月

b–起始时间,日

c–起始时间,年

d–结束时间,月

e–结束时间,日

f–结束时间,年

g–时间周期。

例如:g=w,表示周期是“周"。d表示“日”(day),w表示“周”(week),m表示“月”(mouth),一定注意月份参数,其值比真实数据少1。如需要9月数据,则写为08。

3、通过API获取深沪股票数据

雅虎的API是国际性的,支持查询国内沪深股市的数据,但代码稍微变动一下,如浦发银行的代号是:600000.SS。规则是:上海市场末尾加.SS,深圳市场末尾加.SZ。

⑥ 如何用python抓取股票数据

在 Python的QSTK中,是通过 s_datapath 变量,定义相应股票数据所在的文件夹。一般可以通过 QSDATA 这个环境变量来设置对应的数据文件夹。
具体的股票数据来源,例如沪深、港股等市场,你可以使用免费的WDZ程序输出相应日线、5分钟数据到 s_datapath 变量所指定的文件夹中。然后可使用 Python的QSTK中,qstkutil.DataAccess进行数据访问。

⑦ 如何利用一些 finance 数据库 api 批量获取股票信息

使用Yahoo API获取股票信息。

⑧ 如何用python 爬虫抓取金融数据

获取数据是数据分析中必不可少的一部分,而网络爬虫是是获取数据的一个重要渠道之一。鉴于此,我拾起了Python这把利器,开启了网络爬虫之路。

本篇使用的版本为python3.5,意在抓取证券之星上当天所有A股数据。程序主要分为三个部分:网页源码的获取、所需内容的提取、所得结果的整理。

一、网页源码的获取

很多人喜欢用python爬虫的原因之一就是它容易上手。只需以下几行代码既可抓取大部分网页的源码。

为了减少干扰,我先用正则表达式从整个页面源码中匹配出以上的主体部分,然后从主体部分中匹配出每只股票的信息。代码如下。

pattern=re.compile('<tbody[sS]*</tbody>')
body=re.findall(pattern,str(content)) #匹配<tbody和</tbody>之间的所有代码pattern=re.compile('>(.*?)<')
stock_page=re.findall(pattern,body[0]) #匹配>和<之间的所有信息

其中compile方法为编译匹配模式,findall方法用此匹配模式去匹配出所需信息,并以列表的方式返回。正则表达式的语法还挺多的,下面我只罗列所用到符号的含义。

语法 说明

. 匹配任意除换行符“ ”外的字符

* 匹配前一个字符0次或无限次

? 匹配前一个字符0次或一次

s 空白字符:[<空格> fv]

S 非空白字符:[^s]

[...] 字符集,对应的位置可以是字符集中任意字符

(...) 被括起来的表达式将作为分组,里面一般为我们所需提取的内容

正则表达式的语法挺多的,也许有大牛只要一句正则表达式就可提取我想提取的内容。在提取股票主体部分代码时发现有人用xpath表达式提取显得更简洁一些,看来页面解析也有很长的一段路要走。

三、所得结果的整理

通过非贪婪模式(.*?)匹配>和<之间的所有数据,会匹配出一些空白字符出来,所以我们采用如下代码把空白字符移除。

stock_last=stock_total[:] #stock_total:匹配出的股票数据for data in stock_total: #stock_last:整理后的股票数据
if data=='':
stock_last.remove('')

最后,我们可以打印几列数据看下效果,代码如下

print('代码',' ','简称',' ',' ','最新价',' ','涨跌幅',' ','涨跌额',' ','5分钟涨幅')for i in range(0,len(stock_last),13): #网页总共有13列数据
print(stock_last[i],' ',stock_last[i+1],' ',' ',stock_last[i+2],' ',' ',stock_last[i+3],' ',' ',stock_last[i+4],' ',' ',stock_last[i+5])

⑨ 如何下载股票数据

网络:大富翁数据中心,可找到历史股票期货数据下载
大富翁数据中心可以提供沪深实时行情,股指商品期货实时行情;每日收盘后数据下载,如:逐笔数据(每秒可能多条明细),分笔数据(每三秒一条明细),专业财务数据,日线数据,分钟数据等。
历史专业财务,股本结构,分红送配等数据,股票逐笔数据,股票,期货,外汇历史分笔数据,各任意周期的分钟数据(如1,3,5,7,10,15,30,60等任意)。

阅读全文

与如何从网上爬股票数据库相关的资料

热点内容
证券账户第一次买股票要扣钱吗 浏览:412
哪个证券公司股票开户最安全 浏览:323
中国最具有投资的个股票 浏览:204
中国最早的股票是什么时候 浏览:933
山东威达股票四季度业绩 浏览:896
买五粮液股票赚钱 浏览:335
光伏ETF股票怎么样 浏览:811
国新健康股票北京银行股票 浏览:286
多股票账户一个手机打新 浏览:320
海通ST股票怎么开通 浏览:473
新开股票账户买哪个指定交易 浏览:57
股票持续上涨没有涨停过 浏览:273
股票数据amount 浏览:80
东兴证券今日股票行情 浏览:803
华泰证券股票杠杆 浏览:712
股票指标什么叫量比 浏览:936
安信股票自动交易软件 浏览:119
股票st后一般会跌多少 浏览:709
股票一个时间段缩量 浏览:49
海汽股份股票走势图 浏览:928