导航:首页 > 数据行情 > 个人开发股票数据库设计

个人开发股票数据库设计

发布时间:2025-02-27 05:33:17

① 怎么做实时的股票数据库

如果主站提供有相关的接口的话,可以调主站的接口.如果主站不提供相关接口.那就不不断抓取.获取最新的信息了.

② 如何搭建自己的股票高频数据库(Python)

二话不说,先上结果。本文阐述了以下几个方面:

下图是编写好的数据接口提取数据的示例。该数据接口支持多标的、多品种(股票、指数一起提取)、多字段、多时间提取。并且支持不复权、后复权、等比前复权提取(前复权不太实用就没有做)。而且速度巨快,没有数据量的限制。如果你也觉得很香,请接着往下看,本文将手把手教你搭建这样的数据库。

数据库搭建需要用到一些第三方库,在各位动手之前请安装:

本文的方法不涉及到常用的数据库(不涉及MySQL、MongoDB),思路非常简单,请各位放心食用。主要是使用pyarrow来加强代码性能。虽然不涉及到常用数据库,但这是我目前能想到的最有效的方法。

正所谓“巧妇难为无米之炊”,想搭建高频数据库,就需要一个数据源获取高频数据。在此,我推荐聚宽作为我们的数据源。 聚宽账号的申请请点这里。新人用户有每日100万条数据,DataFrame的一行算一条,请各位务必珍惜自己的数据量。(不过我是正式用户了,每天两个亿,就不太在意这一点哈哈。)

非会员的100万条数据量能干啥?我们来简单计算以下:每个交易日有240条数据(4个小时,240条分钟k线),假设一年有250个交易日,每只股票每年需要占用60000条数据。也即一日的数据量能够提取一只股票16年(100/6=16.66667)左右的股票分钟数据。相当于数据库的搭建过程还是相当艰难的,每天耗尽数据量只能下载好一只股票的数据。(白嫖是这样的啦,如果有条件可以联系聚宽客服,购买正式账号)

我们这里假设我们的数据库记录2015年至今的股票分钟数据。(当然我自己的数据库记录的是2005年1月1日的全A股分钟数据)这里,我们以贵州茅台(股票代码 600519.XSHG)为例,演示数据的提取与保存。先看看数据如何从接口提取出来(这里需要用到各位申请的聚宽账号):

来看看代码运行的结果。

数据提取后,自然需要把数据保存起来。pandas.DataFrame有很多方便的方法可以将数据保存下来。为做对比,这里将数据保存为csv格式和ftr格式。

相对应的,我们可以用这样的代码将保存好的数据读取进来。虽然pandas有read_feather函数,可以直接将ftr文件读取进来,但这个速度比直接调用pyarrow的更慢一些。考虑到代码性能,这里直接从pyarrow调用read_feather函数。

虽然两种格式都能将数据完整地保存下来,但读取速度上,ftr文件占据着绝对的优势。因此,我们考虑到数据库的性能以及数据库所占空间,我们选择使用ftr格式储存数据。feather正如他的名称,像羽毛一样轻,它所占的空间会比csv更小。这是一种不占空间,读取速度又快的文件格式,太香了!

在前文中我提到了行情数据的提取、保存方法,并强调了一定要提取不复权的数据。这是为了与复权因子结合,还原各种形式的复权数据。至于复权的详细定义,请参看 网络。

随便打开一个股票看盘软件,大致会有3种复权方式,即前复权、不复权、后复权。按照我自己的想法,可以这么理解:

在这样的情况下,如果记录价格数据,记录前复权的数据是最没有意义的,因为隔一段时间,历史的价格就全变了。如果只做收益率相关研究的话,记录后复权数据是可以的。然而,我们这里要搭建数据库,所以采取“记录不复权数据”加上“复权因子”还原的方法。

我们着手提取复权因子。在提取之前,不妨再理顺一下思路:

思路理顺了,我们来看看后复权因子的提取方法:

有了复权因子,如何计算复权价格?请接着看第3节——数据接口编写。

提取了行情数据和复权因子数据,应当找个地方把它们存放起来。我分了两个文件夹来保存我的数据。

在你搜集了足够多只股票的分钟数据后,就能够来到这一步,编写一个数据接口方便调用数据。

数据接口的编写重难点在于股票价格复权的计算。这里同样以贵州茅台(股票代码 600519.XSHG)为例来演示如何进行复权的计算。复权的核心在于下面这个公式:

[公式]

先来看看我们如何提取贵州茅台在一段时间(这里为2015-01-01至2021-09-08)内的后复权分钟数据。(这里千万不能将交易量和交易额一起拿去复权了。只有价格数据需要复权。(我不太确定交易量要不要,要的话我就改一改嘿嘿))

看看代码运行的效果。

那么,等比前复权该如何实现呢?其实很简单,只需要在框定了复权因子的时间后,让复权因子全序列除以最后一个复权因子,即得到前复权因子。将这个前复权因子乘上不复权的价格,即可得到等比前复权的价格数据。

以下是数据接口的全部代码,里面有挺多细节(但挺简单的),我就不再赘述了。

要更新数据库的数据,则是将数据库中的所有数据文件逐个读取进来,取最后一天作为start_date,然后取今天作为end_date。将新数据合并到原有的DataFrame中并保存就完成了数据的更新。数据更新比较耗时,也需要一定的数据量。不过,不论如何,我们来看看数据更新的代码。

在编写完这些代码后,我把这些代码整合成了一个python文件【high_freq_db.py】放在了site-package中,方便以后数据的调用和更新。

亲爱的读者,感谢你读到这里。本文讲述了我搭建我的股票高频数据库的方法。毕竟我的专业是金融而非计算机,难免会有不足的地方,恳请大家在评论区指出。(华工封校了,我也快疯了,所以一天写了两篇东西。。。。)

另外,这个数据库完全搭建起来之后会非常大(行情数据占80GB左右,包含指数和个股ftr文件),维护起来也比较费时费力,就不对外公布了(我也不知道怎么公布【手动捂脸】)。如确有需要,可以和我私信。

再次感谢大家的阅读!

——————————————————

2022年5月27日更新:

有不少小伙伴想要这个数据,目前我已经整理好上传至网络网盘啦。数据和完整代码私聊获取。

获取数据请只用于学习,勿直接用于投资决策!

③ 股票软件怎么开发

股票软件开发的方法如下:
一、股票软件开发定制分析
然后把它用软件工程开发语言(形式功能规约,软件需求分析就是回答做什么的问题。一个对用户的需求进行去粗取精、去伪存真、正确理解。即需求规格说明书)表达进去的过程。本阶段的基本任务是和用户一起确定要解决的问题,建立软件的逻辑模型,编写需求规格说明书文档并最终得到用户的认可。需求分析的主要方法有结构化分析方法、数据流程图和数据字典等方法。本阶段的工作是根据需求说明书的要求,设计建立相应的软件系统的体系结构,并将整个系统分解成若干个子系统或模块,定义子系统或模块间的接口关系,对各子系统进行具体设计定义,编写软件概要设计和详细设计说明书,数据库或数据结构设计说明书,组装测试计划。
二、股票软件开发设计
也可以是可组合、可分解和可更换的功能单元。模块,股票软件设计可以分为概要设计和详细设计两个阶段。实际上软件设计的主要任务就是将软件分解成模块是指能实现某个功能的数据和程序说明、可执行程序的顺序单元。可以是一个函数、过程、子程序、一段带有顺序说明的独立的顺序和数据。然后进行模块设计。概要设计就是结构设计,其主要目标就是给出软件的模块结构,用软件结构图表示。详细设计的首要任务就是设计模块的顺序流程、算法和数据结构,主要任务就是设计数据库,常用方法还是结构化顺序设计方法。
三、股票软件开发定制编码
即写成以某一顺序设计语言表示的“源程序清单”充沛了解软件开发语言、工具的特性和编程风格,软件编码是指把软件设计转换成计算机可以接受的顺序。有助于开发工具的选择以及保证软件产品的开发质量。
四、股票软件开发测试
关键在于理解测试方法。不同的测试方法有不同的测试用例设计方法。两种常用的测试方法是白盒法测试对象是源程序,股票软件测试的目的以较小的代价发现尽可能多的错误。要实现这个目标的关键在于设计一套出色的测试用例(测试数据和预期的输出结果组成了测试用例)如何才干设计出一套出色的测试用例。依据的顺序内部的逻辑结构来发现软件的编程错误、结构错误和数据错误。结构错误包括逻辑、数据流、初始化等错误。用例设计的关键是以较少的用例覆盖尽可能多的内部顺序逻辑结果。白盒法和黑盒法依据的软件的功能或软件行为描述,发现软件的接口、功能和结构错误。其中接口错误包括内部、外部接口、资源管理、集成化以及系统错误。
五、股票软件开发与维护
对软件产品所进行的一些软件工程的活动。即根据软件运行的情况,维护是指在已完成对软件的研制(分析、设计、编码和测试)工作并交付使用以后。对软件进行适当修改,以适应新的要求,以及纠正运行中发现的错误。编写软件问题演讲、软件修改演讲。

④ 开发炒股软件,从哪里获得股票数据

行情数据源在上交所和深交所。需要购买。而且很贵。

象我们平常看到行情,是券商营业部所买,我们连到他们服务器,而接收到数据。

P2P数据接口使用说明(1)2009-03-18 08:58接口使用说明:
1. 压缩包包含四个文件,分别为P2P.exe,P2P.CFG,zlib.dll和使用说明.txt,可以解压到任意盘任意目录下使用。
2. 支持的行情分析软件有:
(1) 分析家2006,2005等,要求分析家主窗口标题最前面的几个字是"分析家 -",是否是破解版关系不大,最好是下载分析家官方网站的正版分析家,网址是http://www.fxj.com.cn,分析家其他版本号是否支持,我也没全做试验。
(2) 飞狐交易师,支持飞狐交易师,要求飞狐交易师主窗口标题最前面的几个字是"飞狐交易师"或"证券分析师",是否是破解版关系不大,最好是支持正版,用正版的。
(3) 大智慧新一代,要求大智慧主窗口标题最前面的几个字是"大智慧Level" 支持的版本号有 09.0226,08.0907,08.0801,07.0205 共四个。
注:如果分析软件的窗口标题不符合上面说的,则分析软件无法接收数据。以上三个分析软件最好都是正版的,只要下载正版的软件,安装后,无需做任何修改即可使用。接口再次说明一下,接口中的四个文件解压到任意目录下使用都可以,而无需解压到某个分析软件的某个目录下,或替代某个分析软件的某个文件。接口完全是绿色的,无需安装,也不会在注册表中留下任何信息。
3. 每天9:15分以后用行情软件中的数据管理功能先清除当天的行情数据,然后把右下角“发送数据”发送数据前面的钩选上。
4. 如果不能在开盘前打开该软件,比如10点半才打开,那么该接口会自动补充10点半之前的行情数据,为了能够尽快的把前面的数据补充完毕,请把速度调节到100以上。但如果是飞狐,则把该值调低一些,否则飞狐会来不及处理数据,把大量的数据放到内存中,造成飞狐使用内存越来越大,最后由于内存耗完造成飞狐或接口非法退出。大智慧和分析家则不存在这个问题。
5. 收盘后,该接口具有白天行情的回放功能,回放前,最好先清除行情软件中当天的行情数据。
6. 该接口由于是P2P接收数据,因此数据接收需要种子,只有和别的种子连上了,你就能接收数据了,你至少要和一个种子连上,当然,你连上别的种子后,你也就能称为种子了,你也就能为别的人提供数据服务功能了。
7. 两个人要连接成功,最好两个人中有一个人的IP地址是公网地址,如果两个全是内网地址则相互无法直接联通,必须借助第三方才能联通,该方法这里不再介绍了。
8. 如果网络情况比较良好,则行情数据的延时一般不会大于0.5秒。
9. 接口的P2P连接信息中的字段说明
(1). 远程完成--为该IP接收到完整数据包的个数。
(2). 远程请求--为该IP请求你发送的数据包序号。
(3). 本机请求--为本机请求远程发送数据包序号。
(4). 请求返回--远程响应本机请求的次数。

⑤ 如何实时写股票数据进数据库

既然你已经设计了一个数据库,并且每天通过从同花顺软件中导出EXCEL文件,再导入数据库来完成数据的分析,那么如果你想实时查看开盘数据,就可以使用同样的方法。每天开盘后,你同样可以从同花顺软件中导出开盘数据的EXCEL文件,然后导入到你的数据库中进行实时分析。

使用这种方法,你可以随时查看最新的市场数据,而不是等到每天收盘后才能获取数据。这将大大提高你的工作效率和分析的及时性。

在导入数据的过程中,你可以考虑使用自动化脚本或工具,来简化这一过程。比如,你可以编写一个Python脚本,自动从同花顺软件中导出EXCEL文件,并将其导入到数据库中。这样,你就可以在开盘后立即获得最新数据,并进行实时分析。

另外,为了确保数据的准确性,你还可以设置数据导入后的校验步骤。例如,可以在导入数据后,通过编写SQL查询来检查数据的完整性,确保没有数据丢失或错误。

通过这种方式,你可以将实时数据无缝地集成到你的数据库中,从而更好地支持你的投资决策和市场分析。

学习你的方法,确实能让你更高效地利用数据,提高分析的准确性和及时性。希望我的建议对你有所帮助!

⑥ 如何开发股票软件找谁做比较合适

1、开发股票软件的大概周期在一个星期左右,只要客户把软件修改的方案交与软件开发公司,软件开发公司会尽最大的努力给您制作。
2、大概费用,山东股票软件开发公司合理收取费用,不会是乱收费的,承诺一次性收费,不会二次收费,山东泰山股票软件开发公司用自己过硬的技术实力帮助股民提供最好最安全的软件开发,开发的软件基本上完全满足客户的需要需求。
3、大概的一个流程是:选择软件开发模版→提交软件修改方案→签订软件开发合同→支付软件开发费用定金→开始制作软件→客户查找软件问题→提交软件问题及时修改→确定软件→支付余款。
业务咨询:网络股票软件开发 李锋 即可。

⑦ 【手把手教你】搭建自己的量化分析数据库

量化交易的分析根基在于数据,包括股票历史交易数据、上市公司基本面数据、宏观和行业数据等。面对信息流量的持续增长,掌握如何获取、查询和处理数据信息变得不可或缺。对于涉足量化交易的个体而言,对数据库操作的掌握更是基本技能。目前,MySQL、Postgresql、Mongodb、SQLite等开源数据库因其高使用量和受欢迎程度,位列2018-2019年DB-Engines排行榜前十。这几个数据库各有特点和适用场景。本文以Python操作Postgresql数据库为例,借助psycopg2和sqlalchemy实现与pandas dataframe的交互,一步步构建个人量化分析数据库。

首先,安装PostgreSQL。通过其官网下载适合操作系统的版本,按照默认设置完成安装。安装完成后,可以在安装目录中找到pgAdmin4,这是一个图形化工具,用于查看和管理PostgreSQL数据库,其最新版为Web应用程序。

接着,利用Python安装psycopg2和sqlalchemy库。psycopg2是连接PostgreSQL数据库的接口,sqlalchemy则适用于多种数据库,特别是与pandas dataframe的交互更为便捷。通过pip安装这两个库即可。

实践操作中,使用tushare获取股票行情数据并保存至本地PostgreSQL数据库。通过psycopg2和sqlalchemy接口,实现数据的存储和管理。由于数据量庞大,通常分阶段下载,比如先下载特定时间段的数据,后续不断更新。

构建数据查询和可视化函数,用于分析和展示股价变化。比如查询股价日涨幅超过9.5%或跌幅超过-9.5%的个股数据分布,结合选股策略进行数据查询和提取。此外,使用20日均线策略,开发数据查询和可视化函数,对选出的股票进行日K线、20日均线、成交量、买入和卖出信号的可视化分析。

数据库操作涉及众多内容,本文着重介绍使用Python与PostgreSQL数据库的交互方式,逐步搭建个人量化分析数据库。虽然文中使用的数据量仅为百万条左右,使用Excel的csv文件读写速度较快且直观,但随着数据量的增长,建立完善的量化分析系统时,数据库学习变得尤为重要。重要的是,文中所展示的选股方式和股票代码仅作为示例应用,不构成任何投资建议。

对于Python金融量化感兴趣的读者,可以关注Python金融量化领域,通过知识星球获取更多资源,包括量化投资视频资料、公众号文章源码、量化投资分析框架,与博主直接交流,结识圈内朋友。

阅读全文

与个人开发股票数据库设计相关的资料

热点内容
电力行业的股票技术分析 浏览:936
股票资金账户询证函 浏览:574
三花科技股票行情 浏览:344
股票交易软件侧边栏怎么设置 浏览:45
做股票证券需要服务器吗 浏览:864
股票分成公司会赚钱吗 浏览:362
新手买股票用什么软件好 浏览:665
最近新上市的证券类股票 浏览:814
关税如何影响股票 浏览:121
515173是基金还是股票赚钱 浏览:550
股票账户借给别人怎么样查询 浏览:444
投资股票基金和债券基金比例 浏览:295
股票私募资金怎么赚钱 浏览:380
模拟某一天股票软件 浏览:518
股票账户里出现764229是啥 浏览:910
公司证券部能买股票吗 浏览:848
侠盗猎车股票赚钱 浏览:804
国投证券股票 浏览:314
可以离线查看股票的安卓软件 浏览:277
证券从业人员可以购买股票吗 浏览:124