1. Python 股票数据采集并做数据可视化(爬虫 + 数据分析)
嗨喽！大家好，这里是魔王！
课题：Python 股票数据采集并做数据可视化(爬虫 + 数据分析)
我国股票投资者数量为15975.24万户, 股民热衷于炒股，面对庞大的数据量，数据收集与分析变得至关重要。
面对繁多的股票数据，找寻与整理过程复杂且耗时，本文将带大家学习如何利用Python进行股票数据的自动化采集与可视化分析。
开发环境 & 第三方模块：为了实现爬虫案例，我们将使用Python编程语言结合第三方库如requests、BeautifulSoup与pandas进行数据抓取与处理。
本次目标：本文的目标是提供一个简单实用的案例，展示如何从xueqiu.com网站爬取实时股票行情数据，并进行数据可视化，以直观呈现股票市场动态。
导入模块代码：首先，我们需要导入必要的Python库，如requests用于发起网络请求，BeautifulSoup用于解析HTML内容，以及pandas用于数据处理与分析。
炒股总结图数据可视化：在数据采集完成后，通过数据可视化技术，我们可以将收集到的股票数据以图表形式呈现，如折线图、饼图等，帮助投资者快速了解股票市场走势与投资趋势。
总结：本文介绍了Python在股票数据采集与可视化分析中的应用，旨在为股票投资者提供高效的数据处理方法，简化繁琐的数据分析流程。希望读者能够通过本文的学习，掌握Python爬虫与数据可视化技巧，为投资决策提供有力支持。
2. Python 实现股票数据的实时抓取
编写Python脚本实时抓取股票数据，满足个人对实时涨跌信息的需求，无需依赖现有股票软件。
首先，获取沪深两市所有上市股票数据。利用Scrapy框架，实现数据爬取并保存至TTJJ.json文件，工程清单包括新建Scrapy工程、设置user-agent文件以防止被服务器封锁。
爬虫核心代码在TTJJr中，整合找到的UserAgentMiddle代码，改进登陆方式。同时，items模块定义数据保存格式，pipeline实现数据处理，保存至json文件，配置细节见settings.py。
获取实时交易数据，通过访问新浪股票接口hq.sinajs.cn/list=（输入股票代码）获取更新信息，仅在开盘至收盘期间有效，其他时间显示为前一日收盘价。简化逻辑，筛选出涨幅最高的10只股票，代码如下。
运行结果展示获取的数据，包含股票代码与当前涨幅，显示每行均为涨幅最高的10只股票。使用结果如图所示，反映了实时抓取的股票实时数据信息。
通过以上步骤，实现Python脚本自动抓取股票实时数据，满足个人需求，记录了一段利用编程技术获取实时股市信息的经历。
3. 如何搭建自己的股票高频数据库（Python）
二话不说，先上结果。本文阐述了以下几个方面：
下图是编写好的数据接口提取数据的示例。该数据接口支持多标的、多品种（股票、指数一起提取）、多字段、多时间提取。并且支持不复权、后复权、等比前复权提取（前复权不太实用就没有做）。而且速度巨快，没有数据量的限制。如果你也觉得很香，请接着往下看，本文将手把手教你搭建这样的数据库。
数据库搭建需要用到一些第三方库，在各位动手之前请安装：
本文的方法不涉及到常用的数据库（不涉及MySQL、MongoDB），思路非常简单，请各位放心食用。主要是使用pyarrow来加强代码性能。虽然不涉及到常用数据库，但这是我目前能想到的最有效的方法。
正所谓“巧妇难为无米之炊”，想搭建高频数据库，就需要一个数据源获取高频数据。在此，我推荐聚宽作为我们的数据源。 聚宽账号的申请请点这里。新人用户有每日100万条数据，DataFrame的一行算一条，请各位务必珍惜自己的数据量。（不过我是正式用户了，每天两个亿，就不太在意这一点哈哈。）
非会员的100万条数据量能干啥？我们来简单计算以下：每个交易日有240条数据（4个小时，240条分钟k线），假设一年有250个交易日，每只股票每年需要占用60000条数据。也即一日的数据量能够提取一只股票16年（100/6=16.66667）左右的股票分钟数据。相当于数据库的搭建过程还是相当艰难的，每天耗尽数据量只能下载好一只股票的数据。（白嫖是这样的啦，如果有条件可以联系聚宽客服，购买正式账号）
我们这里假设我们的数据库记录2015年至今的股票分钟数据。（当然我自己的数据库记录的是2005年1月1日的全A股分钟数据）这里，我们以贵州茅台（股票代码 600519.XSHG）为例，演示数据的提取与保存。先看看数据如何从接口提取出来（这里需要用到各位申请的聚宽账号）：
来看看代码运行的结果。
数据提取后，自然需要把数据保存起来。pandas.DataFrame有很多方便的方法可以将数据保存下来。为做对比，这里将数据保存为csv格式和ftr格式。
相对应的，我们可以用这样的代码将保存好的数据读取进来。虽然pandas有read_feather函数，可以直接将ftr文件读取进来，但这个速度比直接调用pyarrow的更慢一些。考虑到代码性能，这里直接从pyarrow调用read_feather函数。
虽然两种格式都能将数据完整地保存下来，但读取速度上，ftr文件占据着绝对的优势。因此，我们考虑到数据库的性能以及数据库所占空间，我们选择使用ftr格式储存数据。feather正如他的名称，像羽毛一样轻，它所占的空间会比csv更小。这是一种不占空间，读取速度又快的文件格式，太香了！
在前文中我提到了行情数据的提取、保存方法，并强调了一定要提取不复权的数据。这是为了与复权因子结合，还原各种形式的复权数据。至于复权的详细定义，请参看 网络。
随便打开一个股票看盘软件，大致会有3种复权方式，即前复权、不复权、后复权。按照我自己的想法，可以这么理解：
在这样的情况下，如果记录价格数据，记录前复权的数据是最没有意义的，因为隔一段时间，历史的价格就全变了。如果只做收益率相关研究的话，记录后复权数据是可以的。然而，我们这里要搭建数据库，所以采取“记录不复权数据”加上“复权因子”还原的方法。
我们着手提取复权因子。在提取之前，不妨再理顺一下思路：
思路理顺了，我们来看看后复权因子的提取方法：
有了复权因子，如何计算复权价格？请接着看第3节——数据接口编写。
提取了行情数据和复权因子数据，应当找个地方把它们存放起来。我分了两个文件夹来保存我的数据。
在你搜集了足够多只股票的分钟数据后，就能够来到这一步，编写一个数据接口方便调用数据。
数据接口的编写重难点在于股票价格复权的计算。这里同样以贵州茅台（股票代码 600519.XSHG）为例来演示如何进行复权的计算。复权的核心在于下面这个公式：
[公式]
先来看看我们如何提取贵州茅台在一段时间（这里为2015-01-01至2021-09-08）内的后复权分钟数据。（这里千万不能将交易量和交易额一起拿去复权了。只有价格数据需要复权。（我不太确定交易量要不要，要的话我就改一改嘿嘿））
看看代码运行的效果。
那么，等比前复权该如何实现呢？其实很简单，只需要在框定了复权因子的时间后，让复权因子全序列除以最后一个复权因子，即得到前复权因子。将这个前复权因子乘上不复权的价格，即可得到等比前复权的价格数据。
以下是数据接口的全部代码，里面有挺多细节（但挺简单的），我就不再赘述了。
要更新数据库的数据，则是将数据库中的所有数据文件逐个读取进来，取最后一天作为start_date，然后取今天作为end_date。将新数据合并到原有的DataFrame中并保存就完成了数据的更新。数据更新比较耗时，也需要一定的数据量。不过，不论如何，我们来看看数据更新的代码。
在编写完这些代码后，我把这些代码整合成了一个python文件【high_freq_db.py】放在了site-package中，方便以后数据的调用和更新。
亲爱的读者，感谢你读到这里。本文讲述了我搭建我的股票高频数据库的方法。毕竟我的专业是金融而非计算机，难免会有不足的地方，恳请大家在评论区指出。（华工封校了，我也快疯了，所以一天写了两篇东西。。。。）
另外，这个数据库完全搭建起来之后会非常大（行情数据占80GB左右，包含指数和个股ftr文件），维护起来也比较费时费力，就不对外公布了（我也不知道怎么公布【手动捂脸】）。如确有需要，可以和我私信。
再次感谢大家的阅读！
——————————————————
2022年5月27日更新：
有不少小伙伴想要这个数据，目前我已经整理好上传至网络网盘啦。数据和完整代码私聊获取。
获取数据请只用于学习，勿直接用于投资决策！
4. python爬取股票数据——基础篇
在探索Python爬取股票数据的基础之旅中，你需要首先配置好开发环境。首先，确保你拥有一台电脑，并安装PyCharm社区版，可以从jetbrains.com/pycharm/download/获取。同时，安装Anaconda的最新版本，如果遇到网络问题，可能需要科学上网工具。访问地址为anaconda.com。
安装完成后，以Anaconda Prompt方式启动，并创建一个名为"gold"的Conda虚拟环境，指定Python版本为3.10。在命令行中输入相关指令并确认。
接着，激活虚拟环境并下载baostock和akshare的Python接口。在PyCharm中，可能会遇到错误，只需点击确定并设置项目解释器。从baostock和akshare官网获取API文档，开始编写代码以获取股票数据。
以baostock为例，复制示例代码并运行，你可以按需调整参数获取不同股票的分钟线数据。注意，baostock的数据采用涨跌幅复权法，与股票交易软件的计算结果可能不一致。akshare接口则提供了后复权数据，适合希望与交易软件一致的用户。
爬取的数据通常保存为.csv格式，便于进一步分析。至于复权价格的计算方法，将在后续内容中深入讲解。下期我们将探讨如何利用akshare接口循环爬取全市场股票数据。
如果你想了解更多关于股票投资的内容，可以关注我的个人微博@朱晓光指数投资，查看我分享的其他文章，如"新项目开启——打造专属于你的量化交易系统"、"聊聊凯利公式：量化投资中的仓位管理"等。
在学习股票数据爬取的过程中，持续关注，我们下期再见！
5. 使用 Python 获取股票历史资金流向数据（大单、超大单、主力流入等）
市场主导力量在股市中尤为重要，理解主力交易数据与股价变动之间的关系对于投资者至关重要。为了深入研究这一领域，本文将展示如何利用Python技术，通过爬虫手段获取A股市场的历史资金流向数据（包括大单、小单、超大单、主力流入等信息）。这些数据将被保存为表格文件，为后续的分析提供便利。
在开始之前，请确保您的计算机已安装Python 3环境。若尚未安装，可参考相应教程进行安装。此外，您需要安装两个库：pandas和requests。通过命令行（或终端工具）执行如下代码以安装：
输入命令并按Enter键执行，直至出现“successfully”提示。
以下代码展示了获取单只股票（股票代码：600519）的历史大单交易数据，并将其保存为CSV文件（文件名与股票代码相同）：
执行示例代码后，输出相关文字信息，生成的文件名在代码执行目录中，并展示文件截图。
接下来的示例代码演示了如何同时获取两只股票（代码分别为600519和300750）的历史大单交易数据，同样以各自股票代码命名CSV文件，并在代码运行目录生成文件。
总结，本文阐述了使用Python获取单只及多只股票的历史资金流向数据，并保存为CSV文件的方法。感谢您阅读本文，如果您对更多金融数据获取感兴趣，请关注我的金融数据获取专栏，以获取更多相关技巧。