㈠ 关于股票逐笔成交数据的小技巧
搭建逐笔成交数据库并挖掘逐笔数据因子是获取股票Alpha信息的有效途径。在操作过程中，需先准备一台支持计算任务的电脑，并找到数据源。逐笔数据通常以交易日命名，包含数千个CSV文件，每个文件对应一个股票。数据量庞大，需要分块处理，以避免内存不足。举例，以平安银行为例，一天的交易数据量可达近7千万行，数据处理难度大。数据应分块存储，每个交易日的数据存为一个文件夹，内含若干数据块，每块约200万行，以支持并行处理。Python+Pandas处理数据时，推荐使用feather文件格式，因其压缩率高且读取速度快。因子计算通常分为两步：首先形成sub_factor，然后汇总为最终factor。此过程需将所有sub_factor并行计算，并边计算边保存。最终汇总所有sub_factor，完成因子计算。此方法提高了因子计算的效率和可行性。
㈡ gplearn：遗传算法与因子挖掘（代码+期货分钟数据）
今天，我们将探讨因子挖掘的领域，这是量化投资中的一个重要组成部分。在构建投资模型时，数据和因子的选择至关重要。虽然模型的构建能力强大，但数据和因子的丰富性决定了模型的性能。数据的稀缺性和独特性是构建alpha的关键。因此，因子挖掘成为了提高模型表现的策略之一，即使用相同的数据构造出不同的因子，这与传统量化基于规则的因子处理方式形成了对比。
传统量化方法通常依赖于人工设定的规则和因子，例如20日动量因子。然而，选择特定阈值（如0.08）作为交易信号的决策依据，往往缺乏理论依据，且依赖于主观判断。为了解决这一问题，多因子策略通常通过综合排序或加权合成新因子，但这种方法过于主观，且因子数量受限。
为了解决上述问题，引入了机器学习方法。特别是符号回归算法，通过监督学习方法，试图发现隐藏的数学公式，以此预测目标变量。gplearn是Python中一个成熟的符号回归库，它允许模型消化成百上千的因子，极大地减少人工主观判断的工作量，但同时也需要高质量的数据和有效的因子选择。
接下来，我们将通过一个例子来演示如何使用gplearn进行因子挖掘。首先，我们定义一个适应度函数，其目的是最小化残差的平方和。在这个例子中，我们将使用gplearn库的SymbolicRegressor来构建模型。通过配置参数如population_size、generations、fitness function、tournament_size、function_set等，我们可以定制模型的训练过程，以寻找最优的数学公式来预测目标变量。
在代码示例中，我们定义了两个不同的目标函数：Y1 = X[a] + X[b]和Y2 = cos(X[a]) - sin(X[b])。对于每个目标函数，我们分别使用gplearn进行模型拟合，并输出模型结果。通过这种方式，我们可以观察模型如何从数据中发现并构建相应的数学公式，以预测目标变量。
最后，我们执行代码并计算总运行时间。结果展示了gplearn在因子挖掘方面的强大能力，通过自动生成数学公式，能够对复杂数据集进行有效建模，从而在量化投资领域提供更精确的预测和决策支持。
总之，因子挖掘是量化投资领域的一个重要课题，通过机器学习方法如gplearn，我们能够从数据中发现深层次的关联，构建更准确、更有效的预测模型。这种技术的应用不仅限于量化投资，也广泛应用于金融市场的其他方面，如风险管理、资产配置等，对于提高投资策略的性能具有重要意义。