股票指标vwap

1. 量化投资

没有你想的书

我多年来都有关注这方面的书 可是也没有在国内找到

数量化投资是将投资理念及策略通过具体指标、参数的设计，体现到具体的模型中，让模型对市场进行不带任何情绪的跟踪；相对于传统投资方式来说，具有快速高效、客观理性、收益与风险平衡和个股与组合平衡等四大特点。量化投资技术几乎覆盖了投资的全过程，包括估值与选股、资产配置与组合优化、订单生成与交易执行、绩效评估和风险管理等，在各个环节都有不同的方法及量化模型：

一、估值与选股

估值：对上市公司进行估值是公司基本面分析的重要方法，在“价值投资”的基本逻辑下，可以通过对公司的估值判断二级市场股票价格的扭曲程度，继而找出价值被低估或高估的股票，作为投资决策的参考。对上市公司的估值包括相对估值法和绝对估值法，相对估值法主要采用乘数方法，如PE估值法、PB估值法、PS估值法、PEG估值法、PSG估值法、EV/EBITDA估值法等；绝对估值法主要采用折现的方法，如公司自由现金流模型、股权自由现金流模型和股利折现模型等。相对估值法因简单易懂，便于计算而被广泛使用；绝对估值法因基础数据缺乏及不符合模型要求的全流通假设而一直处于非主流地位。随着全流通时代的到来和国内证券市场的快速发展，绝对估值法正逐渐受到重视。

选股：在当前品种繁多的资本市场中，从浩瀚复杂的数据背后选出适合自己投资风格的股票变得越加困难。在基本面研究的基础上结合量化分析的手段就可以构建数量化选股策略，主流的选股方法如下：

资产配置方法与模型
资产配置类别 资产配置层次 资产配置方法 资产配置模型
战略资产配置 全球资产配置 大类资产配置 行业风格配置 收益测度 风险测度 估计方法 马克维茨 MV 模型 均值 -LPM 模型 VaR 约束模型 Black-Litterman 模型
战术资产配置 ( 动态资产配置 ) 周期判断 风格判断 时机判断 行业轮动策略 风格轮动策略 Alpha 策略 投资组合保险策略

基本面选股：通过对上市公司财务指标的分析，找出影响股价的重要因子，如：与收益指标相关的盈利能力、与现金流指标相关的获现能力、与负债率指标相关的偿债能力、与净资产指标相关的成长能力、与周转率指标相关的资产管理能力等。然后通过建立股价与因子之间的关系模型得出对股票收益的预测。股价与因子的关系模型分为结构模型和统计模型两类：结构模型给出股票的收益和因子之间的直观表达，实用性较强，包括价值型(本杰明·格雷厄姆—防御价值型、查尔斯·布兰迪—价值型等)、成长型(德伍·切斯—大型成长动能、葛廉·毕克斯达夫—中大型成长股等)、价值成长型(沃伦·巴菲特—优质企业选择法、彼得·林奇—GARP价值成长法等)三种选股方法；统计模型是用统计方法提取出近似线性无关的因子建立模型，这种建模方法因不需先验知识且可以检验模型的有效性，被众多经济学家推崇，包括主成分法、极大似然法等。

多因素选股：通过寻找引起股价共同变动的因素，建立收益与联动因素间线性相关关系的多因素模型。影响股价的共同因素包括宏观因子、市场因子和统计因子(通过统计方法得到)三大类，通过逐步回归和分层回归的方法对三类因素进行选取，然后通过主成分分析选出解释度较高的某几个指标来反映原有的大部分信息。多因素模型对因子的选择有很高的要求，因子的选择可依赖统计方法、投资经验或二者的结合，所选的因子要有统计意义上或市场意义上的显着性，一般可从动量、波动性、成长性、规模、价值、活跃性及收益性等方面选择指标来解释股票的收益率。

动量、反向选股：动量选股策略是指分析股票在过去相对短期的表现，事先对股票收益和交易量设定条件，当条件满足时买进或卖出股票的投资策略，该投资策略基于投资者对股票中期的反应不足和保守心理，在投资行为上表现为购买过去几个月表现好的股票而卖出过去几个月表现差的股票。反向选股策略则基于投资者的锚定和过度自信的心理特征，认为投资者会对上市公司的业绩状况做出持续过度反应，形成对业绩差的公司业绩过分低估和业绩的好公司业绩过分高估的现象，这为投资者利用反向投资策略提供了套利机会，在投资行为上表现为买进过去表现差的股票而卖出过去表现好的股票。反向选股策略是行为金融学理论发展至今最为成熟，也是最受关注的策略之一。

二、资产配置

资产配置指资产类别选择、投资组合中各类资产的配置比例以及对这些混合资产进行实时管理。资产配置一般包括两大类别、三大层次，两大类别为战略资产配置和战术/动态资产配置，三大层次为全球资产配置、大类资产配置和行业风格配置。资产配置的主要方法及模型如下：

战略资产配置针对当前市场条件，在较长的时间周期内控制投资风险，使得长期风险调整后收益最大化。战术资产配置通常在相对较短的时间周期内，针对某种具体的市场状态制定最优配置策略，利用市场短期波动机会获取超额收益。因此，战术资产配置是在长期战略配置的过程中针对市场变化制定的短期配置策略，二者相互补充。战略资产配置为未来较长时间内的投资活动建立业务基准，战术资产配置通过主动把握投资机会适当偏离战略资产配置基准，获取超额收益。

三、股价预测

股价的可预测性与有效市场假说密切相关。如果有效市场假说成立，股价就反映了所有相关的信息，价格变化服从随机游走，股价的预测就毫无意义，而我国的股市远未达到有效市场阶段，因此股价时间序列不是序列无关，而是序列相关的，即历史数据对股价的形成起作用，因此可以通过对历史信息的分析来预测股价。

主流的股价预测模型有灰色预测模型、神经网络预测模型和支持向量机预测模型(SVM)。灰色预测模型对股价的短期变化有很强的预测能力，近年发展起来的灰色预测模型包括GM(1, 1)模型、灰色新陈代谢模型和灰色马尔可夫模型。人工神经网络模型具有巨量并行性、存储分布性、结构可变性、高度非线性和自组织性等特点，且可以逼近任何连续函数，目前在金融分析和预测方面已有广泛的应用，效果较好。支持向量机模型在解决小样本、非线性及高维模式识别问题中有许多优势，且结构简单，具有全局优化性和较好的泛化能力，比神经网络有更好的拟合度。

四、绩效评估

作为集合投资、风险分散、专业化管理、变现性强等特点的投资产品，基金的业绩虽然受到投资者的关注，但要对基金有一个全面的评价，则需要考量基金业绩变动背后的形成原因、基金回报的来源等因素，绩效评估能够在这方面提供较好的视角与方法，风险调整收益、择时/股能力、业绩归因分析、业绩持续性及Fama的业绩分解等指标和方法可从不同的角度对基金的绩效进行评估。

绩效评估模型 / 指标

绩效评估准则
择时 / 股能力
业绩归因分析
风险调整收益
业绩持续性
Fama 业绩分解

模型 / 指标
T-M 模型

H-M 模型

GII 模型

C-L 模型
资产配置收益

证券选择收益

行业选择收益

行业内个股选择收益
RAROC

Sharp, Stutzer

Treynor, Jensen

, ,
双向表分析

时间序列相关性
总风险收益

系统风险收益

分散化投资收益

五、基于行为金融学的投资策略

上世纪50～70年代，随着马科维茨组合理论、CAPM模型、MM定理及有效市场假说的提出，现代金融经济学建立了一套成熟的理论体系，并且在学术界占据了主导地位，也被国际投资机构广泛应用和推广，但以上传统经济学的理论基石是理性人假设，在理性人假设下，市场是有效率的，但进入80年代以后，关于股票市场的一系列研究和实证发现了与理性人假设不符合的异常现象，如：日历效应、股权溢价之谜、期权微笑、封闭式基金折溢价之谜、小盘股效应等。面对这些金融市场的异常现象，诸多研究学者从传统金融理论的基本假设入手，放松关于投资者是完全理性的严格假设，吸收心理学的研究成果，研究股市投资者行为、价格形成机制与价格表现特征，取得了一系列有影响的研究成果，形成了具有重要影响力的学术流派－行为金融学。

行为金融学是对传统金融学理论的革命，也是对传统投资实践的挑战。随着行为金融理论的发展，理论界和投资界对行为金融理论和相关投资策略作了广泛的宣传和应用，好买认为，无论机构投资者还是个人投资者，了解行为金融学的指导意义在于：可以采取针对非理性市场行为的投资策略来实现投资目标。在大多数投资者认识到自己的错误以前，投资那些定价错误的股票，并在股价正确定位之后获利。目前国际金融市场中比较常见且相对成熟的行为金融投资策略包括动量投资策略、反向投资策略、小盘股策略和时间分散化策略等。

六、程序化交易与算法交易策略

根据NYSE的定义，程序化交易指任何含有15只股票以上或单值为一百万美元以上的交易。程序化交易强调订单是如何生成的，即通过某种策略生成交易指令，以便实现某个特定的投资目标。程序化交易主要是大机构的工具，它们同时买进或卖出整个股票组合，而买进和卖出程序可以用来实现不同的目标，目前程序化交易策略主要包括数量化程序交易策略、动态对冲策略、指数套利策略、配对交易策略和久期平均策略等。

算法交易，也称自动交易、黑盒交易或无人值守交易，是使用计算机来确定订单最佳的执行路径、执行时间、执行价格及执行数量的交易方法，主要针对经纪商。算法交易广泛应用于对冲基金、企业年金、共同基金以及其他一些大型的机构投资者，他们使用算法交易对大额订单进行分拆，寻找最佳路由和最有利的执行价格，以降低市场的冲击成本、提高执行效率和订单执行的隐蔽性。任何投资策略都可以使用算法交易进行订单的执行，包括做市、场内价差交易、套利及趋势跟随交易。算法交易在交易中的作用主要体现在智能路由、降低冲击成本、提高执行效率、减少人力成本和增加投资组合收益等方面。主要的算法包括：交易量加权平均价格算法(VWAP)、保证成交量加权平均价格算法(Guaranteed VWAP)、时间加权平均价格算法(TWAP)、游击战算法(Guerrilla)、狙击手算法(Sniper)、模式识别算法(Pattern Recognition)等。

综上所述，数量化投资技术贯穿基金的整个投资流程，从估值选股、资产配置到程序化交易与绩效评估等。结合量化投资的特点及我国证券市场的现状，好买认为量化投资技术在国内基金业中的应用将主要集中在量化选股、资产配置、绩效评估与风险管理、行为金融等方面，而随着包括基金在内的机构投资者占比的不断提高、衍生品工具的日渐丰富(股指期货、融资融券等)以及量化投资技术的进步，基金管理人的投资策略将会越来越复杂，程序化交易(系统)也将有快速的发展。

2. 杨剑波：量化交易应用的三大领域

全球范围内，量化交易的应用主要分为以下三大领域：

第一、选股、择时的工具。

传统的基于基本面的投资方法主要看财务指标及估值指标。研究方法主要是研究上市公司财务报表、实地调研、行业比较并结合宏观分析。通常的方法是自上而下或自下而上的选股。至于择时，则更多地依靠宏观、上市公司基本面、市场情绪，以及基金公司自身的排名等因素的考量。

基于量化的交易，选股和择时的指标完全不同。以最有名的两类策略——动量和反转为例。动量策略是说前一段时间强的股票会继续强；反转是指前一段时间表现弱的股票会在一段时间后走强。

这类理论都是基于“行为金融学”。行为金融学是和“有效市场假说”相对应的理论，以金融学、心理学等学科结合而形成的一门新兴子学科。它认为交易中的投资者短期有可能是理性的、但长期而言未必是理性的。因此会产生很多和有效市场相对立的“市场异象”。行为金融学正是描述和应用这些“市场异象”的学科。行为金融学在交易中的运用，就是用各种方法，包括但不限于动量和反转，来对股票的选择以及交易时机的选择运行研究和决策。

第二、套利类。

主要的套利策略有十几种。大概包括：

1）市场中性：即多空投资，净头寸为零。最纯正的市场中性，同时会力求多因子的净头寸为零。例如，行业净头寸为零，风格因子为零等等。

2）多空对冲：这是传统的对冲基金。多空投资，净头寸没有一个固定比率投资股票市场。不过现实中，这类投资风格，大多以净多头方式投资。净多头比率多数在10%到20%之间。

3）期权策略：以期权为主要投资驱动，捕捉波动率错估而造成的期权价格错位，运行交易。

4）统计套利：简单地说，就是以量化统计方法对市场中的交易产品运行研究，发现市场特性，设计算法，运行交易。

5）可转债套利：利用可转债的价格错位，特别是对内涵期权的估值不准时，运行套利交易。交易基本上是买入可转债，根据动态对冲的方法做空股票。如果需要市场动态中性，则要运行动态对冲。

6）信用套利：买入信用评级改善的债券，同时卖出信用评级恶化的债券。利用多空来对冲利率风险和债券市场风险。由于重要企业事件对信用评级的重大影响，信用套利的策略很多时候会和事件驱动策略和收购合并风险套利策略重叠。

7）事件驱动：在发生重要企业事件时，或预测将发生重要企业事件时，对企业的各类金融资产运行投资，包括股票、债券及其衍生物。

8）管理期货：投资期货市场，以求获得绝对收益。由于全球期货流动性好，品种多，市场容积大，使得这类对冲基金可以做到非常大的规模，例如元富Winton、曼氏Man和BlueCrest。另外，这类基金透明度高，容易被投资者理解。

9）坏账处理：买入折扣很大，市场不待见，流动性相对较差的资产。利用高风险折扣率造成的价格错位，运行投资配置，以获得高收益。

10）只做多：以只做多的单边方式，投资股票市场。最早期的投资公司，以及国内大多数私募，归属此类。

11）偏空策略：多空投资，但是以净空头的方式，投资股票市场。这类公司主要是满足机构投资者完善投资组合的需要。

12）混合策略：以公司为单位，结合公司内部的各种策略而推出的策略。相对于FoF（fund of fund，基金中的基金），这种策略有FoF的一些特点，同时相对来说投资者成本要低。

13）固定收益：以固定收益的债券和利率产品为交易产品，追求绝对收益。包括固定收益方向性交易和固定收益套利。

第三、算法交易。

算法交易又称程序化交易，是指通过程序发出的指令运行交易的方法。算法交易的产生和交易者将订单咐漏拆成若干小单以减少冲击成本、提高盈利率。同旅做时，算法交易可以达到交易者隐蔽交易、避免把交易目标、交易量暴露给竞争者的目的。

国际上常用的算法交易包括以成交量加权平均价格运行成交，简称VWAP（Volume Weighted Average Price），以及时间加权平均成交，简称TWAP（Time Weighted Average Price）。前者主要是指交易者的交易量提交比例要与市场成交比例尽可能吻合，在最小化对市场冲击的同时，获得市场成交均价的价格。后者则是根据特定的时间间隔，在每个时间点上平均下单的算法。

在国际资本市场中，一般是大型投行的大宗经纪部门（Primary Brokerage）对基金公司以及投行内部的自营拆简衡等部门供应算法交易的服务，并根据交易量运行收费。这也是大型投行最主要的盈利方式之一。

3. 如果股市里面有很多智能炒股机器，散户还有机会赚钱吗

我看很多朋友还不知道程序化交易在A股已经达到了什么水平，我就给各位普及一下。

曾经，我认为量化交易离我们很远，它只存在于书本和美股之中，A股仍是散户主导，每一个跳动的数字背后都是追涨杀跌的投资者，每一快电脑屏幕前，都是阴险的庄家或无知的散户，我的每一笔成交单都是在与对方博弈。

但是，越来越多离奇成交单告诉我，你的对手盘，可能根本不是人。

成交明细是股票交易中最重要的数据，所有K线和指标都是根据它制作而成。沪深交易所每3秒推送一次成交信息，我们经常能看到某只成交量极低的个股，不时就会出现一个整数倍的大额成交单，而这个成交单由几十笔甚至几百笔组成，在3s内报送。

这就属于典型的程序化交易，如果你研究过成交分时走势，会发现个股的每一个反转、暴涨、暴跌的背后，都有这类大单的影子，程序化交易一直在引导股价走势，它早已渗透A股的每一个角落，存在于你的每一支持仓个股之中。

据上海证券交易所统计，2017年沪市程序化交易账户共1.26万户，与4546万总活跃账户相比，仅占0.06%，其日均成交量达到706亿，占总成交量的15%，成交量远远高于普通账户，这1.26万的账户持仓市值达到2.8万亿，平均每个账户持仓超过2亿，还不包括现金余额。

毫无疑问，这些超级账户在A股市场中是神一般的存在，它们将从以下三个维度对普通投资者形成降维打击。

资金量压制

资金量对于炒股而言具有天然的优势，每一个超级账户都可以拉动任意一支股票涨停，甚至能左右上证指数，这1.26万程序交易账户持有的市值占股市全部活跃账户的20.8%，完全可以将上证指数拉到4000点，或者打到2000点。

但钱多也有钱多的烦恼。比如，还没有完成建仓，股价就已经飞涨;还没卖出一半，股价就跌回了买点。但当大资金与程序交易相结合的时候，这些超级账户会用事实告诉你，悄悄建仓、悄悄出货根本不是难题。

股票的成交量明显是分时段的，早上9：30——10：00是交易最活跃的时段，10;00——14:00成交量相对较少，收盘时分成交量再次提升，如果某个人想要购买大盘指数，肯定会将更多的筹码分布在早盘和尾盘成交量多的时候，其他时间买入量较少，这就是目前市场中最流行的VWAP程序化交易策略。

可以看出，无论牛熊，券商炒股都在赚钱，从来没有任何一个季度亏损，如果中国股市中存在股神，那一定是券商，而这1.26万程序化超级账户，在其中扮演了重要的角色。

超级账户将增多

近期，证监会要放开程序化交易接口给私募，也就是要扩大这1.26万账户的范围，用来提升A股的成交量。

毫无疑问，增加程序化交易接口，肯定能增加成交量，也能提高券商的佣金收入，还能提升中国的金融科技水平，甚至可能缔造下一轮牛市，无论从任何一个宏观维度对A股都是利好，但是，对现有的五千万活跃股民是利好吗?

不一定，当前，每6笔交易之中，就有1笔程序化交易，接口开放之后，可能每两笔交易就有1笔程序交易，或许比例更高，美国程序化交易比例已经超过80%，当市场中的引导者增多，散户投资者的力量就会越来越薄弱，市场交易状况会更加复杂难以预测，一句话可以概括未来的A股，神仙打架，散户靠边，想在股市中赚钱，会越来越难。

4. 如何建立自己的算法交易

一、传统方法

在某些假设下的显式最优策略

• 【Bertsimas, Dimitris, and Andrew W. Lo. "Optimal control of execution costs."Journal of Financial Markets1.1 (1998): 1-50.】这里假设了不同的指启袜价格冲击函数，然后求解得到最优的交易执行方案。根据参数的不同，最优的策略要么是全部开头卖掉、均匀减仓、或者全部最后卖掉。https://stuff.mit.e/afs/athena.mit.e/user/d/b/dbertsim/www/papers/Finance/Optimal%20control%20of%20execution%20costs.pdf

• 【Almgren, Robert, and Neil Chriss. "Optimal execution of portfolio transactions." Journal of Risk 3 (2001): 5-40. 】这篇文章我们专栏前面有讲过，很着名的 Almgren-Chriss 模型。https://www.smallake.kr/wp-content/uploads/2016/03/optliq.pdf张楚珩：【交易执行】Almgren-Chriss Model

• 【Guéant O, Lehalle C A, Fernandez-Tapia J. Optimal portfolio liquidation with limit orders[J]. SIAM Journal on Financial Mathematics, 2012, 3(1):740-764.】这篇文章我们专栏前面也有讲过；前面的 Almgren-Chriss 其实考虑的是使用市价单，而这里考虑使用限价单进行交易。https://arxiv.org/pdf/1106.3279.pdf张楚珩：【交易执行】限价单交易执行

• 【Guéant, Olivier, and Charles‐Albert Lehalle. "General intensity shapes in optimal liquidation." Mathematical Finance 25.3 (2015): 457-495.】这里也是考虑限价单进行交易，但是与前面唯激不同的是：前一个假设限价单考虑的成交概率随着价格指数衰减，而这里考虑了一个更加一般的形式。https://arxiv.org/pdf/1204.0148.pdf

• 【Cartea A, Jaimungal S. Optimal execution with limit and market orders[J]. Quantitative Finance, 2015, 15(8): 1279-1291.】这里考虑同时使用限价单和市价单进行交易，从而能够完成 Almgren-Chriss 模型所规定的方案，或者找到一个更有的交易旁拦方案。https://sci-hub.se//https://www.tandfonline.com/doi/abs/10.1080/14697688.2015.1032543

• 【Bulthuis, Brian, et al. "Optimal execution of limit and market orders with trade director, speed limiter, and fill uncertainty." International Journal of Financial Engineering 4.02n03 (2017): 1750020.】也是考虑使用限价单和市价单一起交易。https://arxiv.org/pdf/1604.04963.pdf张楚珩：【交易执行】市价单+限价单 最优执行

• 【Cartea A, Jaimungal S. Incorporating order-flow into optimal execution[J]. Mathematics and Financial Economics, 2016, 10(3): 339-364.】这里考虑市场所有交易者的订单都会产生线性的短期/长期市场冲击，因此可以估计未来一段时间的订单流向（买单总量和卖单总量的差），从而能够在 Almgren-Chriss 模型的基础上进行一定的调整，使得策略更优。https://sci-hub.se//https://link.springer.com/content/pdf/10.1007/s11579-016-0162-z.pdf

图书

• 【Cartea Á, Jaimungal S, Penalva J. Algorithmic and high-frequency trading[M]. Cambridge University Press, 2015.】讲交易执行的基础上，更侧重讲了一些数学工具。

• 【Guéant O. The Financial Mathematics of Market Liquidity: From optimal execution to market making[M]. CRC Press, 2016.】从 Almgren-Chriss 模型开始讲，一直到相应的拓展和实际的问题，十分推荐。

融合对于市场环境隐变量的估计

• 【Casgrain P, Jaimungal S. Trading algorithms with learning in latent alpha models[J]. Mathematical Finance, 2019, 29(3): 735-772.】市场交易者会根据不同的市场挂单和价格走势而采取不同的反映，因此我们也可以根据历史数据学习到各种情况下的价格后验分布，从而更好地帮助我们进行交易执行或者套利。最后的结果可以看做在 Almgren-Chriss 模型的基础上外加了一个调控项，反映我们对于未来的预期。https://arxiv.org/pdf/1806.04472.pdf

如何实现以按量加权平均价格（VWAP）交易

• 【Kakade, Sham M., et al. "Competitive algorithms for VWAP and limit order trading." Proceedings of the 5th ACM conference on Electronic commerce. 2004.】从在线学习的角度提出了几个用于使得我们交易到 VWAP 价格的模型。为什么会关注 VWAP 的交易执行？当大的流通股股东需要减持的时候，为了避免直接出售引起的价格波动，一般是把需要减持的股票卖给券商，然后由券商来拆单出售，而交易价格一般为未来一段时间的 VWAP，因此券商需要尽量以 VWAP 来交易执行。https://sci-hub.se//https://dl.acm.org/doi/abs/10.1145/988772.988801

• 【Białkowski, Jędrzej, Serge Darolles, and Gaëlle Le Fol. "Improving VWAP strategies: A dynamic volume approach." Journal of Banking & Finance 32.9 (2008): 1709-1722.】改进对于交易量的建模，从而得到更好的 VWAP 交易算法。把交易量拆分为两个部分，一部分是市场整体的交易量变动，另一部分是特定股票上的交易量模式。https://sci-hub.se//https://www.sciencedirect.com/science/article/pii/S0378426607003226

以按时间加权平均价格（TWAP）交易

• 为了对称，可以介绍一下另一种加权平均的情形 TWAP，这种情形实现起来相对比较简单；如果不考虑市场冲击，就拆分到每个时间步上均匀出售即可实现。

• 可以证明 TWAP 交易在以下两种情形下最优：市场价格为布朗运动并且价格冲击为常数；对于晚交易没有惩罚（其实更晚交易意味着面临更大的风险），但是对于最后未完成交易的惩罚较大。

二、强化学习方法

基于传统模型的强化学习方法

• 【Hendricks D, Wilcox D. A reinforcement learning extension to the Almgren-Chriss framework for optimal trade execution[C]//2014 IEEE Conference on Computational Intelligence for Financial Engineering & Economics (CIFEr). IEEE, 2014: 457-464.】本专栏有讲。https://arxiv.org/pdf/1403.2229.pdf

强化学习 + 交易执行（Paper/Article）

• 【Nevmyvaka Y, Feng Y, Kearns M. Reinforcement learning for optimized trade execution[C]//Proceedings of the 23rd international conference on Machine learning. 2006: 673-680.】比较经典的一篇，发在 ICML 上，本专栏前面有讲。使用 DQN 方法，实现形式接近 DP。http://smallake.kr/wp-content/uploads/2019/01/rlexec.pdf

• 【Dabérius K, Granat E, Karlsson P. Deep Execution-Value and Policy Based Reinforcement Learning for Trading and Beating Market Benchmarks[J]. Available at SSRN 3374766, 2019.】使用了 DDQN 和 PPO 方法，基于生成的价格序列来进行实验，使用特定的模型考虑短期和长期市场冲击。https://sci-hub.se//https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3374766

• 【Ning B, Lin F H T, Jaimungal S. Double deep q-learning for optimal execution[J]. arXiv preprint arXiv:1812.06600, 2018.】DDQN 的强化学习解法，在美股上实验。https://arxiv.org/pdf/1812.06600.pdf

• 【Lin S, Beling P A. An End-to-End Optimal Trade Execution Framework based on Proximal Policy Optimization[C]//IJCAI. 2020: 4548-4554.】使用 PPO 的解法，比较有意思的是这里面的实验结果显示，使用 LSTM 和把历史数据全部堆叠起来用 MLP 效果差距不大。也是在美股上实验。https://www.ijcai.org/Proceedings/2020/0627.pdf

• 【Fang Y, Ren K, Liu W, et al. Universal Trading for Order Execution with Oracle Policy Distillation[J]. arXiv preprint arXiv:2103.10860, 2021.】在使用强化学习的基础上，引入了一个教师网络，教师网络学习一个基于未来数据的策略，并且用于训练学生网络。本专栏前面有讲。https://www.aaai.org/AAAI21Papers/AAAI-3650.FangY.pdf

• 【Vyetrenko S, Xu S. Risk-sensitive compact decision trees for autonomous execution in presence of simulated market response[J]. arXiv preprint arXiv:1906.02312, 2019.】ICML-19 的文章。构造了一个可以反映市价单市场冲击的模拟器；使用 tabular Q-learning 来学习基于决策树的模型；使用特征选择的方法来筛选特征。通过以上方式，能够学习到一个模型帮助决策什么时候应该下市价单、什么时候应该下限价单。https://arxiv.org/pdf/1906.02312.pdf

• 【Akbarzadeh N, Tekin C, van der Schaar M. Online learning in limit order book trade execution[J]. IEEE Transactions on Signal Processing, 2018, 66(17): 4626-4641.】从 online learning 的视角来解决这个问题，使用 DP 类的方法，分析 regret 。http://repository.bilkent.e.tr/bitstream/handle/11693/50289/Bilkent-research-paper.pdf?sequence=1

• 【Wei H, Wang Y, Mangu L, et al. Model-based reinforcement learning for predictions and control for limit order books[J]. arXiv preprint arXiv:1910.03743, 2019.】专栏刚刚讲了的一篇文章，使用 model-based 类的强化学习算法，直接学习一个世界模型，然后让强化学习策略通过和世界模型的交互进行学习。https://arxiv.org/pdf/1910.03743.pdf

• 【Karpe M, Fang J, Ma Z, et al. Multi-agent reinforcement learning in a realistic limit order book market simulation[J]. arXiv preprint arXiv:2006.05574, 2020.】这里的多智能体似乎适用于结合历史数据生成其他市场参与者的动作，而最优策略的学习仍然是使用单智能体 DDQN 方法来做。他们开源了一个考虑多智能体的模拟环境 ABIDES。https://arxiv.org/pdf/2006.05574.pdf

• 【Schnaubelt M. Deep reinforcement learning for the optimal placement of cryptocurrency limit orders[J]. European Journal of Operational Research, 2022, 296(3): 993-1006.】研究数字货币上如何下限价单。对比了 PPO 和 DDQN，发现 PPO 更好。探索出了一些重要的因子，比如 current liquidity cost，queue imbalance 等。https://www.econstor.eu/bitstream/10419/216206/1/1696077540.pdf

强化学习 + 交易执行 （Thesis）

• 【Hu R. Optimal Order Execution using Stochastic Control and Reinforcement Learning[J]. 2016.】KTH （瑞典）工程学院硕士论文。算法直接是基于价值函数的动态规划。不过提供了比较详细的模拟环境和算法伪代码。https://www.diva-portal.org/smash/get/diva2:963057/FULLTEXT01.pdf

• 【Rockwell B. Optimal Order Execution with Deep Reinforcement Learning[J]. 2019.】加拿大蒙特利尔高等商学院硕士论文。使用 TD3 和 DDPG 算法，不过实验是基于人工生成的数据的（skew-normal Brownian motion）。https://biblos.hec.ca/biblio/memoires/m2019a628776.pdf

• 【Reiter M B. An Application of Deep Reinforcement Learning for Order Execution[D]. School of Engineering Science, Osaka University, 2020.】多伦多大学本科毕业论文。在使用 A3C 算法的基础上，考虑了使用教师学生网络的方式进行迁移学习，并且考虑了短期市场冲击。https://mbreiter.github.io/doc/thesis.pdf

强化学习 + 风险偏好

• Robust Risk-Sensitive Reinforcement Learning Agents for Trading Markets

• Deep equal risk pricing of financial derivatives with non-translation invariant risk measures

强化学习 + 做市策略

• Optimal Market Making by Reinforcement Learning

• Optimizing Market Making using Multi-Agent Reinforcement Learning

• Deep Reinforcement Learning for Market Making

• Deep Recurrent Q-Networks for Market Making

• Robust Market Making via Adversarial Reinforcement Learning

• Market making via reinforcement learning

强化学习 + 资产组合

• Deep Stock Trading: A Hierarchical Reinforcement Learning Framework for Portfolio Optimization and Order Execution

• Robo-Advising: Enhancing Investment with Inverse Optimization and Deep Reinforcement Learning

• Large Scale Continuous-Time Mean-Variance Portfolio Allocation via Reinforcement Learning

5. 求教通达信公式: 前一交易日的成交均价(VWAP)，怎么求得

当日成交总金额÷当日成交总股数=当日成交均价。
抱歉，昨天太晚了。
这是指标公式：
VWAP:AMOUNT/(VOL*100);
副图叠加就好。

6. 个股走势图中黄线和白线的疑问

因为黄线是一天的平均线