RL 在金融中的应用

参见Modern Perspectivs on RL in Finance和RL in economics and finance 2021．

本来应该通过动态规划方法解这些问题．用动态规划解优化问题通常需要下述三个条件：

1. 明确知道模型的状态转移概率
2. 有足够的算力来求解DP
3. Markov性质

RL，结合了DP，蒙特卡洛模拟，函数近似和机器学习．

RL在金融中主要有以下三个应用方向：

1. 衍生品定价/对冲
2. 投资组合/资产配置
3. 做市

一． RL for Risk Management

通常而言，学术中对衍生品定价和对冲都是基于随机环境下的有模型决策（model-driven decision rules in a stochastic environment），常规对冲策略都会用到希腊值 Greeks，代表模型对不同参数风险定价的敏感程度．

这种方法在高维情况时通常缺少有效的数值模拟方法．

Deep Hedging

参考Deep Hedging, Buehler et al.

市场摩擦(market frictions)：指金融资产在交易中存在的难度，如手续费(transaction costs)、买卖价差(bid/ask spread)、流动性约束(liquidity constraints)等．

本文中的对冲的对象是对冲掉一些衍生品的投资组合．

把 trading decision 建模成一个网络，特征不仅仅有价格，还有交易信号，新闻分析(news analytics)，过去对冲决策等等．

算法是完全 model-free，不依赖对应市场的动力．我们只需确定下来市场的状态生成(scenario generator)，损失函数，市场摩擦和交易行为(trading instruments)．所以此方法 lends itself to a statistically driven market dynamics，我们不需要像传统方法那样计算单个衍生品的希腊值，应将建模的精力花在实现真实的市场动力和样本外表现．

建模：带市场摩擦的离散市场

考虑有限时域的离散金融市场 $T$ 和交易时刻 $0=t_0<t_1<\dots <t_n=T$. 固定一个有限概率空间 $\Omega =\left\{{\omega }_1,\dots ,{\omega }_N\right\}$ 和一个概率测度 $\mathbb{P}$ s.t. $\mathbb{P}\left[\left\{{\omega }_i\right\}\right]>0$ 对所有的 $i$. 定义所有 $\Omega$ 上的实值随机变量 $\mathcal{X}:=\{X:\Omega \to$ $\mathbb{R}\}$．

记 $I_k\in {\mathbb{R}}^r$ 在 $t_k$ available 的新市场数据， including market costs and mid-prices of liquid instruments-typically quoted in auxiliary terms such as implied volatilities-news, balance sheet information, any trading signals, risk limits etc. 过程 $I={\left(I_k\right)}_{k=0,\dots ,n}$ 生成域流 $\mathbb{F}={\left({\mathcal{F}}_k\right)}_{k=0,\dots ,n}$, i.e. ${\mathcal{F}}_k$ 表示到 $t_k$ 时刻所有可用的信息. 注意到每个 ${\mathcal{F}}_k$ 可测的随机变量可以写成 $I_0,\dots ,I_k$的函数．

市场有 $d$ 个hedging instruments with mid-prices 取值于 ${\mathbb{R}}^d$ -valued $\mathbb{F}$ -adapted 随机过程 $S={\left(S_k\right)}_{k=0,\dots ,n}$. 即可以用来做对冲的资产．

衍生品的投资组合即负债(liability)是一个 ${\mathcal{F}}_T$ 可测的随机变量 $Z$. 到期日 $T$ 是所有衍生品种最大的那一个．此为想要对冲掉的东西．

即 用$S对冲Z$．

想要在 $T$ 对冲掉 $Z$ , 我们要用 ${\mathbb{R}}^d$ -valued $\mathbb{F}$ -adapted stochastic process $\delta ={\left({\delta }_k\right)}_{k=0,\dots ,n-1}$ with ${\delta }_k=\left({\delta }_k^1,\dots ,{\delta }_k^d\right)$ 来交易 $S$．${\delta }_k^i$ 表示智能体在 $t_k$ 时刻对第 $i$ 个资产的持有. 同样定义 ${\delta }_{-1}={\delta }_n:=0$．

记 ${\mathcal{H}}^u$ 是这样的交易策略的无约束集合. 但是每个 ${\delta }_k$ 有其交易约束. 可能来自 liquidity, asset availability or trading restrictions. They are also used to restrict trading in a particular option prior to its availability. In the example above of an option which is listed in $3\mathrm{M}$, the respective trading constraints would be $\{0\}$ until the $3\mathrm{M}$ point. 所以我们假定 ${\delta }_k$ 受 ${\mathcal{H}}_k$ 约束，由一个连续 ${\mathcal{F}}_k$ 可测映射给出 $H_k:{\mathbb{R}}^{d(k+1)}\to {\mathbb{R}}^d$, i.e. ${\mathcal{H}}_k:=H_k\left({\mathbb{R}}^{d(k+1)}\right).$

对无约束策略 ${\delta }^u\in {\mathcal{H}}^u$, 我们定义它在 ${\mathcal{H}}_k$ 的有约束投影 $(H\circ {\delta }^u{)}_k:=H_k((H\circ {\delta }^u{)}_0,\dots ,(H\circ {\delta }^u{)}_{k-1},{\delta }_k^u$．记 $\mathcal{H}:=\left(H\circ {\mathcal{H}}^u\right)\subset {\mathcal{H}}^u$ 为受约束的交易策略相应的非空集．

EXAMPLE 1 Assume that $S$ are a range of options and that ${\mathcal{V}}_k^i\left(S_k^i\right)$ computes the Black-Scholes Vega of each option using the various market parameters available at time $t_k$. The overall Vega traded with ${\delta }_k$ is then ${\mathcal{V}}_k\left({\delta }_k-{\delta }_{k-1}\right):=$ $\left|{\sum }_{i=1}^d{\mathcal{V}}_k^i\left(S_k^i\right)\left({\delta }_k^i-{\delta }_{k-1}^i\right)\right|.$ A liquidity limit of a maximum tradable Vega of ${\mathcal{V}}_{\max }$ could then be implemented by the map: $$\begin{array}{rl}{H}_k\left({\delta }_0,\dots ,{\delta }_k\right):& ={\delta }_{k-1}+\left({\delta }_k-{\delta }_{k-1}\right)\\ & \times \frac{{\mathcal{V}}_{\max }}{\max \left\{{\mathcal{V}}_k\left({\delta }_k-{\delta }_{k-1}\right),{\mathcal{V}}_{\max }\right\}}.\end{array}$$

对冲

交易是自融资的．不带交易费用的 $T$ 时刻最终财富为 $-Z+p_0+(\delta \cdot S{)}_T$, 其中 $$(\delta \cdot S{)}_T:=\sum _{k=0}^{n-1}{\delta }_k\cdot \left(S_{k+1}-S_k\right).$$ 当考虑交易费用时，在$t_k$ 时刻买入 $n\in {\mathbb{R}}^d$ 的 $S$ 股票a产生费用 $c_k(n)$. $\delta$ 策略总的交易费用为 $$C_T(\delta ):=\sum _{k=0}^n{c}_k\left({\delta }_k-{\delta }_{k-1}\right)$$ 回忆 ${\delta }_{-1}={\delta }_n:=0$．所以智能体总的花费变为 $${\mathrm{PL}}_T\left(Z,p_0,\delta \right):=-Z+p_0+(\delta \cdot S{)}_T-C_T(\delta )$$