定量交易者们通常面临着持续的挑战。由于政府政策、监管环境以及其他宏观经济因素的变化，金融市场的行为经常会突然改变。这种时期通常被称为“市场制度”，检测此类变化是定量市场参与者一个常见但困难的过程。
这些不同的市场制度通过其均值、方差/波动性、序列相关性和协变量的变化导致资产收益的调整，这可能影响到依赖平稳性的时间序列方法的有效性。特别是，这可能导致动态变化的相关性、过度的峰度、异方差以及回报的扭曲。
这促使人们需要有效地检测和分类这些市场制度，以便最佳地选择量化交易策略的部署并优化其中的参数。然后，建模任务将成为一种尝试，以确定新市场制度何时发生，并相应地调整战略部署、风险管理和头寸确定标准。
执行状态检测的主要方法是使用称为隐马尔可夫模型的统计时间序列技术。这些模型非常适合该任务，因为它们涉及通过与这些过程相关的“噪声”间接观察来推断“隐藏”的生成过程。在这种情况下，隐藏的或潜在的过程是基础市场制度状态，而资产回报是受这些状态影响的间接噪声观察。
马尔可夫模型
马尔可夫模型是一种随机状态空间模型，其中状态之间的随机转换仅取决于当前状态，而不是任何先前状态，因此具有“无记忆”的特性，即马尔可夫性质。随机游走模型是马尔可夫模型的一个常见例子。马尔可夫模型可分为四种类型，具体取决于系统的自主性和能否在每个状态下观察到有关系统的全部或部分信息：
马尔可夫模型是一种随机状态空间模型，其中状态之间的转换概率只依赖于当前状态，而不依赖于任何先前状态。马尔可夫链是最简单的马尔可夫模型，是自主且完全可观察的，无法通过代理控制并且所有信息都可以直接获得。隐马尔可夫模型则是只能部分观察到的马尔可夫模型，其中存在潜在状态，但这些状态无法直接观察到，而是影响观察到的状态。在量化金融以外，隐马尔可夫模型在语音识别中也被广泛应用。
如果系统允许一个或多个代理控制，那么这些过程被称为强化学习，其中包括马尔可夫决策过程和部分可观测马尔可夫决策过程。在马尔可夫决策过程中，系统是完全可观察的，但受到控制。而在部分可观测马尔可夫决策过程中，系统是受控的但只能部分观察到。解决高维部分可观测马尔可夫决策过程的技术是目前许多学术研究的主题之一。
隐马尔可夫模型
隐马尔可夫模型（HMM，Hidden Markov Model）的主要应用之一是在时间序列数据中进行预测和分析，包括金融时间序列数据。在金融领域中，隐马尔可夫模型可以用于预测股票价格、汇率、商品价格等方面。
例如，可以使用隐马尔可夫模型来预测某只股票的未来价格趋势。假设将每日的股票价格涨跌幅度视为观测结果，将市场制度状态视为隐藏状态。可以使用历史数据来训练模型，然后使用该模型来预测未来的价格变化。在预测中，模型可以根据当前的隐藏状态（市场制度）和观测结果（股票价格涨跌幅度）来预测未来的价格趋势，并给出相应的概率。
另一个例子是，可以使用隐马尔可夫模型来识别金融市场中的趋势。在这种情况下，可以将市场制度状态视为隐藏状态，将股票价格等观测结果视为观测数据。然后，使用隐马尔可夫模型来识别不同市场制度状态下的股票价格变化模式，并确定市场趋势。这可以帮助投资者做出更好的投资决策。
隐马尔可夫模型（HMM）联合密度函数
隐马尔可夫模型的联合密度函数可以表示为：
其中，x是观测序列，z是对应的隐藏状态序列，p（zt｜zt-1） 是状态转移概率分布，p（xt｜zt）是观测转移概率分布。
这个联合密度函数是用于描述隐马尔可夫模型中观测序列和对应的隐藏状态序列的概率分布的。它的形式是基于条件独立假设，即给定当前时刻的隐藏状态，观测值与之前的所有隐藏状态和观测值都是独立的。
需要注意的是，当使用连续观测时，观测值的数量应该与状态的数量相同，以使得每个状态都有对应的观测分布。同时，如果观测值的分布不符合多元高斯分布的假设，也可以考虑使用其他分布模型来描述观测值。例如，如果观测值是二元的（例如涨跌），可以使用二项式分布模型，而不是多元高斯分布模型。
隐马尔可夫模型：滤波
在隐马尔可夫模型中，使用前向-后向算法实现滤波。前向算法计算在观测序列给定的情况下，时间t状态为k的后验概率，即。后向算法计算在观测序列给定的情况下，时间t之后的所有观测值，对时间t状态为k的后验概率的贡献，即。这些计算可以结合起来得到后验概率的递归表示。
前向-后向算法的基本思想是使用动态规划，利用已知的状态和观测信息来计算后验概率。具体而言，使用前向递归算法计算前向概率，表示在观测值下，时间t状态为k的概率。然后使用后向递归算法计算后向概率，表示在观测值下，时间t状态为k的概率。最终，使用前向和后向概率结合起来计算后验概率。
贝叶斯规则的递归形式称为递推式，用于计算后验概率。这个递推式称为正向算法或前向算法。这个算法计算每个时间步骤t的后验概率，并且与卡尔曼滤波器类似，它也是一个递归算法，从初始状态开始。
在递推完成后，可以使用后验概率来估计当前的制度状态，通常是选择后验概率最大的状态。也可以使用后验概率来进行其他分析和推断，例如计算期望回报或计算市场风险。
一旦确定了隐马尔可夫模型的节理密度函数，就需要考虑如何利用该模型进行计算。在一般的状态空间建模中，通常有三个主要任务——滤波、平滑和预测：
- 预测-预测状态的后续值
- 过滤-根据过去和当前的观测结果估计状态的当前值
平滑-根据观察结果估计状态的过去值 滤波和平滑有一些相似之处，但并不完全相同。平滑是指在给定当前知识的情况下，想要了解过去状态发生了什么，而过滤则是指现在状态正在发生什么。 从数学角度来看，给定到时间t的观测序列，我们感兴趣的是时间t状态的条件概率。与卡尔曼滤波器一样，在隐马尔可夫模型上实现滤波，可以递归地应用贝叶斯规则。
总结
隐马尔可夫模型是一种概率模型，用于描述由一系列状态和观测组成的序列，并且假设状态序列是不可见的，只能通过观测序列来推断。该模型由三个基本组件构成：状态集合，观测集合和状态转移矩阵。其中，状态集合是指可能的状态集合，观测集合是指每个状态可能生成的观测集合，状态转移矩阵是指状态之间的转移概率矩阵。在隐马尔可夫模型中，通常有三个主要任务：滤波，平滑和预测。滤波是指根据过去和当前的观测结果估计状态的当前值，平滑是指根据观察结果估计状态的过去值，而预测是指预测状态的后续值。隐马尔可夫模型在语音识别、自然语言处理、机器翻译等领域得到了广泛的应用。
