马尔可夫链数学模型基础

[TOC]
马尔可夫链是马尔可夫决策的数学模型, 也是非常重要的随机过程模型. 本文根据《应用随机过程 概率模型导论》教材的第四章内容进行了整理. 主要内容是离散马尔可夫链的基础, 极限概率, 时间可逆的马尔可夫链, 马尔可夫决策过程, 隐马尔可夫链的相关内容. 省略了详细的推导过程, 把比较有用的干货整理了出来.