马尔可夫性

马尔可夫性是一种当前的状态只与前一时刻的状态相关，而与前一时刻之前的状态无关的性质(在前一刻状态已知的情况下与再之前的状态没有直接关系了)。马尔可夫性在应用数学里边也有一些应用，这里边说两个：

1、马尔可夫决策过程是强化学习的基础内容，该过程可以简要描述为：当前时刻的状态s下执行某个行为a后转移到另一个状态s‘的概率，并且获得收益r，整个过程可以建模为状态的集合S，行为的集合A，状态转移矩阵和收益R。马尔可夫决策过程解决的是在当前状态下执行什么行为能取得较好的收益，属于决策智能的基础算法。

2、HMM，隐马尔可夫模型，是一种时序模型，HMM最成功的应用是在语音识别上，李开复老师的语音识别用的就是这个算法。

3、扩散模型，当前主要的生成式模型算法，在图像可控生成方面有很成功的应用，如开源模型Stable Diffusion。

和马尔可夫性的理想假设类似，现有的很多算法都是解决实际问题的一种简化和近似，如朴素贝叶斯算法（如应用在邮件分类上）也是这样，对现实问题做了强假设理想化处理，但是在工程上，在特定领域和特定条件下能较好解决问题，也就有了用武之地。

但感觉我们的现实世界的运行是不满足这种马尔可夫性的，主要在于人类的智能的学习非常复杂，人类学习实践活动更有可能是复杂的非严格的单向时序关系，而是多个时序关系的叠加，比如从现在来看过去不同时刻的事情都会直接影响现在，就拿阅读这件事来说，将经典的思想进行学习吸收从而影响到决策和践行就可以认为是很久过去的认知结果（思想）影响到现在和未来，这种影响是从思想的诞生到后面一直累计影响的，有间接的有直接的，但也都有一定的概率性。从上面的实际例子场景可以感受到人类文明的生活空间的演化发展更像是某种程度多历史路径的积分影响，而且人与人之间（人类的社交网络本身也是很复杂的）也通过交互存在着相互的影响。所有总体上来说人的行为决策是一个非常复杂的智能决策结果，有待我们更进一步更多的认识和发现。

附：于2025/06/11做了第一次修订