Month: November 2023

自从去年差不多这个时候chatgpt诞生以来，generative AI的能力一步步迭代进步的速度很快，AI的未来甚至超乎一般人的想象，AI伦理的问题也随之成为讨论的热点。 从我个人的观点来看，AI是一种高级工具，人类的文明是从发明工具开始的，从早期的石器，到后来的青铜器，火药，指南针，望远镜，蒸汽机，发电机等，工具的效能也不能升级，工具的先进程度衡量了文明的发展程度。 人类虽然聪明过人，比如在数学物理推导，精确的物理实验等。但人类很多的能力是不如计算机的，比如数值的计算能力和速度，感知的数值精确度。一般人们只能模糊感知到远近，大概几十米上百米等，但不能感知到具体的距离的数字值。还有拿智能驾驶应用来说，现在可以在车身周围安装8个摄像头，形成360度全感知，而人类的视角大概估计在120-150度之间。所以说计算机和AI等先进工具是人类本身能力局限的延申，使得人们能变得更加神通广大。 因此我个人的观点，最近的AI agent的概念还是挺不错的，以后每个人都可以配备一个自己的AI助手，辅助个人个性化的解决生活中的各种问题和局限，人类可以做更加创造性的事务，而AI助手可以将人们从一些机械性的程式化的工作中解放出来，实现高效和谐的分工合作。 现在是AI较快发展的时期，高水平的机器人等方面的高科技从业者也很多，进步速度很快，甚至有些进步超乎了一般人的想象，在AI工具的辅助下，写文章，写论文等都将变的很高效，但是这些工作很多时候很多部分是要求高度思考和创造性的，如果让AI去做，人类自身的智能可能将会退化，甚至有些方向的文章用AI去写是不道德的，比如让基层民警去写歌颂社会美德的小文章，如果用AI合适吗？ 所以还是规范化一下AI的使用，可以让其高效收集汇总信息，做程式化的劳动等。将人们集中在更高精尖的劳动，更创造性的劳动上面。 以后AI可能将会变得有自主性，希望能更好的更主动的帮助人类解决生活中的繁琐的一些事务，成为人类的相互协作和进步的好朋友。

今天新闻中关于OpenAI的Q*算法的介绍，现在看上去还是有点神秘的，之前接触过强化学习的相关内容，对Q-learning有所了解，也基本看通过一个简单的游戏的算法的实现细节（参考引文1）。深度强化学习和人脑的学习有较大的相似之处，机器学习的算法发明者还是从人类本身的学习中去总结经验和规律，将其进行数学形式化，确实了不起。发明了的AI算法从另一角度也会给更多的人们思考人类的生物智能提供了窗口，使得我们更好的对我们自己的智能进行反思。 Q-network learning解决了一些状态数量巨大的情况下的智能决策问题，满足我们很多场景中的状态不好进行枚举可数的情形，如很多的游戏场景，状态可以理解为当前或最近几帧的图像，不太好用Q-table进行描述，而神经网络如cnn对图像任务表现已经比较出色，自然会想到用cnn网络进行建模，输入为图像或组合，解决了不好显示定义状态（状态数太大）的问题。 强化学习中一个关键的方程为贝尔曼方程，也是一种递归定义，巧妙解决了价值函数的定义，具体细节可以参考引文3。 强化学习训练起来也不是很容易，有很多工程上技术问题需要解决，如大规模集群计算（高效的高速带宽大算力计算集群）以及大量的较为高质量的数据都很关键。不是一件容易的事情，需要专业人员摸索和积累经验。这方面经验不是很足。 强化学习中还有一个epsilon参数的定义，估计也是从人类的学习中去总结提炼出来的，是关于行为是采用经验保守还是进行探索冒险的这种比例机制问题。比如小孩子先验知识比较少，探索的时候更多些，年纪越大积累的更多的经验，认知也比较丰富了，这时需要的探索的事情就自然会少些。所以在强化学习算法的训练过程中，这个比例也是需要调整的。 OpenAI的大模型技术确实发展的挺快，在推理上可能有比较大的进展，人类对于AI的应用和使用确实要制定更加合理规范的规则。AI的未来还是有很多的可能性，期待给人来带来更多的福祉。 References

马尔可夫性是一种当前的状态只与前一时刻的状态相关，而与前一时刻之前的状态无关的性质(在前一刻状态已知的情况下与再之前的状态没有直接关系了)。马尔可夫性在应用数学里边也有一些应用，这里边说两个： 1、马尔可夫决策过程是强化学习的基础内容，该过程可以简要描述为：当前时刻的状态s下执行某个行为a后转移到另一个状态s‘的概率，并且获得收益r，整个过程可以建模为状态的集合S，行为的集合A，状态转移矩阵和收益R。马尔可夫决策过程解决的是在当前状态下执行什么行为能取得较好的收益，属于决策智能的基础算法。 2、HMM，隐马尔可夫模型，是一种时序模型，HMM最成功的应用是在语音识别上，李开复老师的语音识别用的就是这个算法。 3、扩散模型，当前主要的生成式模型算法，在图像可控生成方面有很成功的应用，如开源模型Stable Diffusion。 和马尔可夫性的理想假设类似，现有的很多算法都是解决实际问题的一种简化和近似，如朴素贝叶斯算法（如应用在邮件分类上）也是这样，对现实问题做了强假设理想化处理，但是在工程上，在特定领域和特定条件下能较好解决问题，也就有了用武之地。 但感觉我们的现实世界的运行是不满足这种马尔可夫性的，主要在于人类的智能的学习非常复杂，人类学习实践活动更有可能是复杂的非严格的单向时序关系，而是多个时序关系的叠加，比如从现在来看过去不同时刻的事情都会直接影响现在，就拿阅读这件事来说，将经典的思想进行学习吸收从而影响到决策和践行就可以认为是很久过去的认知结果（思想）影响到现在和未来，这种影响是从思想的诞生到后面一直累计影响的，有间接的有直接的，但也都有一定的概率性。从上面的实际例子场景可以感受到人类文明的生活空间的演化发展更像是某种程度多历史路径的积分影响，而且人与人之间（人类的社交网络本身也是很复杂的）也通过交互存在着相互的影响。所有总体上来说人的行为决策是一个非常复杂的智能决策结果，有待我们更进一步更多的认识和发现。 附：于2025/06/11做了第一次修订