Category: ICT-Information and Communication Technology

今天有幸再到交大的校园参加相关工程技术培训，再次在双创中心感受科技力量。 上次在双创中心老师的介绍下了解了F1方程式赛车的制作，包括使用catia软件进行模型设计，机电部分等等，最终在团队的协作下制造出赛车参加相关比赛，赛车手也是来自内部团队成员。整个过程下来同学们对于汽车制造的过程基本上了解熟悉的差不多了，对于汽车方向的同学面向后续的深造和就业都是很强的竞争力的体现。 今天在双创中心又看到了另一个很有意思的项目：robotcup，机器人世界杯。以下是从同学那里了解的相关信息，不一定完全正确，希望后面又机会再去了解一些细节。 该robotcup双方机器人团队各11个robot，通过挂在赛场上方的摄像头和赛场边上的视觉感知信号处理得出每个robot的位置等信息，然后模拟器通过运动状态去对每个robot的路径做出规划决策，模拟器再将规划决策结果信号发给每个单独的robot进行决策执行。整个robot即有巧妙的机械设计，也有嵌入式芯片和机电的结合。整个项目团队好几十人，来自不同的专业方向，去合作将不同的专业方向融合为一个机器人足球赛系统。其中模拟器是群体智能决策的核心关键部件，据同学介绍也是采用强化学习去做的（感觉和我之前介绍的flappybird有点像但复杂度要高很多），思路也有让机器人在场上比赛收集数据的部分（episode experience replay，收集模拟效果好的数据）。 创新创业是时代发展的动力和引擎，不管是在某一个领域的原创性的创新，还是将多个方向的技术进行集成创新去解决现实的问题，都是能推动社会进一步发展向前的生产力，希望自己也继续努力出一份力。 References

今天受邀回答了知乎科技的问题，以下是我的回答，感谢知乎，大家有一个很不错的关于知识的分享交流平台。 个人的理解和观点如下仅供参考： 首先自然语言是一种智能信息载体，人类的语言博大精深，全世界不同的语系语言纷繁绚丽，就拿汉语和英语来说，历史长河中人类智慧的结晶主要用自然语言通过书籍进行传承。 自然语言的魅力不仅在于其传达日常的信息，更在于其表达的模糊性和多样性，一千个读者眼里有一千个哈姆雷特，从而可以说语言是一种博大精深的艺术。华夏五千年的四书五经（虽然没有系统读过），莎士比亚的悲喜剧，还有无数经典的中外小说琳琅满目不计其数，文史哲这类的鸿篇巨制也是目不暇接。而计算机的编程语言是一种更加规范和约束性的语言范式，没有二义性，是对计算过程的准确定义和描述。 基于深度学习的自然语言模型如基于transformer架构的GPT模型等通过大量的语料库对语言之间文字的上下文相关性进行统计学习来对语言的规律进行建模。大模型是基于人类反馈的强化学习进行的统计训练，也是基于大量的问答数据进行的统计学习。强化学习从生物的刺激响应的特性（巴普洛夫条件反射实验）中获得启发，因此如chatgpt和其他开源大模型的表现一样，从输入输出来看拥有一定的智能。 但是智能的载体不限于语言，从我个人的理解，智能的出现可能是历史进程中长时间的生物进化过程中出现的，从单细胞到多细胞，从植物到动物，特别是智人的出现，耳聪目明，心灵手巧，人类首先可能是通过眼睛观察世界，耳朵倾听世界（还有触觉嗅觉味觉感知通道）来不断加深对世界的了解和不断的归纳总结并且通过不断发展的手段将这些了解记录传承下来，使得文明的程度得到持续积累和进步。 因此个人的观点，智能的数字空间载体是信息（是一种数字和抽象的表达，如自然语言，数学公式语言等），信息可以是传统的各种语言文字，也可以是数字图像、语音、图形等多媒体富媒体形式，智能的物理空间载体是纸张，磁盘，电磁波以及人脑的记忆等等，智能的载体是其物理空间载体和数字空间载体的融合，所以可以说智能的载体是个很宽泛宏大的范畴，智能本身也是深邃和没有止境的，就如浩瀚无边的宇宙一样。 所以现有的大模型基于自然语言的智能其表现出的智能程度还是有较大局限的，所以有多模态的数据加入进来，但是现在多模态的融合好像还没有发展的很好。而且人类的智能发展经历了久远时代的积累，而机器表现出的智能才仅仅很短的时间，李飞飞教授也好像说过，从类比来看，机器的智能还处于前牛顿时代。所以期待人类和机器都能够不断的相互学习中迭代进步，人类的技术发展可以给机器赋予情感，成为彼此的朋友。 References

自从去年差不多这个时候chatgpt诞生以来，generative AI的能力一步步迭代进步的速度很快，AI的未来甚至超乎一般人的想象，AI伦理的问题也随之成为讨论的热点。 从我个人的观点来看，AI是一种高级工具，人类的文明是从发明工具开始的，从早期的石器，到后来的青铜器，火药，指南针，望远镜，蒸汽机，发电机等，工具的效能也不能升级，工具的先进程度衡量了文明的发展程度。 人类虽然聪明过人，比如在数学物理推导，精确的物理实验等。但人类很多的能力是不如计算机的，比如数值的计算能力和速度，感知的数值精确度。一般人们只能模糊感知到远近，大概几十米上百米等，但不能感知到具体的距离的数字值。还有拿智能驾驶应用来说，现在可以在车身周围安装8个摄像头，形成360度全感知，而人类的视角大概估计在120-150度之间。所以说计算机和AI等先进工具是人类本身能力局限的延申，使得人们能变得更加神通广大。 因此我个人的观点，最近的AI agent的概念还是挺不错的，以后每个人都可以配备一个自己的AI助手，辅助个人个性化的解决生活中的各种问题和局限，人类可以做更加创造性的事务，而AI助手可以将人们从一些机械性的程式化的工作中解放出来，实现高效和谐的分工合作。 现在是AI较快发展的时期，高水平的机器人等方面的高科技从业者也很多，进步速度很快，甚至有些进步超乎了一般人的想象，在AI工具的辅助下，写文章，写论文等都将变的很高效，但是这些工作很多时候很多部分是要求高度思考和创造性的，如果让AI去做，人类自身的智能可能将会退化，甚至有些方向的文章用AI去写是不道德的，比如让基层民警去写歌颂社会美德的小文章，如果用AI合适吗？ 所以还是规范化一下AI的使用，可以让其高效收集汇总信息，做程式化的劳动等。将人们集中在更高精尖的劳动，更创造性的劳动上面。 以后AI可能将会变得有自主性，希望能更好的更主动的帮助人类解决生活中的繁琐的一些事务，成为人类的相互协作和进步的好朋友。

今天新闻中关于OpenAI的Q*算法的介绍，现在看上去还是有点神秘的，之前接触过强化学习的相关内容，对Q-learning有所了解，也基本看通过一个简单的游戏的算法的实现细节（参考引文1）。深度强化学习和人脑的学习有较大的相似之处，机器学习的算法发明者还是从人类本身的学习中去总结经验和规律，将其进行数学形式化，确实了不起。发明了的AI算法从另一角度也会给更多的人们思考人类的生物智能提供了窗口，使得我们更好的对我们自己的智能进行反思。 Q-network learning解决了一些状态数量巨大的情况下的智能决策问题，满足我们很多场景中的状态不好进行枚举可数的情形，如很多的游戏场景，状态可以理解为当前或最近几帧的图像，不太好用Q-table进行描述，而神经网络如cnn对图像任务表现已经比较出色，自然会想到用cnn网络进行建模，输入为图像或组合，解决了不好显示定义状态（状态数太大）的问题。 强化学习中一个关键的方程为贝尔曼方程，也是一种递归定义，巧妙解决了价值函数的定义，具体细节可以参考引文3。 强化学习训练起来也不是很容易，有很多工程上技术问题需要解决，如大规模集群计算（高效的高速带宽大算力计算集群）以及大量的较为高质量的数据都很关键。不是一件容易的事情，需要专业人员摸索和积累经验。这方面经验不是很足。 强化学习中还有一个epsilon参数的定义，估计也是从人类的学习中去总结提炼出来的，是关于行为是采用经验保守还是进行探索冒险的这种比例机制问题。比如小孩子先验知识比较少，探索的时候更多些，年纪越大积累的更多的经验，认知也比较丰富了，这时需要的探索的事情就自然会少些。所以在强化学习算法的训练过程中，这个比例也是需要调整的。 OpenAI的大模型技术确实发展的挺快，在推理上可能有比较大的进展，人类对于AI的应用和使用确实要制定更加合理规范的规则。AI的未来还是有很多的可能性，期待给人来带来更多的福祉。 References

马尔可夫性是一种当前的状态只与前一时刻的状态相关，而与前一时刻之前的状态无关的性质(在前一刻状态已知的情况下与再之前的状态没有直接关系了)。马尔可夫性在应用数学里边也有一些应用，这里边说两个： 1、马尔可夫决策过程是强化学习的基础内容，该过程可以简要描述为：当前时刻的状态s下执行某个行为a后转移到另一个状态s‘的概率，并且获得收益r，整个过程可以建模为状态的集合S，行为的集合A，状态转移矩阵和收益R。马尔可夫决策过程解决的是在当前状态下执行什么行为能取得较好的收益，属于决策智能的基础算法。 2、HMM，隐马尔可夫模型，是一种时序模型，HMM最成功的应用是在语音识别上，李开复老师的语音识别用的就是这个算法。 3、扩散模型，当前主要的生成式模型算法，在图像可控生成方面有很成功的应用，如开源模型Stable Diffusion。 和马尔可夫性的理想假设类似，现有的很多算法都是解决实际问题的一种简化和近似，如朴素贝叶斯算法（如应用在邮件分类上）也是这样，对现实问题做了强假设理想化处理，但是在工程上，在特定领域和特定条件下能较好解决问题，也就有了用武之地。 但感觉我们的现实世界的运行是不满足这种马尔可夫性的，主要在于人类的智能的学习非常复杂，人类学习实践活动更有可能是复杂的非严格的单向时序关系，而是多个时序关系的叠加，比如从现在来看过去不同时刻的事情都会直接影响现在，就拿阅读这件事来说，将经典的思想进行学习吸收从而影响到决策和践行就可以认为是很久过去的认知结果（思想）影响到现在和未来，这种影响是从思想的诞生到后面一直累计影响的，有间接的有直接的，但也都有一定的概率性。从上面的实际例子场景可以感受到人类文明的生活空间的演化发展更像是某种程度多历史路径的积分影响，而且人与人之间（人类的社交网络本身也是很复杂的）也通过交互存在着相互的影响。所有总体上来说人的行为决策是一个非常复杂的智能决策结果，有待我们更进一步更多的认识和发现。 附：于2025/06/11做了第一次修订