Category: HCI/VR/XR/AR
-
交大老校区听讲座
昨天去交大老校区去听了一下午的讲座，这是今年第一次去，恰巧很很高兴碰到了好多年未见得老同事们，感概大家还是老样子，感觉还是那么亲切，老校区的变化也不是很大，感觉也还是挺亲切，傍晚在食堂和听讲座新认识的律师朋友一起吃了碗面，短聊了会天，关于讲座的内容也在这里简要记录一下，仅供大家参考，也以备后需。 这次讲座主要的内容是医疗卫生行业的科技发展及产业转化的现状，学校有附属医院，有大规模的真实病例数据，以及医疗过程数据和相关治疗科技进展，也已经有相关的产业化的推进。这里记录两三个比较有印象的案例。 第一个关于精神类疾病的影像数据及人工智能辅助诊断系统，可以针对不同类别的病人的真实数据收集整理了大量的跨病类的数据集，并通过设计的人工智能算法达到对个体的影像数据进行自动诊断的目的，现有精确度尚可。当然最后的诊断还是以有经验的医生的判断为准； 第二个是基于脑电信号的情感智能以及疾病检测（如癫痫检测）方面的研究及在医疗方面的应用，对脑电信号的不断的精确的解码，专家们也相信以后机器人也将具有喜怒哀乐的情感。对于脑电信号的疾病检测以后也可能会应用到更多的疾病检测上，或者说以后的疾病检测的标记物不仅仅有影像数据，还有体液以及脑电等多模态数据，这样的诊断也会更加全面和精准； 第三个是基于脑机接口的视觉重建等方向，也许以后可以为失明失聪的人带来福音，期待对于这样的残疾人以后也能够有享受人类更多的天伦之乐的机会。 期待医疗行业随着数字化和智能技术的发展走上更加系统和全面科学化的道路，给全人类带来更多的福音，辅以图片以作纪念。感谢组织方的精心准备和可口的小点心。
-
人机交互与人人交互简介
交互（interaction，dialog）是两个系统之间信息交流的方式，人机交互（human computer interaction）指的是人和计算机之间信息交流沟通的过程和方式，人和计算机都有信息接收，信息加工处理和信息发送的能力，不过两个系统的工作原理不同（经典计算机是人类发明，其工作原理是比较清晰的，但人类的智能加工还有很多神秘待挖掘）。人人交互（human human interaction）指的是人们之间的交互方式，如日常的口语对话（natural dialog），书信，肢体语言等。由于其过程自然流畅，一般也称为自然交互。随着计算机软硬件技术的不断进步，人机交互也越来越向着更加自然高效的交互方式去发展。当然人人交互的复杂和高效特性是那么的独特，比如在一个会议或一群人的交流互动过程中，群体的交互过程的建模和分析就比较复杂（如社交网络也可以理解为一种非即时的群体人人交互，其通过信息技术得以实现物理距离不受限的群体人人交互）。而现阶段一般的人机交互主要还是研究的一对一的人和机器之间的高效交互。人机交互基本上是没有太大二义性的，而人人交互二义性就比较多，人的认知目标也不尽相同，甚至相互的理解程度也是在一定范围和程度内（人人交互也可以说是一种信息的模糊交互过程）。 自计算机发明以来，从早期的纸带输入数据和计算指令，到键盘鼠标以及麦克风等等，新的外围设备的发明不断促进了人和机器之间信息交互的便捷性。人机交互也早已经是计算机应用里边的一个大的研究方向。其研究范畴也挺大，有硬件的外围设备，如鼠标，键盘，智能笔等的发明，促进了计算机使用的便捷性并大大普及了计算机在更广的人群里的使用。计算机可视化技术的发展，使得计算机从早期的DOS系统（Command Line Interface， CLI）过渡到（Graphical User Interface，GUI），通过鼠标和窗口进行交互更加快捷高效，这些交互技术的进步不断促进着计算机的进一步普及。随着人工智能技术的引进，交互也会引入模糊性，如智能技术的结果的精确性就会带来机器理解的模糊性。这类技术通常也称为Intelligent User Interface（IUI，智能用户界面）。 新的智能时代，智能设备的多样性也给交互带来了更多的应用场景和想象的空间，智能眼镜，智能投影仪摄像头等等，一方面提供了更加便捷普适场景的交互，另一方面也延申了人类的感知和认知和想象的能力。如基于虚拟现实技术的交互可视化，可以通过手势等方便和系统进行交互，并及时反馈交互的结果，如可视化技术随着交互手势的输入来动态响应其用户的交互意图，从而展示想要看到的不同视角，不同尺度比例的可视化内容。智能机器人的出现（如具身机器人），人和机器的交互可以逐渐模拟人和人之间的交互过程，如自然的对话，肢体表达等等。随着更多的技术进步，如脑机接口，多模态大模型等技术的发展，人机交互的应用范围和场景也会进一步扩大，nothing is impossible， nothing is beyond imagination。
-
UE学习笔记1-安装及基本使用
UE是虚拟现实相关技术的很有影响力的引擎，这里将边学习边做一下记录备忘，以备后续查阅复习。 1、UE的下载安装，下载链接请参考引文1，下载安装文件后，执行epic games launcher启动程序，注册一个账号后就可以进入启动epic games的程序进入主窗口界面了。登录后，移动至“虚幻引擎”选项卡，并点击“安装”按钮，下载最新版本。下面将介绍一下UE使用的基础内容，主要是窗口中的一些重要的子窗口元素介绍。 2、关卡编辑器界面：首先新建一个项目，选择第三人称模板(Third Person Template)，项目设置选择蓝图，质量预设选择最大，以及填写项目名称后会进入关卡编辑器界面。 3、放置actor面板：在下图的红色区域点击弹出drop list对话框并选择“放置Actor面板”菜单项，会在程序窗口的左边弹出放置Actor面板，然后在弹出的面板中选择形状，拖入一个“立方体”放入视口中，并通过配置来设置立方体的大小。如下图所示。 4、内容浏览器子窗口面板：用来管理各类资源，如果在创建项目时勾选了初学者内容包，那么在内容浏览器中可以看到“StarterContent”在我们的项目文件中被创建。如下图所示。 5、大纲子窗口面板：放入到视口中的元素，都会一一列到大纲中，如下图中的右边所示。 6、细节子窗口面板：当选中任一物体后，其相关细节设置就会展示在细节面板中。我们可以在细节面板中对选中的物体设置坐标、材质、碰撞等属性。 上述对UE的各个关键子窗口做了介绍，下面以具体的一个简单的设计实操示例来进行性说明。 在内容浏览器子窗口面板的的“Content”（“内容”）目录下，右击鼠标，在弹出的对话框中选择“创建文件夹”，将创建的文件夹命名为“Level”，双击“Level”，然后在内容浏览器空白处右键，选择“新建关卡”。并进行重命名为“Level_Demo”，双击“Level_Demo” ，此时在视口中一片漆黑，什么都看不到。我们需要在关卡内放入Actor来构建世界，我们可以在菜单栏 – 窗口中找到环境光照混合器，点击里面的5个按钮，可以将其快速添加到场景中。 References
-
交互式VR在视觉增强方面可能的应用
人类个人的感知，认知和创造性都是有限制的，这里仅从视觉感知增强的方面来说一说元宇宙相关技术的作用。所描述的场景和应用只是一些可能的案例，实际上会有更多丰富的场景，但也有待去更好的在技术产品上落地实现，在实际中得以很好的应用。 人类在感知上存在着较大局限，比如仅从视觉上来讲，人的眼睛只能感受波长较窄的一段可见光，看不清微观世界运行的细节，也看不清大的宏观宇宙的全貌，人的视角也很有限制，不能同时看到360度周视全貌，以及遮挡视线部分的内容。感知是认知的基础，人类首先能够看得见听得着，才能不断积累对世界的认识并代代相传，智慧才能不断升级。 人类感知能力的局限可以由现在科技的发展进行拓展和增强，人们越来越会制造高级的工具来延申我们的视觉感知，听觉感知以及行动力等等。就拿VR来说，可以应用的场景很多，特别在小的微观细节和大的宏观全貌的交互式可视化上将能够大有所为。这里就简要的来说一说。 比如生物化学这些领域，一些分子结构的交互动态可视化，DNA双螺旋到底长成什么样子，一些生物医药，特别对于生物学和医学的同学，如果能够通过VR技术来可视化很多生物微观的细节结构和动态行为，那这里的学习和理解将更加的直观和深刻。 再比如大的宏观结构，数字孪生地球，太阳系和银河系等等，都是非常有教育价值的场景，通过数字地球，未来我们甚至可以随时云上游览地球的任何一个地方，我们可以通过缩放来了解地月的运行方式，太阳系的行星和卫星，以及可能的太阳系带着自己的行星卫星和星云在银河系中飞奔的场景。 还有很多的场景可以用到，如展示栩栩如生的已经灭绝的古生物，中小学语文课历史课等内容都可以制作设计精良的交互可视化内容。以后VR，AR和AI相结合的元宇宙产品，有更多的内容期待着大家发挥神奇的想象力，期待后面这些方面也能有所实践。
-
虚实结合的生活工作空间设想
随着元宇宙、人工智能和5G,6G区块链等技术的进步和融合，未来我们的生活工作方式将会有较大的变化，新的数字化时代科技发展日新月异，超乎我们的想象，这里就先天马行空的来说一说未来可能的情况和场景。 以IT公司为例，未来程序员编程实现工作将更多的由程序员的数字代理来完成，现实生活中的程序员可以负责来review和优化代码，以及程序的集成等工作。 家庭生活空间也类似，这里每个人可以由实体成员，实体机器人代理和虚拟代理三个角色构成，实体机器人负责在家庭物理空间完成一定的任务，如家务购物等，虚拟代理可以参加虚实融合的教学家长会，完成一些实体成员日程生活的记录如记账网购等活动。甚至我们日常活动中产生的想法和行动都可以数字化到元宇宙空间中，虚拟代理和实体在认知状态和行为上实现同步。某种意义上这样的数字虚拟代理可以实现实体个人成长经历一定程度的永久化，后代们将会更加具体的看到前人的生活工作情况，是一个活生生的家庭族谱，可以设置时间分辨率去浏览回顾，个人或伴侣也可以在年迈的时候去回忆曾经的美好时光。 综合上面两个场景及可能的更多的常见来看，未来虚拟空间将展现越来越重要的作用，虚拟空间将拥有更强大的生产力，人们的日常工作将会越来越多的由我们在虚拟空间的代理来完成，每一个组织，包括最小单位的个人，到家庭，公司，政府单位等都可以在元宇宙空间中建立虚拟代理，这些代理还可以在元宇宙空间中互联，实现更大的社交元宇宙，就像我们的物理世界中组织模式一样。也有说元宇宙就是下一代互联网，不过其组成元素将大大扩展很多，将是一个和现实世界平行发展但也有耦合和交互的虚拟世界，理想状态甚至是和物理世界同步运行着的一个镜像世界，或者加入非物理世界的人为构造和想象的部分，以及可能的多个不同特色和任务的虚拟世界，相互耦合着相互影响着推动整体世界向前运行。
-
再说虚拟现实和AI技术
计算机图形学出现以后，虚拟现实作为一个应用发展方向得到了很好的发展，一些前言的数字化技术如智能眼镜，元宇宙等都用到了虚拟现实技术。如实时街景地图，云上citywalk，分子结构和运动，宇宙星体运行可视化，通过虚拟增强现实等实现更好的人机交互都是很好的应用场景。 虚拟和现实是我们的世界的两个相互耦合的时空，虚拟一般指在物理世界不存在的，比如头脑想象的场景，如做梦等现象。在文学中一般的情节也是虚拟和通过精心构造的，在现实世界不一定发生过，或是对现实世界发生事务的一种再演绎。而现实世界一般是指我们的物质世界。如实际发生的一系列事件，自然的山水田园等等。 在以往，虚拟和现实一般的边界是比较清晰的，我们很容易就能判别，但是由于人工智能技术的发展，虚拟和现实的边界就不再那么清晰。很多时候我们已经不能区分数字化的内容“真假”，举例就能很好的理解和说明。比如现在的生成式AI技术，图像，视频以及语音和知识问答，文档自动撰写等都可以通过AI技术进行生成，而生成的这些数字化的内容和通过现实世界进行采样数字化的内容已经不能判别出处。虚拟的生成和现实世界的数字化变得混淆不清，有利也有弊。有利的地方可以举例说明：1、通过虚拟生成可以构造近乎真实场景的数据来反哺其他AI应用场景，如智能驾驶；2、通过虚拟生成可以在生物制药和分子设计等方面有很多的应用，可以加快相关行业的科技发展速度；3、通过自动问答系统可以解决垂直行业的知识问答系统或一些较为程式化重复性的文案撰写等工作或一些知识型智力性的设计和实现工作，解放更多的人力去从事更有人类情怀和远大目标的事情。不利的地方也可以举例说明：1、生成的数字的音视频图像内容不少的人们不能辨别真假，如果被别有用心的人们加以利用，则会带来经济和社会的一定程度的紊乱，人们日常的行为和决策难度会变大；2、通过虚拟生成的文档或相关内容可能会使得人们对技术工具的依赖加深，有些人们可能会变得懒惰，不再进行合理的脑力劳作去收获成果，这些人群的整体发展可能会出现退化；3、通过AI生成的内容的正确性质量可能参差不齐，现在尚未实现自主AI，AI大脑的多样化没有人类大脑的多样化这样庞杂，同一个AI大脑生成的模型可能会存在同质性的问题，这些都可能会给数字空间带来一定的质量问题。 这些虚拟生成的利弊可能是AI伦理需要考虑的问题，虚拟和现实存在着相互的融合和改变，关于数字化产业方面的发展方向就是一个很重要的经济社会议题。与经济效益和社会治理都有关系，AI的发展的方向和重点应该是解决人类命运的重大问题，需要相关决策部门和技术管理部门认真考虑制订相关的政策以规范AI的发展和应用场景。