Category: Cloud Computing/Big Data/Blockchain

上一篇文章中介绍过openstack中虚拟机镜像服务模块glance，就说到虚拟机镜像和docker镜像，当时没有具体展开，这篇文章将较为详细介绍虚拟机技术和docker容器相关技术之间的比较。不正确的地方欢迎批评指正。 首先虚拟机的概念是相对于物理机器而言的，虚拟机是依赖于物理计算机而设计实现的逻辑计算机，根据物理计算机的特性，有基于单机的虚拟机，如基于wmware虚拟机管理软件，在单台计算机上构建多个虚拟机器，从而可以方便模拟不同计算节点，如搭建大数据的模拟环境。也有基于多个甚至很多个物理机器之上构建的虚拟机管理系统，这类的虚拟机管理软件有openstack和VMware vSphere等，甚至一些大的公司会构建自己的虚拟机软件系统管理平台（可以参考引文中的介绍），一般这样基于分布式环境的虚拟机调度和管理系统成为云计算平台。 docker容器技术，容器是利用namespace将文件系统、进程、网络、设备等资源进行隔离，利用cgroup对权限、cpu资源进行限制，最终让容器之间互不影响，容器无法影响宿主机。docker容器之间属于进程之间隔离，而虚拟机之间属于系统之间的隔离。 虚拟机的镜像文件实实在在就是操作系统环境的persistent storage，docker镜像是一个“应用程序和它运行依赖环境”的封装。当镜像运行起来后即是docker容器。运行时的容器本质是操作系统下的一个进程，这些进程共享同一个宿主机OS的内核。与传统VM相比，docker是一种操作系统虚拟化技术，并不需要在镜像内安装GuestOS。docker在共享宿主机内核的基础上包装内核提供的一系列API，这些API中最重要的就是namespace和cgroup。通过namespace实现隔离，通过cgroup实现资源限制。一般管理docker镜像的服务称为docker hub，现有的也有多个开放的docker镜像源。 一般虚拟机是云计算系统中IAAS平台的关键技术，是建立在cpu硬件虚拟化和操作系统级的软件虚拟化（如KVM等）的基础之上的。而docker容器可以理解为在host操作系统之上运行的一个特殊的进程。而docker容器以及基于此之上的编排技术k8s等则是相关的PAAS平台的所依赖的技术，大数据平台如hadoop可以基于虚拟机之上直接部署，也可以基于容器环境部署。具体可以参考后两个引文链接。docker容器技术的出现，大大方便了开发部署的效率，开发环境和部署环境可以快速复制分发，不需要每个开发人员为了开发库和开发机器环境的兼容问题去浪费时间和精力，有种一劳永逸的感觉。关于docker容器相关的技术细节，如dockerfile的编写，一些CLI命令的使用如docker容器的启动等等，会在后续的相关课程中进行介绍。 References

这次的实践内容是通过网络会议进行的，昨天的实践今天补充记录一下，以备后续查阅。现在流媒体通信技术比较成熟，网络视频会议等工具使得很多物理上远距离的沟通变得方便很多，在云计算专业实践中，除了物理服务器的布置，网络拓扑结构的组织和安排以及布线等需要在现场进行实践锻炼外，其他如技能知识点的学习，相关软件系统的安装部署和维护都可以远程进行，工作不再太多的受物理距离的限制，可以节省出出行的时间来，有利于一天的生活工作安排。 言归正传，openstack是一个虚拟机平台系统，是IAAS系统中处于服务器硬件节点集合和原生操作系统之上运行的一个分布式系统，其功能用简介的一句话概括可以理解为虚机调度分配和管理系统。其中openstack系统上层实现主要是python语言，底层的开发有基于更高性能的c++语言。下面首先介绍一下openstack的几大模块。后续根据进一步的熟悉和理解再去补充或新增专门描述细节的文章，不正确的地方欢迎批评指正。 1、horizon-dashboard模块，GUI模块，理解为管理员和openstack系统进行交互的用户界面，是管理整个运行在底层（水平线下）openstack系统的维护通道，通过界面可以了解系统的运行状态等信息； 2、nova-compute模块，计算模块，也是openstack最核心和主要的模块，提供了nova-api，会涉及调用其他的模块如虚拟机镜像服务模块，存储模块，网络模块，用户认证模块等，是虚拟机调度、分配和运行管理的核心组件，也用到了cpu硬件虚拟化和linux内核中hypervisor虚拟化组件的功能，实际云计算平台运维的工作中有50%以上的问题会集中在此模块； 3、cinder-volume模块，存储模块，支持swift（openstack自带存储模块）和ceph分布式存储模块。提供cinder-api供horizon-dashboard层调用； 4、neturon-network模块，提供vpc（virtual private cloud）功能，可以通过逻辑封装实现虚拟网络的功能，vpc可以实现虚拟交换机，vxlan也是虚拟实现的局域网，可以方便不同租户和项目之间的隔离；网络模块也是很重要的模块，这部分逻辑虚拟实现的功能比较多，相关技术和概念相对也较复杂，后续会有机会再专门去记录和介绍； 5、glance-image service模块，是虚拟机镜像模块，负责存储和管理虚机镜像，通过管理多种虚机镜像，支持用户选择合适的镜像进行服务部署；在这里镜像是虚机操作系统镜像，如ubuntu系统还是windows系统的镜像文件，而容器镜像是docker服务中的运行在docker虚拟化技术上的系统环境镜像，是容器启动的系统文件。是不同的镜像概念； 6、keystore-identity service模块，为用户认证模块，提供了用户的信息，如用户设置的安全组策略，用户的身份信息等，主要用作权限认证，在其他模块中可能会调用该模块去验证权限等操作。 以上为openstack的主要的模块组件，实际的云计算环境部署的时候，一般的部署的步骤是：1、搭建云计算的物理服务器和硬件网络拓扑，如机架式服务器，三层交换机和网络布线等硬件物理结构的设计和实施；2、原生操作系统的安装，以及相关的环境设置，如hostname，ssh免密登录等；3、openstack云平台环境的安装，有基于kolla方式的较为便捷的部署方式，通过openstack kolla ansible（编排工具，偏向于支持运维服务）进行较为方便的安装部署，其中有几个种地按的配置文件需要了解，如globals.yaml,multinode.yaml等配置文件，需要对里边的配置项有比较深入的理解。 Reference

今天参加云计算第二次企业实践，阳光明媚，春天来了。午餐后和一起过来的老同事在附近的公园散了会步，感受到了久违的温暖阳光，公园的树木一动不动，水平如镜，温暖而安静。 今天学习的技术主要是ceph存储，ceph存储是云计算中比较流行的存储技术，实现了分布式的大容量高可靠性和伸缩性存储功能。可以支持上千个存储节点，容量达到TB到PB级别。下面简要说说ceph的技术概要，欢迎补充和批评指正。 ceph的技术架构大体是这样的：（1）、底层是RADOS分布式存储系统，RADOS即为Reliable Autonomic Distributed Object Store，也就是可信赖的自动分布式对象存储，RADOS中的pool，PG（placement group）和OSD(object storage device）以及hash，crush等算法实现了具有数据冗余副本的分布式存储系统，如果有数据盘损坏，该系统设计的crush算法能够比较方便实现自愈。（2）librados库，支持访问底层的rados对象库，支持多种高级语言，是中间层的一个开发库，向上层提供服务。（3）最上层的开发库有radosgw，类比于公有云里边的对象存储，块存储rbd（虚拟机中申请的磁盘）和cephfs（类比于共享文件）等机制。 上层应用接口：Ceph上层应用接口包括对象存储RADOSGW、块存储RBD和文件系统存储CephFS。RADOSGW提供与Amazon S3和Swift兼容的RESTful API网关，供相应的对象存储应用开发使用；RBD提供标准的块设备接口，常用于虚拟化场景下为虚拟机创建volume。 其中虽然对上层提供了不同的存储服务，如块存储，在申请虚机时可以作为虚拟机的块磁盘使用，还有rados gateway提供了类似于基于bucket和file的两层结构的对象存储，和cephfs文件存储系统（类似于nfs和windows共享文件），但是这些不同的存储方式的底层都是基于rados的高效分布式存储的，由于在ceph中一般都是采用object这个单位进行的分片存储，分布式存储的文件读写就可能采用并行的机制，实现高吞吐量的IO读写。 细节还有很多，如要理解crush算法，理解不同的管理工具和配置文件的使用等等，还有和openstack云计算平台的集成等等，具体到后面的实践环节再补充更新。 References

云计算是数字化产业的硬软件基础设施，涵盖技术的方方面面，这篇文章主要从一些底层的硬件方面的技术来简要介绍一下，这些技术底层的原理可能比较复杂，我们主要了解其作用和用法，介绍也主要从我们的需求出发。 CPU虚拟化技术，CPU的虚拟化技术可以单CPU模拟多CPU 并行，允许一个平台同时运行多个操作系统，并且应用程序都可以在相互独立的空间内运行而互不影响，从而显著提高计算机的工作效率。CPU的虚拟化技术是一种硬件方案，支持虚拟技术的CPU带有特别优化过的指令。纯软件虚拟化解决方案存在很多限制。Intel自2005年末开始便在其处理器产品线中推广应用Intel Virtualization Technology(Intel VT)虚拟化技术。AMD方面也已经发布了支持AMD Virtualization Technology(AMD VT)虚拟化技术的一系列处理器产品。启用虚拟化只需要在物理cpu的bios中开启虚拟化，然后在vmware等系统中才可以使用虚拟化特性。 UMA(Uniform Memory Access)，直译为“统一内存访问”，这样的架构对软件层面来说非常容易，总线模型保证所有的内存访问是一致的，即每个处理器核心共享相同的内存地址空间。但随着CPU核心数的增加，这样的架构难免遇到问题，比如对总线的带宽带来挑战、访问同一块内存的冲突问题。为了解决这些问题，有人搞出了NUMA。NUMA 全称 Non-Uniform Memory Access，译为“非一致性内存访问”。这种构架下，不同的内存器件和CPU核心从属不同的 Node，每个 Node 都有自己的集成内存控制器（IMC，Integrated Memory Controller）。在 Node 内部，架构类似SMP，使用 IMC Bus 进行不同核心间的通信；不同的 Node 间通过QPI（Quick Path Interconnect）进行通信。Openstack 在 Juno 版本中新增 NUMA 特性，用户可以通过将 Guest 的 vCPU/Memory 绑定到 Host NUMA Node上，以此来提升 Guest 的性能。 hypervisor: 一种运行在物理服务器和操作系统之间的中间层软件，可以允许多个操作系统和应用共享一套基础物理硬件。可以将hypervisor看做是虚拟环境中的“元”操作系统，可以协调访问服务器上的所有物理设备和虚拟机，所以又称为虚拟机监视器（virtual machine monitor）。hypervisor是所有虚拟化技术的核心，非中断的支持多工作负载迁移是hypervisor的基本功能。当服务器启动并执行hypervisor时，会给每一台虚拟机分配适量的内存，cpu，网络和磁盘资源，并且加载所有虚拟机的客户操作系统。 KVM是首个被集成到 Linux 内核的 hypervisor 解决方案，并且实现了完整的虚拟化。qemu-kvm也是常用到的具体实现技术。 References

今天上午去浦东参加了合作企业的实践活动，合作企业位于浦东软件园，今天去的是他们的一个楼层，一层楼敞开的大空间里坐了好几百办公人员，沟通起来倒也方便，将这么多人组织起来去行动劳动创造数字化产业的市场价值，企业的组织者们也应该也是挺有成就感的吧。 今天是第一次参加企业实践活动，一起讨论了近一个半小时，初步定下来后续一周要去一两天去进行工程实践，给定一个云计算平台搭建的完整任务，可以从服务器的布置和组网，交换机之间的网络连接，原生操作系统的安装，到openstack的安装和部署，云存储模块的搭建（对象存储，块存储等），到上层的容器，k8s的搭建部署，以及云平台的监控等。这些技术内容涵盖云计算技术的方方面面，对于云计算专业的实践老师来说，这些技术的实践技能基本都是需要掌握的。 简单梳理一下相关技术概念，还不是特别的详细，期待后续有更多的实践经验记录。 1、云存储，ceph云存储技术，可以实现块存储（虚拟机里边的硬盘块这种容量比较大的存储），对象存储（通过URL实现访问）和文件存储，不同种存储方式存储协议不同，对象存储一般为bucket和object两级结构，文件存储一般为类似于nfs（network file system）和windows里边的共享文件的形式。存储模块中也要对存储机制的背后原理要有所了解，如crush算法等。 2、openstack云计算平台，openstack由很多个组件组成，对每个组件要有比较详细的了解，有些模块如管理界面等都可以进行二次开发来丰富其功能。如用户（租户）管理组，怎么管理局域网和公网等，openstack的源码中外围的管理界面等模块由python实现，其他的核心模块由c/c++实现。 3、云平台的物理服务器的功能分配，有计算存储融合在一起的搭建方式，也可以有专门的计算节点和存储节点，具体的组件方式到时候要看实践经验去总结，哪种性能更好更稳定。以及考虑云平台的备份功能，集群节点数的设计也要需要考虑。 4、容器，k8s等相关PAAS平台工具和框架，以及devops，cicd等研发和运维持续集成和部署等上层的工具和应用也是后续需要进一步熟悉的内容。以及算力平台的需求，GPU异构芯片的加入，使得网络配置（如InfiniBand 网络）和调度方法都会有不同。 云计算平台的优势是资源利用率高，管理方便等。和企业的相关合作，通过项目制的方式来熟悉掌握相关技术，是数字化时代对技术教育和学习的一个很好的方法和途径，感谢企业的支持，期待后续的合作中能够有对云计算平台技术栈有更深入的认识，更多的收获，也会及时将感受感想和学习到的经验分享给大家。 References