Shun 发表于 2022-9-15 17:57:26

只需 6 步,你就可以搭建一个云原生操作系统原型

编者按:过去的三年对基础软件领域来说是不平凡的三年,是波涛汹涌的三年。随着国际形势和行业格局的变化,大家一定充分感受到了云原生和操作系统这两个话题的热度。那么当云原生和操作系统这两个热点话题相遇的时候,会发生什么故事?本文整理自 2022 年阿里巴巴开源开放周技术演讲,让作者带我们走进这场技术盛宴。

本次的分享主题围绕三个方面展开:
首先简要介绍一下龙蜥云原生 SIG(Special Interest Group) 的前世今生。我们为什么要成立云原生 SIG?想解决什么样的问题?它如何解决这些问题?接下来进一步分享如何基于开源社区和组织,从头开始一步一步构建一个云原生操作系统的原型。最后介绍云原生 SIG 的运作机制,并诚挚地邀请大家一起来参与龙蜥云原生 SIG 的建设。
一、龙蜥社区云原生 SIG
回头看我在操作系统和云原生两个领域的一些经历是非常有意义的,因为它可以让我从不同的视角来看这两个领域的发展。基于我在操作系统和云原生领域的职业经历,最近我开始思考云原生和操作系统是什么关系?应该如何推动这两个领域的共同发展?所以我协同行业的合作伙伴一起推动成立了龙蜥云原生 SIG,为研发一套龙蜥云原生操作系统做准备。上面提到了龙蜥云原生操作系统,那么大家可能会好奇,什么是云原生?云原生和操作系统有什么关系?我们如何才能构建一个云原生操作系统?
云原生就是充分利用云基础设施来开发软件应用的一种模式,也就是站在巨人的肩膀上,充分利用成熟稳定的云基础设施来开发、发布、运行和维护一个应用,以保障我们应用的弹性、性能、容器、成本等诸多方面的诉求。

(图/龙蜥云原生系统架构)
如上图所示,是一个典型的云原生系统的架构,其包含四个部分:
第一个最底下的是云原生的基础设施。它提供诸如虚拟机、服务器等诸多的物理资源,以及告警、日志等诸多的服务。
第二在这之上龙蜥会构建一套云原生管控。云原生管控者主要提供定义云原生应用的机制,以及为云原生应用服务的一些通用框架,比如说 service mesh 等类似的服务框架。当然,云原生管控系统里面最核心的则是云原生编排系统,它负责感知底层的资源,调度底层的资源来服务于云原生应用,最后它会把云原生应用调度到一个具体的云原生节点上来执行。
第三个系统则是云原生节点系统。它功能看起来很简单,只需要负责高效地执行被调度到本节点的云原生应用,但其实这个任务并不简单。
第四个最上层则是云原生应用。这层负责实现用户的业务逻辑和交付商业服务。
上面提到:简单的节点系统其实并不简单,它也面临诸多的挑战。为什么?因为从最开始的无状态应用到现在的大数据、AI、数据库等各种严肃应用的云原生化,业务对云原生节点系统提出了严苛的诉求。比如如何保证我们节点的资源利用率?如何保证云原生应用的 QoS?如何隔离多个应用之间的故障?以及保障各个应用的数据安全?
这些挑战都是云原生节点系统需要去面对和解决的问题。
上面提到云原生节点系统面临诸多的技术挑战,可能大家也意识到了这些挑战恰恰是操作系统所擅长的领域,因此我们自然而然地就诞生了一个这样的想法,那就是需要为云原生节点系统打造一套方便、易用、完善的云原生操作系统。那么如何来打造这个系统?
基于以上思考,我们成立了龙蜥云原生 SIG。龙蜥云原生 SIG 有三个核心的定位,就是桥梁、组件以及系统。

首先,龙蜥云原生 SIG 是一个桥梁,或者说是大家坐在一起聊天的地方,让我们一起来交流用户的需求、业务所面临的挑战,以及我们会邀请上游技术社区的核心开发人员来参与这个过程,看看上游社区能为我们的应用、业务提供什么样的帮助,提供什么样的解决方案。
另外一个方面,云原生 SIG 也会负责拉通龙蜥社区内部的其他相关的技术 SIG。比如会协同机密容器 SIG、高性能存储 SIG、容器网络 SIG 以及容器 OS SIG,大家共同来打造一套易用的云原生操作系统。
当然,云原生 SIG 的具体交付件则是稳定好用的云原生组件和系统。
二、从零开始构建云原生 OS
接下来我会和大家一起基于开源社区和开源组件,从头开始构建一个云原生操作系统的原型。

第一步,我们需要量体裁衣,为云原生应用构建一个容器优化的 OS。当然,为了方便大家,也可以利用现有的操作系统来支持云原生的应用,但是我们会面临诸如操作系统体积特别庞大,安装运维特别耗时等问题。随着这个系统的运行越来越长,整个系统当中的操作系统的版本越来越零散,版本越来越多,我们还会面临系统维护困难的问题。更重要的是,由于传统的操作系统里面内置的软件比较多,从而也导致了比较大的安全风险敞口。随着云原生应用的普及以及应用占比的日益提升,我们值得为云原生应用打造一套专用的操作系统。
基于这样的考量,云原生 SIG 利用安全的 rust 语言从头开发了一套全新的为容器优化的操作系统,我们称之为 Lifsea OS。Lifsea OS 会内置很多云原生所需要的组件,从而免去用户自己选择安装、配置各个云原生组件的烦恼。同时这些组件都会以只读的方式安装使用,从而避免了在运行过程当中被恶意软件篡改的风险。
另外为了简化大家运维大规模集群的烦恼,Lifsea OS 提供了基于 API 的运维管控的接口,也就是说也可以以编程的方式来运维整个系统中的节点。当然,这样一个系统看起来是深度定制化的,但是龙蜥也提供了非常强大的定制化能力。比如说用户可以根据自己的业务需求往 Lifsea OS 系统当中添加必要的组件,修改相应的配置,从而让我们这个操作系统能够真正的适应各个用户场景的需求。
第二步在操作系统之上,我们需要一个能够运行容器的运行时。传统上,云原生和容器有非常强的关系,也就是说云原生是通过容器催生出来的。Linux 操作系统通过提供 cgroup 、namespace 等机制,支持了原生的 RunC 容器。这样的容器运行时拥有资源利用效率高、使用方便、弹性能力强等诸多优势。

随着大数据、AI、数据库等重 IO 应用的云原生化,传统 Linux 云原生容器的不足便逐步暴露出来。比如安全隔离能力不够、应用之间相互产生性能干扰。基于这样的考虑,我们研发了基于硬件虚拟化的安全容器,安全容器最核心的能力是提供单向的保护能力,它能保护基础设施不受云原生应用的干扰,同时提供安全故障配置和性能方面的隔离能力。
在安全容器之上,我们进一步研发了机密容器。机密容器相对于安全容器有一个巨大的进步,也就是它把单向保护演进成了双向保护,不但保护基础设施不受应用容器的干扰,同时也保护应用不受基础设施的干扰。因为我们知道数据是用户最核心的资产,用户把数据搬上云以后,如何能保护我们的核心资产?机密容器为我们提供了非常好的解决方案。基于硬件的数据保护机制,我们可以保证,用户的数据对于基础设施来说是透明的,基础设施是没法看见用户的数据的,从而保障用户数据的安全性和隐私性。
可能当大家看见这三种云原生运行的时候,一定会担心,我的这个系统怎么集成了这么多运行时,使用起来得多麻烦呀?这里有个好消息分享给大家,你完全不用担心多个容器运行时的使用和运维问题。因为我们基于 containerd 打造了一套统一的管控运维接口,让大家可以根据业务需求任意的选择需要的容器运行时,比如我需要资源高效利用,那我就选择原生的容器;我希望实现多种保护,那可以选择安全容器;我需要保护我的金融数据,那我可以选择机密容器。这些都只需要通过一个简单的修改容器配置就可以实现。
当我们拥有了一个操作系统和云原生运行时之后,我们是不是就可以很平滑的把应用云原生化了,答案:还不是。第三步就是丰富多姿的云原生存储技术方案。

当我们真正的把一些应用迁移到云原生之上,特别是迁移到安全容器和机密容器之后,会发现存储的性能成为一个非常巨大的挑战。我们如何解决这些挑战?继续为大家带来一个好消息,云原生为我们提供了对数据分类的机制。因为云原生显示的把用户的数据分成了只读数据、临时数据以及是我的用户业务需要持久化的数据。根据用户访问数据的不同模式,我们可以提供不同的技术解决方案。比如针对只读数据,龙蜥云原生 SIG 提供了一套非常完善的方案。从我们基于virtiofs 、Nydus 和 EROFS 内核文件系统,打造了一套能同时支持云原生容器、安全容器和机密容器的存储方案,从而实现高效的存储性能。
但是对于用户的业务数据,我们如何提升性能?龙蜥云原生 SIG 也为大家提供了一个叫做 Fluid 的数据编排组件,它可以根据用户使用数据的方式显示的定义数据集,再使用不同技术方案来优化不同的数据集。比如说对于只读的用户数据,我们可以用刚才提到的 Nydus 、EROFS 或者 Fluid 类似的技术方案来提升性能。
对于可写的用户数据,可以利用阿里的 JindoFS、英特尔的 SPDK 等技术来提升可写数据的性能。
当我们拥有了运行时和存储解决范畴,下一步我们则需要面对最复杂的容器网络互联互通的问题。这儿还在继续探索中,因为这个领域是相对复杂度非常高。
大家知道在混合云这样的条件下面,我们会面临千变万化的网络环境。如何为这些网络环境提供一套云延伸网络方案?如何实现 IaaS 和 PaaS 的网络互通?如何让我们的底层网络基础设施能满足高速创建、销毁云原生应用的诉求?这些都是我们目前面临的挑战。我们还在和社区伙伴们一起来定义这些问题,并寻求相应的技术解决方案。

非常欢迎大家一起来参与龙蜥云原生 SIG 网络相关的技术的研讨以及建设。
我们现在拥有了一个完善的计算存储网络的云原生系统,如何才能利用起来?下一步我们需要一个 ACNS(Anolis Cloud-Native Suite),龙蜥云原生套件。

龙蜥云原生 SIG 基于阿里的 ACK 系统,开源了一套叫做 ACK Distro 的 ACNS(Anolis Cloud-Native Suite),龙蜥云原生套件。基于这样的龙蜥云原生套件,可以很方便的把你的应用搬迁上来,因为这个版本是经过阿里云的生产验证的,而且我们会在生产版本和开源版本之间保持足够的同步,让大家能尽早的使用到最新的 k8s 技术,所以有了龙蜥云原生套件之后,大家就可以很方便的利用云原生技术来实施部署自己的云原生应用。
但是下一步我们会发现,即使我们把我们的应用云原生化了,我们的节点的资源利用率还是不够高,那怎么办?
不同的应用对资源的诉求不一样。有的需要很多的 CPU 计算能力,有的需要很大的 IO 带宽、有的需要及时响应。我们可以把这些应用通过技术手段混合部署到一个节点上,从而充分利用这个节点上的各种资源,这就是我们所谓的混部系统。
在 2022 年年初,阿里云开源了 Koordinator 的业务混部编排系统,它核心是增强 k8s 的调度系统来支持业务的分布。这也是我们基于阿里系统多年的生产经验所研发出来的一套系统,现在分享给大家。再进一步,当我们能从软件层面来进行业务分布以后,我们会发现再从硬件层面来看,使用资源还是不够高。这里英特尔提供的基于硬件层面的优化调度组件,叫做 CRI Resource Manager,也就是说,可以根据业务的特征和硬件的配置情况来深度优化业务调度能力。
最后一步,当我们拥有了这样的一套系统,我们如何才能把它安装部署起来?

设想一下,当我们面临一千台虚拟机的集群需要部署一个云原生系统的时候,我们该怎么做?难道我们需要一台一台地安装各种软件吗?不,你不需要那样做。龙蜥社区为你提供了sealer 一键式集群打包分发系统。也就是说你可以为整个集群制作一个镜像,再把这一个集群镜像分发到一千台机器上。下一步,当我需要分发的节点,很多软件包的分发可能就成为我一个非常大的挑战。我们也提供了 Dragonfly P2P 的文件分发系统。这样一个P2P 分发系统,它可以用于分发软件包、软件库、容器镜像操作系统、AI模型数据等。从我们实际生产经验来看,P2P 能大幅提升云原生系统的数据分发能力。
以上介绍了龙蜥操作系统对云原生应用的支持。那么云原生技术对操作系统有什么影响吗?答案肯定是的。
因为操作系统本身也是一种软件,我们用分发云延伸软件的方式来分发操作系统,这种方式也给我们带来了非常大的想象力。比如我们可以用内核 EROFS 文件系统和 FsCache 系统来实现操作系统数据的按需加载,或者我们可以基于 Nydus 来定义新型的软件包格式。我们也可以利用管理容器镜像的技术来管理操作系统镜像,从而提升易用性和安全性。
总之,云原生的技术从另外一个方面也可以反向推动操作系统自身的演进。从而实现云原生和操作系统的协同发展、共同进步、共同演进。
三、龙蜥云原生 SIG 的运作机制
最后我们来一起聊聊龙蜥云原生 SIG 的运作机制。

经过以上介绍的 6 大步,和大家一起从头开始搭建了一个云原生操作系统的原型。当然大家也知道这个原型还是很粗糙的,还有很多等待大家一起来建设。如果我对云原生 SIG 很感兴趣,我如何才能参与进来?很简单,龙蜥云原生 SIG 的核心运作机制是圆桌会议机制。也就是说只要你对社区感兴趣,对任何一个话题、任何一个技术或者任何一个使用场景感兴趣,你就可以参与到 SIG,大家一起来交流探讨我们所面临的问题、我们可能的技术解决方案以及我们的研发进展,同时龙蜥云原生 SIG 也会秉承坚持桥梁的定位。因为龙蜥云原生 SIG 拥有很多上游社区的核心开发者,只要大家参与到这个社区来,我们一定能在上游和用户之间搭建一条非常通畅的桥梁,让大家一起来推动云原生底层系统的发展。最后再次诚挚邀请大家来参与龙蜥云原生 SIG 的建设工作。
相关链接可移步龙蜥公众号(OpenAnolis龙蜥)2022年9月14日相同推送查看。
—— 完 ——




http://blog.itpub.net/70004278/viewspace-2914856/
页: [1]
查看完整版本: 只需 6 步,你就可以搭建一个云原生操作系统原型