1.Kubernetes PV 官方文档翻译
2.简述Kubernetes PV和PVC?
3.k8s的源码pv/pvc
4.云原生DevOps落地方案
Kubernetes PV 官方文档翻译
本文精简了Kubernetes官方文档,聚焦于核心内容,源码不包含完整翻译。源码
在Kubernetes中,源码两个关键API资源是源码PVC(PersistentVolumeClaim)与PV(PersistentVolume)。PVC与PV之间形成动态绑定,源码源码翻转PV提供资源,源码而PVC请求具体资源量。源码
集群负责检查用户请求,源码找到对应volume,源码并将volume挂载至pod上。源码volume支持多种访问模式,源码这在pod请求中生成。源码
当PVC处于被访问或活跃状态时,源码删除PVC操作会受到保护,源码除非先删除对应的PV。PV删除后,标注为已释放,但数据不会被清理,需手动清理。
PV回收策略包括保留、删除和回收。保留策略下,删除PVC后,PV存在并标记为释放,但PV不可用。删除策略下,PV与PVC操作同步,远端数据不会被清理。回收策略下,清理PV内部数据。
在1.版本中,PVC无需删除重建即可重新绑定到pod,蚂蚁信息发布源码前提条件是storage class相同。
Kubernetes支持多种类型的持久卷,包括云存储、分布式存储及存储设备等,提供广泛的存储服务。
PV的容量需要通过Kubernetes资源模型查阅。挂载模式必须与PVC保持一致,支持文件系统和块设备驱动。访问模式决定于文件系统或块设备是否支持,大多数云存储提供RWO模式,文件系统如AzureFile、NFS、CephFS、GlusterFS支持所有模式。
PV拥有一个storageClassName,特定PV请求仅能绑定到特定类型的PVC上。没有storageClassName的PV,其PVC没有类型。节点亲和性只针对本地存储。
PV处于不同的阶段,支持PVC的Selector选择器,与PV保持一致。PVC作为挂载声明,原生块存储支持直接绑定块挂载。此外,Kubernetes还支持卷快照和克隆功能。
注意,阿里云等服务可能使用CRD(Custom Resource Definitions)定义特定云存储类型。
简述Kubernetes PV和PVC?
PV是对底层网络共享存储的抽象,将共享存储定义为一种“资源”。
PVC则是用户对存储资源的一个“申请”。
简述Kubernetes PV生命周期内的bbin分接源码阶段
某个PV在生命周期中可能处于以下4个阶段(Phaes)之一。
Available:可用状态,还未与某个PVC绑定。
Bound:已与某个PVC绑定。
Released:绑定的PVC已经删除,资源已释放,但没有被集群回收。
Failed:自动资源回收失败。
我推荐你去看看时速云,他们是一家全栈云原生技术服务提供商,提供云原生应用及数据平台产品,其中涵盖容器云PaaS、DevOps、微服务治理、服务网格、API网关等。大家可以去体验一下。 如果我的回答能够对您有帮助的话,求给大大的赞。
k8s的pv/pvc
Kubernetes中的PV和PVC是用于实现持久存储的重要组件。 解释: Persistent Volume PV是Kubernetes中用于表示存储资源的物理或逻辑卷。它是一个持久存储的抽象表示,与实际的后端存储系统紧密集成。PV可以是动态创建的,也可以是静态创建的。PV提供了持久化数据的能力,确保即使在Kubernetes集群的节点重启或升级后,数据仍然保持持久性。 PersistentVolume Claim PVC是Pod声明的存储需求。它是Pod的声明,告诉Kubernetes集群它需要某种类型的存储空间。PVC允许用户根据需求定义存储资源的规格和访问模式。当PVC被创建时,完达山奶粉奶源码它会在集群中寻找合适的PV进行绑定,以满足其存储需求。通过这种方式,PVC为运行在Kubernetes上的应用程序提供了持久存储的接口。 在Kubernetes架构中,PV和PVC共同协作,使得应用程序能够获得持久化的数据存储服务。管理员可以创建和管理PV,以满足集群的存储需求,而应用程序的开发者则可以通过定义PVC来声明其存储需求。这种分离的设计使得Kubernetes的存储管理更加灵活和可扩展。云原生DevOps落地方案
DevOps简述
顾名思义,DevOps是开发(Development)与运维(Operations)的融合,旨在打破开发与运维之间的隔阂,促进开发、运营和质量保障(QA)等部门之间的交流与协作。通过小规模、快速迭代的方式开发和部署产品,以便快速应对客户需求的变化。DevOps强调开发运维一体化,强化团队间的沟通与快速反馈,实现快速交付产品和提高交付质量。
DevOps并非新工具集,而是一种思想、一种文化,旨在改变传统开发运维模式,采用最佳实践。通常通过CI/CD(持续集成、持续部署)自动化工具和流程实现DevOps理念,以流水线形式改变开发人员和测试人员发布软件的方式。随着Docker和Kubernetes(以下简称k8s)等技术的普及,容器云平台基础设施不断完善,学习建站学习源码加速了开发和运维角色的融合,使云原生的DevOps实践成为未来趋势。以下将基于混合容器云平台详细讲解云原生DevOps的落地方案。
云原生DevOps特点
DevOps是PaaS平台中关键功能模块,包括以下重要能力:支持代码克隆、编译代码、运行脚本、构建发布镜像、部署yaml文件以及部署Helm应用等环节;支持丰富的流水线设置,如资源限额、流水线运行条数、推送代码以及推送镜像触发流水线运行等,提供端到端高效流水线能力;提供开箱即用的镜像仓库中心;提供流水线缓存功能,可自由配置整个流水线或每个步骤的运行缓存,在代码克隆、编译代码、构建镜像等步骤利用缓存缩短运行时间,提升执行效率。
云原生DevOps实现
简单来说,云原生DevOps内部功能设计主要通过k8s提供的自定义controller功能实现,基本逻辑是根据业务需求抽象出多个CRD(Custom Resource Definition,自定义资源对象),编写对应的controller实现业务逻辑。为了实现CI/CD功能,抽象出多个CRD对象,如下所示:
我们知道配置流水线通常需要对接代码仓库,包括仓库地址、仓库授权信息等,因此需要3个CRD对象来记录源代码仓库的相关信息。
设计好DevOps中与仓库相关的3个CRD对象后,需要再定义3个CRD对象来描述流水线相关的信息。
pipeline步骤功能有多种类型,包括运行脚本、构建发布镜像、发布应用模板、部署YAML、部署应用等。为了提供这些功能,采用Jenkins作为底层CI/CD工具,docker registry作为镜像仓库中心,minio作为日志存储中心等。这些服务运行在pipeline所在项目的命名空间下。综上,设计的CI/CD系统功能实现逻辑如下:
如上,第一次运行流水线时,系统会在数据面k8s中部署Jenkins、minio等基础工具的服务,同时在管理面启动一个goroutine,实时同步数据面中流水线的作业状态到管理面的CRD对象中。当触发pipeline执行逻辑时,会产生一个pipelineExecution CRD对象,记录本次运行pipeline的状态信息。当goroutine(syncState)发现有新的执行实例产生时,会通过Jenkins引擎接口启动Jenkins server端流水线作业的运行,Jenkins server端收到信息后会启动单独的一个Jenkins slave pod进行流水线作业的响应。同时,goroutine(syncState)会不断通过引擎接口轮询pipeline执行实例的运行情况,更新pipelineExecution CRD的状态(运行成功或失败等)。当pipeline执行实例发生状态变化时,会触发其对应的controller业务逻辑,通过Jenkins引擎接口与Jenkins server通信进行不同操作,如暂停流水线的运行、运行完毕清除不需要的资源等。当流水线作业发生状态变化时,又会通过goroutine(syncState)更改pipeline执行实例的状态,进而触发对应的controller业务代码进行不同业务逻辑处理,循环往复,直至流水线运行结束。这就是整个pipeline执行时的一个逻辑流程。
CRD定义
以下是详细的CRD结构体讲解,敏感信息使用了’*‘代替。
pipelineSetting:该结构体保存着整个项目下所有pipeline的运行环境信息,如CPU/内存资源限额、缓存路径以及流水线运行的最大并行个数等,不同功能的配置信息保存在不同的CRD下。
pipeline:该结构体记录着流水线的配置元信息,如该流水线对接哪个项目代码、与仓库通信的认证信息以及上次该流水线运行的结果等。如下图所示:
详细的结构字段讲解如下:
pipelineExecution:流水线执行实例,每当流水线运行一次,会产生一个该对象记录着流水线的执行结果等信息。如下图所示:
详细的结构字段讲解如下:
至此,我们完成了流水线功能的基础对象定义。
controller实现
除了抽象出对应的CRD外,还需要编写对应的controller代码实现对应的业务逻辑,如当pipeline运行时,需要产生pipeline执行实例,并实时同步其运行的状态信息等。
当触发流水线执行逻辑时,系统会根据pipeline CRD对象和该流水线对应的代码仓库中的配置文件(.cubepaas.devops.yml)产生一个pipelineExecution CRD对象,这时会触发pipelineExecution对应的controller运行业务逻辑。以下只摘取重要的代码逻辑,如下所示:
其中,deploy函数的逻辑是第一次运行时通过判断数据面中是否存在pipeline的命名空间,如果存在就代表基础资源已经配置完成,直接走reconcileRb函数,该函数的逻辑见下面;如果不存在,就会在数据面中初始化必要的基础资源,如pipeline命名空间、Jenkins、docker、minio服务、配置configMap、secret等。
reconcileRb函数的功能是遍历所有namespace,对其调谐rolebindings,目的是让pipeline serviceAccount(jenkins)对该project下的所有namespace具有所需的操作权限,这样Jenkins server才能够在数据面中正常提供CI/CD基础服务。
goroutine(syncState)的代码逻辑比较简单,当产生新的pipeline执行实例时就会启动Jenkins server端流水线作业的运行并实时同步其运行状态到pipeline执行实例中。代码逻辑如下:
缓存支持
云环境下的流水线是通过启动容器来运行具体的功能步骤,每次运行流水线可能会被调度到不同的计算节点上,这会导致一个问题:容器运行完不会保存数据,每当流水线重新运行时,又会重新拉取代码、编译代码、下载依赖包等,失去了本地宿主机编译代码、构建镜像时缓存的作用,大大延长了流水线运行时间,浪费了很多不必要的时间、网络和计算成本等。为了提高用户使用流水线的体验,加入支持缓存的功能。
为了让流水线具有缓存功能,需要在流水线运行时加入持久化数据的能力。首先想到的是k8s提供的本地持久化存储(即Local Persistent Volume,以下简称Local PV),或依赖远程存储服务器来提供持久化,远程存储效率依赖于网络,并且还需要保证远程存储高可用,这会带来很多复杂性,也一定程度上失去了缓存的作用。综合考虑,我们选择本地存储实现缓存,但是k8s提供的Local PV是需要和节点绑定在一起的,也就是说一旦流水线调度到某个节点上运行,那么下次运行还会绑定到该节点运行,虽然实现了缓存的作用,但是也造成了流水线每次只能在该节点上运行,如果有多条流水线同时跑,可能会导致该节点资源耗尽或者缓存冲突,失去了云平台本身根据资源使用情况平衡调度的特性。
因此,为了平衡缓存与调度间的关系,我们采用了挂载hostPath Volume方式,这样依托于k8s强大的容器调度能力,我们可以同时运行很多条流水线而不用担心资源耗尽或缓存冲突的问题,但是流水线每次运行时可能会被调度到不同的节点上,如果当前节点没有运行过流水线,则起不到缓存的作用。那么如何解决hostPath Volume缓存与调度间的尴尬关系呢?我们巧妙地利用了k8s提供的亲和性调度特性,当流水线运行时我们会记录当前运行节点,下次运行时通过设置Pod的亲和性优先调度到该节点上,随着流水线运行次数越来越多,我们会得到一个运行节点列表。如下所示:
执行实例调度信息会保存到pipeline CRD对象中,每次运行流水线时,系统会根据节点列表设置Pod的亲和性,默认我们会取最近运行流水线的个节点,原则是最近运行流水线的节点优先级越高。代码如下:
创新性的“Hostpath Volume + 亲和性调度”缓存设计方案,不仅实现了流水线的并发性缓存功能,而且实现复杂度低,可自由配置任一阶段、步骤的缓存开关以及缓存路径。无缓存与有缓存运行的对比如下图所示,可见通过缓存加速大大提高了流水线的运行效率。
HCaaS DevOps使用
以上设计在HCaaS平台上得到实现()。在HCaaS控制台上点击DevOps标签,通过代码授权后,即可通过UI界面轻松地编辑流水线,也可通过编辑yaml文件配置具体的功能步骤,如图所示:
通过点击查看日志,你可以看到pipeline各个阶段运行的详细日志信息,如下图所示:
注意首次运行pipeline时系统会从网络下载Jenkins、docker、minio以及其他pipeline-tools镜像,请稍作等待。如果长时间未运行,请查看网络是否有问题。