皮皮网

1.Linux内核源码解析---cgroup实现之整体架构与初始化
2.如何在Ubuntu上借助Docker管理Linux容器
3.运维常见的容容器工具推荐
4.PVE部署LXC运行docker
5.docker是什么
6.如何计算容器的CPU使用值

Linux内核源码解析---cgroup实现之整体架构与初始化

       cgroup在年由Google工程师开发，于年被融入Linux 2.6.内核。器源它旨在管理不同进程组，容容器监控一组进程的器源行为和资源分配，是容容器Docker和Kubernetes的基石，同时也被高版本内核中的器源源码大亨LXC技术所使用。本文基于最早融入内核中的容容器代码进行深入分析。

       理解cgroup的器源核心，首先需要掌握其内部的容容器常用术语，如子系统、器源层级、容容器cgroupfs_root、器源cgroup、容容器css_set、器源cgroup_subsys_state、容容器cg_cgroup_link等。子系统负责控制不同进程的行为，例如CPU子系统可以控制一组进程在CPU上执行的时间占比。层级在内核中表示为cgroupfs_root，一个层级控制一批进程，层级内部绑定一个或多个子系统，源码as每个进程只能在一个层级中存在，但一个进程可以被多个层级管理。cgroup以树形结构组织，每一棵树对应一个层级，层级内部可以关联一个或多个子系统。

       每个层级内部包含的节点代表一个cgroup，进程结构体内部包含一个css_set，用于找到控制该进程的所有cgroup，多个进程可以共用一个css_set。cgroup_subsys_state用于保存一系列子系统，数组中的每一个元素都是cgroup_subsys_state。cg_cgroup_link收集不同层级的cgroup和css_set，通过该结构可以找到与之关联的进程。

       了解了这些概念后，可以进一步探索cgroup内部用于结构转换的函数，如task_subsys_state、find_existing_css_set等，这些函数帮助理解cgroup的内部运作。此外，cgroup_init_early和cgroup_init函数是flashcache 源码初始化cgroup的关键步骤，它们负责初始化rootnode和子系统的数组，为cgroup的使用做准备。

       最后，需要明确Linux内一切皆文件，cgroup基于VFS实现。内核启动时进行初始化，以确保系统能够正确管理进程资源。cgroup的初始化过程分为早期初始化和常规初始化，其中早期初始化用于准备cpuset和CPU子系统，确保它们在系统运行时能够正常工作。通过这些步骤，我们可以深入理解cgroup如何在Linux内核中实现资源管理和进程控制。

如何在Ubuntu上借助Docker管理Linux容器

       è™½è¯´æ ‡å‡†çš„硬件虚拟化技术（比如KVM、Xen或Hyper-V）擅长于在一个物理主机上运行多个操作系统的完全隔离的实例，但这种虚拟化技术在性能、资源和资源配置时间等方面存在各种各样的开销。标准的机器虚拟化实际上可能没有必要，这取决于你的实际使用场合。

       å¦å¤–一种轻型虚拟化方法就是所谓的Linux容器（LXC），它提供了操作系统级别的虚拟化。由于不存在运行虚拟机带来的开销，LXC让用户可以在轻型容器沙盒里面运行标准Linux操作系统的多个实例。如果你搭建一个可复制的开发/测试环境，或者在安全沙盒里面部署应用程序，容器就派得上大用场。

       Docker就是为了便于部署Linux容器而开发的这样一款开源工具。Docker正迅速成为容器技术方面的一项事实上的标准，已经被诸如Ubuntu和红帽之类的各大Linux发行版所采用。

       æˆ‘在本教程中将演示如何在Ubuntu .上，借助Docker管理Linux容器。请注意：对Ubuntu的早期版本而言，操作步骤可能略有不同。

       çœ¼ä¸‹ï¼ŒUbuntu上可用的Docker程序包只支持位系统。想在位机器上运行它，你就要利用源代码构建位版本的Docker（详见这里）。

       å®‰è£…Docker

       å€ŸåŠ©apt-get命令，安装Docker是件轻而易举的事。

       $ sudo apt-get install docker.io

       ä¸ºäº†å…è®¸éžæ ¹ç”¨æˆ·ä¹Ÿå¯ä»¥è¿è¡ŒDocker，将你自己添加到docker群组。下面这个命令会允许当前用户运行Docker，无需根用户权限。

       $ sudo usermod -a -G docker $USER

       é€€å‡ºï¼Œç„¶åŽé‡æ–°ç™»å½•ï¼Œä»¥æ¿€æ´»ç¾¤ç»„成员的变化。

       ä¸‹ä¸€æ­¥ï¼Œç¼–辑Docker配置文件，以便更新Docker二进制代码的位置。

       $ sudo vi /etc/default/docker.io

       DOCKER="/usr/bin/docker.io"

       é‡å¯Docker服务。

       $ sudo service docker.io restart

       ç®¡ç†Docker容器

       å¦‚果你想启动Ubuntu操作系统的一个新的Docker容器，首先需要获取Ubuntu Docker映像文件。下面这个命令会通过网络下载Docker映像文件。

       $ docker pull ubuntu

       ä½ å¯ä»¥ä»¥ä¸€ç§äº¤äº’模式来开启Ubuntu Docker，如下所示。最后一个参数“/bin/bash”是一旦启动就将在容器里面执行的命令，这里是一个简单的bash外壳命令。

       $ docker run -i -t ubuntu /bin/bash

       ä¸Šè¿°å‘½ä»¤ä¼šç«‹å³å¯åŠ¨ä¸€ä¸ªUbuntu容器（这正是容器的魅力所在！），并为你提供容器里面的外壳提示符。这时候，你应该能够访问沙盒环境里面的标准的Ubuntu操作系统了。

       æƒ³é€€å‡ºDocker容器，在容器里面的提示符处键入“exit”。

       ä½ å¯ä»¥å¯åŠ¨ä¸åŒå½¢å¼çš„容器。比如，想启动Fedora容器，请执行下面这个命令：

       $ docker.io run -i -t fedora /bin/bash

       å¦‚果本地没有Fedora Docker映像文件，该命令就会首先自动下载映像文件，然后启动Docker。

       å¦‚果你想启动采用某个发行版版本的容器，也可以这么做。比如说，想启动Ubuntu . Docker，请执行下面这个命令：

       $ docker.io run -i -t ubuntu:. /bin/bash

       å®¹å™¨ç½‘络

       Docker使用Linux网桥将容器彼此互联起来，并将它们连接到外部网络。安装了Docker后，你应该会看到默认情况下自动组建的docker0 Linux网桥。你创建的每个容器都将连接到docker0网桥接口。

       è‡ªå®šä¹‰Linux网桥

       å¦‚果你想，也可以使用自定义Linux网桥将诸容器互联起来。为此，你可以建立一个自定义网桥，并对它进行配置，如下所示。你可以为该网桥分配一个单独的子网，并且从子网为Docker分配IP地址。我会使用.0.0.0/作为Docker子网。

       $ sudo apt-get install bridge-utils

       $ sudo brctl addbr br0

       $ sudo ifconfig br0 .0.0.1 netmask ...0

       æƒ³è®©Docker使用自定义网桥，将“-b=br0”添加到/etc/default/docker.io中的DOCKER_OPTS变量，然后重启Docker服务。

       $ sudo service docker.io restart

       è‡³æ­¤ï¼Œä»»ä½•æ–°çš„容器都会连接到br0，其IP地址会自动从.0.0.0/来分配。

       å…¶ä»–定制

       è¿˜æœ‰å¦å¤–几种方法可以定制Docker的默认网络设置，主要是通过改动/etc/default/docker.io中的DOCKER_OPTS变量来实现。

       â€œ-dns 8.8.8.8 -dns 8.8.4.4”：指定容器使用的DNS服务器。

       â€œ-icc=false”：让诸容器彼此隔离开来。

       æ•…障排查

       1. 运行docker.io命令时，你会遇到下面这个错误。

       dial unix /var/run/docker.sock: no such file or directory（没有此类文件或目录）

       å‡ºçŽ°è¿™ä¸ªé”™è¯¯ï¼Œå¯èƒ½æ˜¯ç”±äºŽDocker守护程序没在运行。检查Docker守护程序的状态，确保先启动它。

       $ sudo service docker.io status

       $ sudo service docker.io start

运维常见的工具推荐

       开源的工具在运维领域扮演着关键角色，它们能够有效地支持DevOps实践。以下是一些推荐的开源工具，涵盖了开发工具、自动化构建与测试、持续集成与交付、部署工具以及维护和监控等关键环节。

       一、wmv源码开发工具

       Git: 分布式版本控制系统，用于管理项目版本，易于学习与使用。

       GitLab: 基于Git的代码托管平台，提供Web界面访问，支持公开或私有项目。

       Gerrit: 免费、开放源代码的代码审查工具，支持Git作为底层版本控制系统。

       Mercurial: 轻量级分布式版本控制系统，适用于Python环境，易于学习与扩展。

       Subversion: 版本控制系统，用于替代RCS、CVS，提供分支管理功能。

       二、自动化构建与测试

       Apache Ant: 用于Java环境的自动化工具，支持软件编译、测试与部署。瓜田源码

       Maven: 提供高级项目管理功能，简化构建规则，易于使用。

       Selenium: Thoughtworks公司开发的集成测试工具。

       PyUnit: Python单元测试框架，与JUnit兼容。

       PHPUnit: PHP测试框架，基于xUnit设计。

       三、持续集成与交付

       Jenkins: 可扩展的持续集成引擎，支持自动化构建与测试。

       Capistrano: 并行执行命令的工具，适用于发布Rails应用。

       BuildBot: 自动化编译/测试周期工具，验证代码变更。

       Fabric: 提供UI和UX一致的中央管理平台，用于自动化操作、配置与监控。

       Go: Google开发的编译型编程语言，支持并发与垃圾回收。

       四、部署工具

       Docker: 开源应用容器引擎，支持应用与依赖打包移植。

       Rocket (rkt): CoreOS推出的容器引擎，与Docker类似，用于打包应用。

       Ubuntu (LXC): 基于LXC技术的容器平台，支持非特权与分布式。

       Chef: 系统集成框架，提供配置管理功能。

       Puppet: 集中管理系统配置的工具，支持多元素管理。

       CFengine: Unix管理工具，简化管理任务。

       Bash: Linux与MacOS的默认shell，广泛使用于自动化任务。

       RunDeck: Java/Grails编写的工具，简化数据中心与云环境自动化。

       Saltstack: 基于Python的配置管理工具，快速部署。

       Ansible: 配置管理器，支持多节点发布与远程任务执行。

       五、维护工具

       Logstash: 日志与事件传输、处理与管理平台。

       CollectD: 用于收集系统性能与存储数据的守护进程。

       StatsD: 简单的网络守护进程，用于收集统计信息。

       六、监控、警告与分析工具

       Nagios: 监视系统运行状态与网络信息的工具。

       Ganglia: 分布式监控系统，支持高性能计算环境。

       zabbix: 基于Web的分布式系统监控与网络监视工具。

       Kibana: Logstash与ElasticSearch的日志分析Web接口。

       本文推荐的这些开源工具涵盖了运维流程的各个方面，从开发、构建、部署到维护与监控，能够有效地支持DevOps实践，提升工作效率与系统的可靠性。

PVE部署LXC运行docker

       PVE环境中成功部署了Ubuntu . LXC容器，并配置了docker。首先，确保PVE启用LXC嵌套功能，否则docker运行会遇到问题。接下来，安装vim用于编辑配置文件，虽然它可能不是必需的，但作者个人偏好使用它。

       为了提升软件更新和系统下载速度，将默认软件源更改为清华大学的 mirrors.tuna.tsinghua.edu.cn。你可以找到详细的源码镜像配置在提供的链接中。

       安装SSH或启用LXC的SSH功能是必要的，以便能够远程连接。随后，按照官方文档安装docker，以确保正确性。为了加速镜像的下载，需要更改docker的镜像源。

       测试镜像下载、查看镜像信息、历史记录和搜索官方库是基本操作。在使用过程中，如果镜像被其他容器依赖，删除前需先停止相关容器。此外，可以临时运行docker实例，同时查看并管理所有容器，以及清理无用的镜像。

docker是什么

       Docker 是一种开源的应用容器引擎，它允许开发者将应用程序及其依赖关系打包进容器镜像中，这个镜像可以在任何支持 Docker 的操作系统上运行。这些容器镜像包括运行应用程序所需的所有组件，如库、系统工具、代码和运行时环境。

       作为软件平台，Docker 支持开发人员快速地构建、测试和部署容器化应用程序。其设计理念源自集装箱，即在大船上通过标准化的集装箱来整齐地装载各种货物，使得不同货物之间的相互影响得到隔离。

       Docker 采用客户端-服务器 (C/S) 架构模式，通过远程 API 来管理和创建 Docker 容器。在这种架构中，Docker 守护进程作为服务端，接收并处理客户端的请求，负责容器的创建、运行和管理。客户端和服务端可以运行在同一台机器上，也可以通过 socket 通信或 RESTful API 进行远程通信。

       Docker 的起源可以追溯到 PaaS 提供商 dotCloud 开源的一个基于 LXC 的容器引擎。这个项目源代码托管在 Github 上，并且是用 Go 语言编写的，遵循 Apache2.0 协议开源。

如何计算容器的CPU使用值

       å› ä¸ºç›‘控系统调整需要，需要从宿主机获取容器的 CPU 使用率。

        以前在给容器分配 CPU 资源的时候，是绑定指定 CPU 的方式，那宿主只要计算不同容器绑定的 CPU 使用率即可。但是最近对 CPU 资源的分配方式进行了调整，通过 CPU使用时间 的方式对 CPU 使用率进行限制。（通过 CPU使用时间 限制有不少优势，另外写文章介绍。）

        原来的方法不再适用。既然 Cgroup 可以通过 CPU 时间对 CPU 资源进行限制，那必然在某个地方会统计 CPU 的使用时间。于是我在网络上搜索了一番，大部分的结果都是告诉我可以通过以下命令获取容器的 CPU 使用率。

        显然，现在一旦说到容器，基本上都会认为说的是 docker，其实我用的是LXC。不过不管怎样，计算方法应该是一致的。

        摸索一番，发现在以下路径就能找到一个容器（这里是LXC）的 CPU 使用时间，时间单位是纳秒：

        利用这个时间，再计算实际经过的时间，就能得出在一段时间内，CPU的使用率。

        PS. 通过这个方法，不仅能计算整个 CPU 使用率，还可以计算出用户态和内核态分别使用的情况，在特定情况会更有助于了解应用程序的使用情况。（见 cpuacct.usage_sys 和 cpuacct.usage_user )

        CPU使用时间就是上一节文中提到的cgroup文件下的 cpuacct.usage 文件里的时间。

        当前时间，以纳秒计算，可以通过以下函数获取：

        只要两个时间点的当前时间相减，就可以得到总共经过的时间了。

        这个程序的源码也可以贴出来，有需要的朋友也可以去Github上可克隆：

       /aaron/lxc-cpu-usage