容器资源动态管理

普通容器无法支持对容器内的资源进行管理，例如添加一个块设备到容器、插入一块物理/虚拟网卡到容器。系统容器场景下，通过syscontainer-tools工具可以实现动态为容器挂载/卸载块设备，网络设备，路由和卷等资源。

要使用此功能，需要安装syscontainer-tools工具：

  1. [root@localhost ~]# yum install syscontainer-tools

设备管理

功能描述

syscontainer-tools支持将宿主机上的块设备（比如磁盘、LVM）或字符设备（比如GPU、binner、fuse）添加到容器中。在容器中使用该设备，例如可以对磁盘进行fdisk格式化，写入fs等操作。在容器不需要设备时，syscontainer-tools可以将设备从容器中删除，归还宿主机。

命令格式

  1. syscontainer-tools [COMMADN][OPTIONS] <container_id> [ARG...]

其中：

COMMAND：设备管理相关的命令。

OPTIONS：设备管理命令支持的选项。

container_id：容器id。

ARG：命令对应的参数。

参数说明

命令

功能说明

选项说明

参数说明

add-device

将宿主机块设备/字符设备添加到容器中。

支持的选项如下：

  • —blkio-weight-device：设置块设备IO权重（相对权重，10-100之间）。
  • —device-read-bps：设置块设备读取速率限制（byte/秒）。
  • —device-read-iops：设置块设备读取速率限制（IO/秒）。
  • —device-write-bps：设置块设备写入速率限制（byte/秒）。
  • —device-write-iops：设置块设备写入速率限制（IO/秒）。
  • —follow-partition：如果块设备是基础块设备（主SCSI块磁盘），加入此参数可以添加主磁盘下的所有分区。
  • —force：如果容器中已有块设备/字符设备，使用此参数覆盖旧的块设备/字符设备文件。
  • —update-config-only：只更新配置文件不实际做添加磁盘动作。

参数格式为：hostdevice[:containerdevice][:permission] [hostdevice[:containerdevice][:permission] …]

其中：

hostdevice：设备在主机上的路径。

containerdevice：设备在容器中的路径。

permission：容器内对设备的操作权限。

remove-device

将块设备/字符设备从容器中删除，还原至宿主机。

支持的选项如下：

—follow-partition：如果块设备是基础块设备（主SCSI块磁盘），加入此参数可以删除容器中主磁盘下的所有分区，还原至宿主机。

参数格式为：hostdevice[:containerdevice] [hostdevice[:containerdevice] …]

其中：

hostdevice：设备在主机上的路径。

containerdevice：设备在容器中的路径。

list-device

列出容器中所有的块设备/字符设备。

支持的选项如下：

  • —pretty：按照json格式输出。
  • —sub-partition：如果某磁盘为主磁盘，加入此flag，在显示主磁盘的同时，也显示主磁盘的子分区。

无

update-device

更新磁盘Qos。

支持的选项如下：

  • —device-read-bps：设置块设备读取速率限制（byte/秒），建议设置值大于等于1024。
  • —device-read-iops：设置块设备读取速率限制（IO/秒）。
  • —device-write-bps：设置块设备写入速率限制（byte/秒），建议设置值大于等于1024。
  • —device-write-iops：设置块设备写入速率限制（IO/秒）。

无

约束限制

  • 添加/删除设备的时机可以是容器实例非运行状态，完成操作后启动容器，容器内会有体现；也可以在容器运行时（running）动态添加。
  • 不能在容器内和host上并发进行fdisk对磁盘的格式化写入，会影响容器磁盘使用。
  • add-device将磁盘添加到容器的特定目录时，如果容器内的父目录为多级目录（比如/dev/a/b/c/d/e…）且目录层级不存在，则syscontainer-tools会自动在容器内创建对应目录；当删除时，不会将创建的父目录删除。如果用户下一次add-device到该父目录，则会提示已经存在无法添加成功。
  • add-device添加磁盘、更新磁盘参数时，配置磁盘Qos；当配置磁盘Qos的read/write bps、read/write IOPS值时，不建议配置值过小，当设置过小时，会造成磁盘表现为不可读（实际原因是速度过慢），最终影响业务功能。
  • 使用—blkio-weight-device来限制指定块设备的权重，如果当前块设备仅支持BFQ模式，可能会报错，提示用户检查当前OS环境是否支持BFQ块设备权重值设置。

使用示例

  • 启动一个系统容器，指定hook spec为syscontainer hook执行配置脚本

    1. [root@localhost ~]# isula run -tid --hook-spec /etc/syscontainer-tools/hookspec.json --system-container --external-rootfs /root/root-fs none init
    2. eed1096c8c7a0eca6d92b1b3bc3dd59a2a2adf4ce44f18f5372408ced88f8350

  • 添加一个块设备到容器

    1. [root@localhost ~]# syscontainer-tools add-device ee /dev/sdb:/dev/sdb123
    2. Add device (/dev/sdb) to container(ee,/dev/sdb123) done.
    3. [root@localhost ~]# isula exec ee fdisk -l /dev/sdb123
    4. Disk /dev/sdb123: 50 GiB, 53687091200 bytes, 104857600 sectors
    5. Units: sectors of 1 * 512 = 512 bytes
    6. Sector size (logical/physical): 512 bytes / 512 bytes
    7. I/O size (minimum/optimal): 512 bytes / 512 bytes
    8. Disklabel type: dos
    9. Disk identifier: 0xda58a448
    11. Device        Boot Start       End   Sectors Size Id Type
    12. /dev/sdb123p1       2048 104857599 104855552  50G  5 Extended
    13. /dev/sdb123p5       4096 104857599 104853504  50G 83 Linux

  • 更新设备信息

    1. [root@localhost ~]# syscontainer-tools update-device --device-read-bps /dev/sdb:10m ee
    2. Update read bps for device (/dev/sdb,10485760) done.

  • 删除设备

    1. [root@localhost ~]# syscontainer-tools remove-device ee /dev/sdb:/dev/sdb123
    2. Remove device (/dev/sdb) from container(ee,/dev/sdb123) done.
    3. Remove read bps for device (/dev/sdb) done.

网卡管理

功能描述

syscontainer-tools支持将宿主机上的物理网卡或虚拟网卡插入到容器，在不使用网卡的时候从容器中删除归还给宿主机，并且可以动态修改网卡配置。插入物理网卡即把宿主机上一块网卡直接添加到容器中，插入虚拟网卡则需要先创建一对veth pair，之后将一端插入到容器中。

命令格式

  1. syscontainer-tools [COMMADN][OPTIONS] <container_id>

其中：

COMMAND：网卡管理相关的命令。

OPTIONS：网卡管理命令支持的选项。

container_id：容器id。

参数说明

命令

功能说明

选项说明

add-nic

给容器创建一个网卡。

支持的选项如下：

  • —type：设置网卡类型，当前只支持eth/veth。
  • —name：设置网卡名称，格式为[host:]<container>，host不写是随机名字。
  • —ip：设置网卡IP地址。
  • —mac：设置网卡mac地址。
  • —bridge：设置网卡绑定的网桥。
  • —mtu：设置网卡的mtu值，默认1500。
  • —update-config-only：如果此flag设置了，只更新配置文件，不会实际做添加网卡的动作。
  • —qlen：配置qlen值，默认为1000。

remove-nic

从容器中将网卡删除，还原至宿主机。

支持的选项如下：

  • —type：设置网卡的类型。
  • —name：设置网卡的名称，格式为[host:]<container>。

list-nic

列出容器中所有的网卡。

支持的选项如下：

  • —pretty：按照json格式输出。
  • —filter：按照过滤格式输出，比如—filter ‘{“ip”:”192.168.3.4/24”, “Mtu”:1500}’。

update-nic

更改容器内指定网卡的配置参数。

支持的选项如下：

  • —name：容器内网卡名（必须项）。
  • —ip：设置网卡IP地址。
  • —mac：设置网卡mac地址。
  • —bridge：设置网卡绑定的网桥。
  • —mtu：设置网卡的mtu值。
  • —update-config-only：如果此flag设置了，只更新配置文件，不会实际做更新网卡的动作。
  • —qlen：配置qlen值。

约束限制

  • 支持添加物理网卡（eth）和虚拟网卡（veth）两种类型。
  • 在添加网卡时可以同时对网卡进行配置，参数包括—ip/—mac/—bridge/—mtu/—qlen。
  • 支持最多添加8个物理网卡到容器。
  • 使用syscontainer-tools add-nic向容器添加eth网卡后，如果不加hook，在容器退出前必须手工将nic删除，否则在host上的eth网卡的名字会被更改成容器内的名字。
  • 对于物理网卡（1822 vf网卡除外），add-nic必须使用原mac地址，update-nic禁止修改mac地址，容器内也不允许修改mac地址。
  • 使用syscontainer-tools add-nic时，设置mtu值，设置范围跟具体的网卡型号有关。
  • 使用syscontainer-tools向容器添加网卡和路由时，建议先执行add-nic添加网卡，然后执行add-route添加路由；使用syscontainer-tools从容器删除网卡和路由时，建议先执行remove-route删除路由，然后执行remove-nic删除网卡。
  • 使用syscontainer-tools添加网卡时，一块网卡只能添加到一个容器中。

使用示例

  • 启动一个系统容器，指定hook spec为syscontainer hook执行配置脚本：

    1. [root@localhost ~]# isula run -tid --hook-spec /etc/syscontainer-tools/hookspec.json --system-container --external-rootfs /root/root-fs none init
    2. 2aaca5c1af7c872798dac1a468528a2ccbaf20b39b73fc0201636936a3c32aa8

  • 添加一个虚拟网卡到容器

    1. [root@localhost ~]# syscontainer-tools add-nic --type "veth" --name abc2:bcd2 --ip 172.17.28.5/24 --mac 00:ff:48:13:xx:xx --bridge docker0 2aaca5c1af7c
    2. Add network interface to container 2aaca5c1af7c (bcd2,abc2) done

  • 添加一个物理网卡到容器

    1. [root@localhost ~]# syscontainer-tools add-nic --type "eth" --name eth3:eth1 --ip 172.17.28.6/24  --mtu 1300  --qlen 2100 2aaca5c1af7c
    2. Add network interface to container 2aaca5c1af7c (eth3,eth1) done

    容器资源动态管理 - 图1 说明：
    添加虚拟网卡或物理网卡时，请确保网卡处于空闲状态，添加正在使用的网卡会导致系统网络断开。

路由管理

功能描述

syscontainer-tools工具可以对系统容器进行动态添加/删除路由表。

命令格式

  1. syscontainer-tools [COMMADN][OPTIONS] <container_id> [ARG...]

其中：

COMMAND：路由管理相关的命令。

OPTIONS：路由管理命令支持的选项。

container_id：容器id。

ARG：命令对应的参数。

接口说明

命令

功能说明

选项说明

参数说明

add-route

将网络路由规则添加到容器中。

支持的选项如下：

—update-config-only：添加此参数，只更新配置文件，不做实际的更新路由表的动作。

参数格式：[{rule1}，{rule2}]

rule样例：

‘[{“dest”:”default”, “gw”:”192.168.10.1”},{“dest”:”192.168.0.0/16”,”dev”:”eth0”,”src”:”192.168.1.2”}]’

  • dest：目标网络，如果为空则是默认网关。
  • src：路由源IP。
  • gw：路由网关。
  • dev：网络设备。

remove-route

从容器中删除路由。

支持的选项如下：

—update-config-only：设置此参数，只更新配置文件，不做实际从容器中删除路由的动作。

参数格式：[{rule1}，{rule2}]

rule样例：

‘[{“dest”:”default”, “gw”:”192.168.10.1”},{“dest”:”192.168.0.0/16”,”dev”:”eth0”,”src”:”192.168.1.2”}]’

  • dest：目标网络，如果为空则是默认网关。
  • src：路由源IP。
  • gw：路由网关。
  • dev：网络设备。

list-route

列出容器中所有的路由规则。

支持的选项如下：

  • —pretty：按照json格式输出。
  • —filter：按照过滤格式输出，比如—filter ‘{“ip”:”192.168.3.4/24”, “Mtu”:1500}’。

无

约束限制

  • 使用syscontainer-tools向容器添加网卡和路由时，建议先执行add-nic添加网卡，然后执行add-route添加路由；使用syscontainer-tools从容器删除网卡和路由时，建议先执行remove-route删除路由，然后执行remove-nic删除网卡。
  • 向容器内添加路由规则时，需确保所添加的路由规则与容器内现有的路由规则不会产生冲突。

使用示例

  • 启动一个系统容器，指定hook spec为syscontainer hook执行配置脚本：

    1. [root@localhost ~]# isula run -tid --hook-spec /etc/syscontainer-tools/hookspec.json --system-container --external-rootfs /root/root-fs none init
    2. 0d2d68b45aa0c1b8eaf890c06ab2d008eb8c5d91e78b1f8fe4d37b86fd2c190b

  • syscontainer-tools向系统容器添加一块物理网卡：

    1. [root@localhost ~]# syscontainer-tools add-nic --type "eth" --name enp4s0:eth123 --ip 172.17.28.6/24  --mtu 1300  --qlen 2100 0d2d68b45aa0
    2. Add network interface (enp4s0) to container (0d2d68b45aa0,eth123) done

  • syscontainer-tools添加一条路由规则到系统容器，注意格式需按照’[{“dest”:”default”, “gw”:”192.168.10.1”},{“dest”:”192.168.0.0/16”,”dev”:”eth0”,”src”:”192.168.1.2”}]‘来配置。如果dest为空会自动填成default。

    1. [root@localhost ~]# syscontainer-tools add-route 0d2d68b45aa0 '[{"dest":"172.17.28.0/32", "gw":"172.17.28.5","dev":"eth123"}]'
    2. Add route to container 0d2d68b45aa0, route: {dest:172.17.28.0/32,src:,gw:172.17.28.5,dev:eth123} done

  • 查看容器内是否新增一条路由规则：

    1. [root@localhost ~]# isula exec -it 0d2d68b45aa0 route
    2. Kernel IP routing table
    3. Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
    4. 172.17.28.0     172.17.28.5     255.255.255.255 UGH   0      0        0 eth123
    5. 172.17.28.0     0.0.0.0         255.255.255.0   U     0      0        0 eth123

挂卷管理

功能描述

普通容器仅支持在创建时指定—volume参数将宿主机的目录/卷挂载到容器实现资源共享，但是无法在容器运行时将挂载到容器中的目录/卷卸载掉，也不支持将宿主机的目录/卷挂载到容器。系统容器可以通过syscontainer-tools工具实现动态将宿主机的目录/卷挂载到容器，以及将容器中的目录/卷进行卸载。

命令格式

  1. syscontainer-tools [COMMADN][OPTIONS] <container_id> [ARG...]

其中：

COMMAND：路由管理相关的命令。

OPTIONS：路由管理命令支持的选项。

container_id：容器id。

ARG：命令对应的参数。

接口说明

命令

功能说明

选项说明

参数说明

add-path

将宿主机文件/目录添加到容器中。

无

参数格式为：

hostpath:containerpath:permission [hostpath:containerpath:permission …]

其中：

hostdevice：卷在主机上的路径。

containerdevice：卷在容器中的路径。

permission：容器内对挂载路径的操作权限。

remove-path

将容器中的目录/文件删除，还原到宿主机中。

无

参数格式为：hostpath:containerpath [hostpath:containerpath …]

其中：

hostdevice：卷在主机上的路径。

containerdevice：卷在容器中的路径。

list-path

列出容器中所有的path目录。

支持的选项如下：

—pretty：按照json格式输出。

无

约束限制

  • 挂载目录（add-path）的时候必须要指定绝对路径。
  • 挂载目录（add-path）会在主机上生成/.sharedpath挂载点。
  • 最多可以向单个容器中添加128个volume，超过128后无法添加成功。
  • add-path不能将主机目录覆盖容器中的根目录目录（/），否则会造成功能影响。

使用示例

  • 启动一个系统容器，指定hook spec为syscontainer hook执行配置脚本：

    1. [root@localhost ~]# isula run -tid --hook-spec /etc/syscontainer-tools/hookspec.json --system-container --external-rootfs /root/root-fs none init
    2. e45970a522d1ea0e9cfe382c2b868d92e7b6a55be1dd239947dda1ee55f3c7f7

  • syscontainer-tools将宿主机某个目录挂载到容器，实现资源共享：

    1. [root@localhost ~]# syscontainer-tools add-path e45970a522d1 /home/test123:/home/test123
    2. Add path (/home/test123) to container(e45970a522d1,/home/test123) done.

  • 宿主机目录/home/test123创建一个文件，然后在容器内查看文件是否可以访问：

    1. [root@localhost ~]# echo "hello world" > /home/test123/helloworld
    2. [root@localhost ~]# isula exec e45970a522d1 bash
    3. [root@localhost /]# cat /home/test123/helloworld
    4. hello world

  • syscontainer-tools将挂载目录从容器内删除：

    1. [root@localhost ~]# syscontainer-tools remove-path e45970a522d1 /home/test123:/home/test123
    2. Remove path (/home/test123) from container(e45970a522d1,/home/test123) done
    3. [root@localhost ~]# isula exec e45970a522d1 bash
    4. [root@localhost /]# ls /home/test123/helloworld
    5. ls: cannot access '/home/test123/helloworld': No such file or directory