您好,登錄后才能下訂單哦!
本篇內容主要講解“docker容器資源配額怎么控制”,感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷,實用性強。下面就讓小編來帶大家學習“docker容器資源配額怎么控制”吧!
docker通過cgroup來控制容器使用的資源配額,包括cpu、內存、磁盤三大方面,基本覆蓋了常見的資源配額和使用量控制。
cgroup簡介
cgroup是control groups的縮寫,是linux 內核提供的一種可以限制、記錄、隔離進程組所使用的物理資源(如 cpu、memory、磁盤io等等) 的機制,被lxc、docker等很多項目用于實現進程資源控制。cgroup將任意進程進行分組化管理的 linux 內核功能。cgroup本身是提供將進程進行分組化管理的功能和接口的基礎結構,i/o 或內存的分配控制等具體的資源管理功能是通過這個功能來實現的。這些具體的資源管理功能稱為cgroup子系統,有以下幾大子系統實現:
blkio:設置限制每個塊設備的輸入輸出控制。例如:磁盤,光盤以及usb等等。
cpu:使用調度程序為cgroup任務提供cpu的訪問。
cpuacct:產生cgroup任務的cpu資源報告。
cpuset:如果是多核心的cpu,這個子系統會為cgroup任務分配單獨的cpu和內存。
devices:允許或拒絕cgroup任務對設備的訪問。
freezer:暫停和恢復cgroup任務。
memory:設置每個cgroup的內存限制以及產生內存資源報告。
net_cls:標記每個網絡包以供cgroup方便使用。
ns:命名空間子系統。
perf_event:增加了對每group的監測跟蹤的能力,即可以監測屬于某個特定的group的所有線程以及運行在特定cpu上的線程。
目前docker只是用了其中一部分子系統,實現對資源配額和使用的控制。
可以使用stress工具來測試cpu和內存。使用下面的dockerfile來創建一個基于ubuntu的stress工具鏡像。
from ubuntu:14.04 run apt-get update &&apt-get install stress
cpu資源配額控制
cpu份額控制
docker提供了–cpu-shares
參數,在創建容器時指定容器所使用的cpu份額值。使用示例:
使用命令docker run -tid –cpu-shares 100 ubuntu:stress
,創建容器,則最終生成的cgroup的cpu份額配置可以下面的文件中找到:
root@ubuntu:~# cat /sys/fs/cgroup/cpu/docker/<容器的完整長id>/cpu.shares 100
cpu-shares的值不能保證可以獲得1個vcpu或者多少ghz的cpu資源,僅僅只是一個彈性的加權值。
默認情況下,每個docker容器的cpu份額都是1024。單獨一個容器的份額是沒有意義的,只有在同時運行多個容器時,容器的cpu加權的效果才能體現出來。例如,兩個容器a、b的cpu份額分別為1000和500,在cpu進行時間片分配的時候,容器a比容器b多一倍的機會獲得cpu的時間片,但分配的結果取決于當時主機和其他容器的運行狀態,實際上也無法保證容器a一定能獲得cpu時間片。比如容器a的進程一直是空閑的,那么容器b是可以獲取比容器a更多的cpu時間片的。極端情況下,比如說主機上只運行了一個容器,即使它的cpu份額只有50,它也可以獨占整個主機的cpu資源。
cgroups只在容器分配的資源緊缺時,也就是說在需要對容器使用的資源進行限制時,才會生效。因此,無法單純根據某個容器的cpu份額來確定有多少cpu資源分配給它,資源分配結果取決于同時運行的其他容器的cpu分配和容器中進程運行情況。
cpu周期控制
docker提供了–cpu-period、–cpu-quota兩個參數控制容器可以分配到的cpu時鐘周期。–cpu-period是用來指定容器對cpu的使用要在多長時間內做一次重新分配,而–cpu-quota是用來指定在這個周期內,最多可以有多少時間用來跑這個容器。跟–cpu-shares不同的是這種配置是指定一個絕對值,而且沒有彈性在里面,容器對cpu資源的使用絕對不會超過配置的值。
cpu-period和cpu-quota的單位為微秒(μs)。cpu-period的最小值為1000微秒,最大值為1秒(10^6 μs),默認值為0.1秒(100000 μs)。cpu-quota的值默認為-1,表示不做控制。
舉個例子,如果容器進程需要每1秒使用單個cpu的0.2秒時間,可以將cpu-period設置為1000000(即1秒),cpu-quota設置為200000(0.2秒)。當然,在多核情況下,如果允許容器進程需要完全占用兩個cpu,則可以將cpu-period設置為100000(即0.1秒),cpu-quota設置為200000(0.2秒)。
使用示例:
使用命令docker run -tid –cpu-period 100000 –cpu-quota 200000 ubuntu
,創建容器,則最終生成的cgroup的cpu周期配置可以下面的文件中找到:
root@ubuntu:~# cat /sys/fs/cgroup/cpu/docker/<容器的完整長id>/cpu.cfs_period_us 100000 root@ubuntu:~# cat /sys/fs/cgroup/cpu/docker/<容器的完整長id>/cpu.cfs_quota_us 200000
關于cpu-shares、cpu-period、cpu-quota這些配置的詳細介紹,大家可以深入閱讀redhat文檔中關于cpu的這一章。
cpu core控制
對多核cpu的服務器,docker還可以控制容器運行限定使用哪些cpu內核和內存節點,即使用–cpuset-cpus和–cpuset-mems參數。對具有numa拓撲(具有多cpu、多內存節點)的服務器尤其有用,可以對需要高性能計算的容器進行性能最優的配置。如果服務器只有一個內存節點,則–cpuset-mems的配置基本上不會有明顯效果。
使用示例:
命令docker run -tid –name cpu1 –cpuset-cpus 0-2 ubuntu,表示創建的容器只能用0、1、2這三個內核。最終生成的cgroup的cpu內核配置如下:
root@ubuntu:~# cat /sys/fs/cgroup/cpuset/docker/<容器的完整長id>/cpuset.cpus 0-2
通過docker exec <容器id> taskset -c -p 1(容器內部第一個進程編號一般為1),可以看到容器中進程與cpu內核的綁定關系,可以認為達到了綁定cpu內核的目的。
cpu配額控制參數的混合使用
當上面這些參數中時,cpu-shares控制只發生在容器競爭同一個內核的時間片時,如果通過cpuset-cpus指定容器a使用內核0,容器b只是用內核1,在主機上只有這兩個容器使用對應內核的情況,它們各自占用全部的內核資源,cpu-shares沒有明顯效果。
cpu-period、cpu-quota這兩個參數一般聯合使用,在單核情況或者通過cpuset-cpus強制容器使用一個cpu內核的情況下,即使cpu-quota超過cpu-period,也不會使容器使用更多的cpu資源。
cpuset-cpus、cpuset-mems只在多核、多內存節點上的服務器上有效,并且必須與實際的物理配置匹配,否則也無法達到資源控制的目的。
在系統具有多個cpu內核的情況下,需要通過cpuset-cpus為容器cpu內核才能比較方便地進行測試。
試用下列命令創建測試用的容器:
docker run -tid –name cpu2 –cpuset-cpus 3 –cpu-shares 512 ubuntu:stress stress -c 10 docker run -tid –name cpu3 –cpuset-cpus 3 –cpu-shares 1024 ubuntu:stress stress -c 10
上面的ubuntu:stress鏡像安裝了stress工具來測試cpu和內存的負載。兩個容器的命令stress -c 10&,這個命令將會給系統一個隨機負載,產生10個進程,每個進程都反復不停的計算由rand()產生隨機數的平方根,直到資源耗盡。
觀察到宿主機上的cpu試用率如下圖所示,第三個內核的使用率接近100%,并且一批進程的cpu使用率明顯存在2:1的使用比例的對比:
容器cpu2的cpu使用如下所示:
容器cpu3的cpu使用如下圖示:
分別進入容器后,使用top命令可以明顯地看出容器之間的資源使用對比,并且也達到了綁定cpu內核的目的。
注意:如果使用nsenter之類的工具進入容器,再使用stress -c 10進行測試,就可以發現cpuset-cpus的限制是可以被突破的,從而使stress測試進程使用宿主機的所有cpu內核。這是因為nsenter使用掛載的方式直接進入了容器的命名空間,突破了命名空間中的cgroup控制。
內存配額控制
和cpu控制一樣,docker也提供了若干參數來控制容器的內存使用配額,可以控制容器的swap大小、可用內存大小等各種內存方面的控制。主要有以下參數:
memory-swappiness:控制進程將物理內存交換到swap分區的傾向,默認系數為60。系數越小,就越傾向于使用物理內存。值范圍為0-100。當值為100時,表示盡量使用swap分區;當值為0時,表示禁用容器 swap 功能(這點不同于宿主機,宿主機 swappiness 設置為 0 也不保證 swap 不會被使用)。
–kernel-memory:內核內存,不會被交換到swap上。一般情況下,不建議修改,可以直接參考docker的官方文檔。
–memory:設置容器使用的最大內存上限。默認單位為byte,可以使用k、g、m等帶單位的字符串。
–memory-reservation:啟用彈性的內存共享,當宿主機資源充足時,允許容器盡量多地使用內存,當檢測到內存競爭或者低內存時,強制將容器的內存降低到memory-reservation所指定的內存大小。按照官方說法,不設置此選項時,有可能出現某些容器長時間占用大量內存,導致性能上的損失。
–memory-swap:等于內存和swap分區大小的總和,設置為-1時,表示swap分區的大小是無限的。默認單位為byte,可以使用k、g、m等帶單位的字符串。如果–memory-swap的設置值小于–memory的值,則使用默認值,為–memory-swap值的兩倍。
默認情況下,容器可以使用主機上的所有空閑內存。
與cpu的cgroups配置類似,docker會自動為容器在目錄/sys/fs/cgroup/memory/docker/<容器的完整長id>中創建相應cgroup配置文件,例如下面的文件:
這些文件與docker的相關配置是一一對應的,可以參考redhat的文檔resource_management_guide的內存部分來查看它們的作用。
內存配額控制使用示例
設置容器的內存上限,參考命令如下所示:
docker run -tid —name mem1 —memory 128m ubuntu:stress /bin/bash
默認情況下,除了–memory指定的內存大小以外,docker還為容器分配了同樣大小的swap分區,也就是說,上面的命令創建出的容器實際上最多可以使用256mb內存,而不是128mb內存。如果需要自定義swap分區大小,則可以通過聯合使用–memory–swap參數來實現控制。
對上面的命令創建的容器,可以查看到在cgroups的配置文件中,查看到容器的內存大小為128mb (128×1024×1024=134217728b),內存和swap加起來大小為256mb (256×1024×1024=268435456b)。
cat /sys/fs/cgroup/memory/docker/<容器的完整id>/memory.limit_in_bytes 134217728 cat /sys/fs/cgroup/memory/docker/<容器的完整id>/memory.memsw.limit_in_bytes 268435456
注意:執行上述命令時,命令行可能會輸出下面的警告:
warning: your kernel does not support swap limit capabilities, memory limited without swap.
這是因為主機上默認不啟用cgroup來控制swap分區,可以參考docker官方的相應文檔,修改grub啟動參數。
在容器中,依次使用下面的stress命令,即可對容器的內存進行壓力測試,確認內存。
stress –vm 1 –vm-bytes 256m –vm-hang 0 & stress –vm 1 –vm-bytes 250m –vm-hang 0 &
可以發現,使用256mb進行壓力測試時,由于超過了內存上限(128mb內存+128mb swap),進程被oom殺死。使用250mb進行壓力測試時,進程可以正常運行,并且通過docker stats可以查看到容器的內存已經滿負載了。
磁盤io配額控制
相對于cpu和內存的配額控制,docker對磁盤io的控制相對不成熟,大多數都必須在有宿主機設備的情況下使用。主要包括以下參數:
–device-read-bps:限制此設備上的讀速度(bytes per second),單位可以是kb、mb或者gb。
–device-read-iops:通過每秒讀io次數來限制指定設備的讀速度。
–device-write-bps :限制此設備上的寫速度(bytes per second),單位可以是kb、mb或者gb。
–device-write-iops:通過每秒寫io次數來限制指定設備的寫速度。
–blkio-weight:容器默認磁盤io的加權值,有效值范圍為10-100。
–blkio-weight-device: 針對特定設備的io加權控制。其格式為device_name:weight
磁盤io配額控制示例
blkio-weight
要使–blkio-weight生效,需要保證io的調度算法為cfq。可以使用下面的方式查看:
root@ubuntu:~# cat /sys/block/sda/queue/scheduler noop [deadline] cfq
使用下面的命令創建兩個–blkio-weight值不同的容器:
docker run -ti –rm –blkio-weight 100 ubuntu:stress docker run -ti –rm –blkio-weight 1000 ubuntu:stress
在容器中同時執行下面的dd命令,進行測試:
time dd if=/dev/zero of=test.out bs=1m count=1024 oflag=direct
最終輸出如下圖所示:
在我的測試環境上沒有達到理想的測試效果,通過docker官方的blkio-weight doesn't take effect in docker docker version 1.8.1 #16173
,可以發現這個問題在一些環境上存在,但docker官方也沒有給出解決辦法。
device-write-bps
使用下面的命令創建容器,并執行命令驗證寫速度的限制。
docker run -tid –name disk1 –device-write-bps /dev/sda:1mb ubuntu:stress
通過dd來驗證寫速度,輸出如下圖示:
可以看到容器的寫磁盤速度被成功地限制到了1mb/s。device-read-bps等其他磁盤io限制參數可以使用類似的方式進行驗證。
容器空間大小限制
在docker使用devicemapper作為存儲驅動時,默認每個容器和鏡像的最大大小為10g。如果需要調整,可以在daemon啟動參數中,使用dm.basesize來指定,但需要注意的是,修改這個值,不僅僅需要重啟docker daemon服務,還會導致宿主機上的所有本地鏡像和容器都被清理掉。
使用aufs或者overlay等其他存儲驅動時,沒有這個限制。
~~~以上所有截圖測試環境,宿主機為ubuntu 14.04.4,docker版本為1.10.3~~~
到此,相信大家對“docker容器資源配額怎么控制”有了更深的了解,不妨來實際操作一番吧!這里是億速云網站,更多相關內容可以進入相關頻道進行查詢,關注我們,繼續學習!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。