您好,登錄后才能下訂單哦!
本篇內容介紹了“怎么將Docker鏡像體積減小99%”的有關知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領大家學習一下如何處理這些情況吧!希望大家仔細閱讀,能夠學有所成!
我敢打賭,每一個初次使用自己寫好的代碼構建 Docker 鏡像的人都會被鏡像的體積嚇到,來看一個例子。
讓我們搬出那個屢試不爽的 hello world
C 程序:
/* hello.c */ int main () { puts("Hello, world!"); return 0; }
并通過下面的 Dockerfile 構建鏡像:
FROM gcc COPY hello.c . RUN gcc -o hello hello.c CMD ["./hello"]
然后你會發現構建成功的鏡像體積遠遠超過了 1 GB
。。。因為該鏡像包含了整個 gcc
鏡像的內容。
如果使用 Ubuntu
鏡像,安裝 C 編譯器,最后編譯程序,你會得到一個大概 300 MB
大小的鏡像,比上面的鏡像小多了。但還是不夠小,因為編譯好的可執行文件還不到 20 KB
:
$ ls -l hello -rwxr-xr-x 1 root root 16384 Nov 18 14:36 hello
類似地,Go 語言版本的 hello world
會得到相同的結果:
package main import "fmt" func main () { fmt.Println("Hello, world!") }
使用基礎鏡像 golang
構建的鏡像大小是 800 MB
,而編譯后的可執行文件只有 2 MB
大小:
$ ls -l hello -rwxr-xr-x 1 root root 2008801 Jan 15 16:41 hello
還是不太理想,有沒有辦法大幅度減少鏡像的體積呢?往下看。
為了更直觀地對比不同鏡像的大小,所有鏡像都使用相同的鏡像名,不同的標簽。例如:hello:gcc
,hello:ubuntu
,hello:thisweirdtrick
等等,這樣就可以直接使用命令 docker images hello
列出所有鏡像名為 hello 的鏡像,不會被其他鏡像所干擾。
要想大幅度減少鏡像的體積,多階段構建是必不可少的。多階段構建的想法很簡單:“我不想在最終的鏡像中包含一堆 C 或 Go 編譯器和整個編譯工具鏈,我只要一個編譯好的可執行文件!”
多階段構建可以由多個 FROM
指令識別,每一個 FROM
語句表示一個新的構建階段,階段名稱可以用 AS
參數指定,例如:
FROM gcc AS mybuildstage COPY hello.c . RUN gcc -o hello hello.c FROM ubuntu COPY --from=mybuildstage hello . CMD ["./hello"]
本例使用基礎鏡像 gcc
來編譯程序 hello.c
,然后啟動一個新的構建階段,它以 ubuntu
作為基礎鏡像,將可執行文件 hello
從上一階段拷貝到最終的鏡像中。最終的鏡像大小是 64 MB
,比之前的 1.1 GB
減少了 95%
:
???? → docker images minimage REPOSITORY TAG ... SIZE minimage hello-c.gcc ... 1.14GB minimage hello-c.gcc.ubuntu ... 64.2MB
還能不能繼續優化?當然能。在繼續優化之前,先提醒一下:
在聲明構建階段時,可以不必使用關鍵詞 AS
,最終階段拷貝文件時可以直接使用序號表示之前的構建階段(從零開始)。也就是說,下面兩行是等效的:
COPY --from=mybuildstage hello . COPY --from=0 hello .
如果 Dockerfile
內容不是很復雜,構建階段也不是很多,可以直接使用序號表示構建階段。一旦 Dockerfile 變復雜了,構建階段增多了,最好還是通過關鍵詞 AS
為每個階段命名,這樣也便于后期維護。
我強烈建議在構建的第一階段使用經典的基礎鏡像,這里經典的鏡像指的是 CentOS
,Debian
,Fedora
和 Ubuntu
之類的鏡像。你可能還聽說過 Alpine 鏡像,不要用它!至少暫時不要用,后面我會告訴你有哪些坑。
COPY --from
使用絕對路徑從上一個構建階段拷貝文件時,使用的路徑是相對于上一階段的根目錄的。如果你使用 golang
鏡像作為構建階段的基礎鏡像,就會遇到類似的問題。假設使用下面的 Dockerfile 來構建鏡像:
FROM golang COPY hello.go . RUN go build hello.go FROM ubuntu COPY --from=0 hello . CMD ["./hello"]
你會看到這樣的報錯:
COPY failed: stat /var/lib/docker/overlay2/1be...868/merged/hello: no such file or directory
這是因為 COPY
命令想要拷貝的是 /hello
,而 golang
鏡像的 WORKDIR
是 /go
,所以可執行文件的真正路徑是 /go/hello
。
當然你可以使用絕對路徑來解決這個問題,但如果后面基礎鏡像改變了 WORKDIR
怎么辦?你還得不斷地修改絕對路徑,所以這個方案還是不太優雅。最好的方法是在第一階段指定 WORKDIR
,在第二階段使用絕對路徑拷貝文件,這樣即使基礎鏡像修改了 WORKDIR
,也不會影響到鏡像的構建。例如:
FROM golang WORKDIR /src COPY hello.go . RUN go build hello.go FROM ubuntu COPY --from=0 /src/hello . CMD ["./hello"]
最后的效果還是很驚人的,將鏡像的體積直接從 800 MB
降低到了 66 MB
:
???? → docker images minimage REPOSITORY TAG ... SIZE minimage hello-go.golang ... 805MB minimage hello-go.golang.ubuntu-workdir ... 66.2MB
回到我們的 hello world
,C 語言版本的程序大小為 16 kB
,Go 語言版本的程序大小為 2 MB
,那么我們到底能不能將鏡像縮減到這么小?能否構建一個只包含我需要的程序,沒有任何多余文件的鏡像?
答案是肯定的,你只需要將多階段構建的第二階段的基礎鏡像改為 scratch
就好了。scratch
是一個虛擬鏡像,不能被 pull,也不能運行,因為它表示空、nothing!這就意味著新鏡像的構建是從零開始,不存在其他的鏡像層。例如:
FROM golang COPY hello.go . RUN go build hello.go FROM scratch COPY --from=0 /go/hello . CMD ["./hello"]
這一次構建的鏡像大小正好就是 2 MB
,堪稱完美!
然而,但是,使用 scratch
作為基礎鏡像時會帶來很多的不便,且聽我一一道來。
scratch
鏡像的第一個不便是沒有 shell
,這就意味著 CMD/RUN
語句中不能使用字符串,例如:
... FROM scratch COPY --from=0 /go/hello . CMD ./hello
如果你使用構建好的鏡像創建并運行容器,就會遇到下面的報錯:
docker: Error response from daemon: OCI runtime create failed: container_linux.go:345: starting container process caused "exec: \"/bin/sh\": stat /bin/sh: no such file or directory": unknown.
從報錯信息可以看出,鏡像中并不包含 /bin/sh
,所以無法運行程序。這是因為當你在 CMD/RUN
語句中使用字符串作為參數時,這些參數會被放到 /bin/sh
中執行,也就是說,下面這兩條語句是等效的:
CMD ./hello CMD /bin/sh -c "./hello"
解決辦法其實也很簡單:**使用 JSON 語法取代字符串語法。**例如,將 CMD ./hello
替換為 CMD ["./hello"]
,這樣 Docker 就會直接運行程序,不會把它放到 shell 中運行。
scratch
鏡像不包含任何調試工具,ls
、ps
、ping
這些統統沒有,當然了,shell 也沒有(上文提過了),你無法使用 docker exec
進入容器,也無法查看網絡堆棧信息等等。
如果想查看容器中的文件,可以使用 docker cp
;如果想查看或調試網絡堆棧,可以使用 docker run --net container:
,或者使用 nsenter
;為了更好地調試容器,Kubernetes 也引入了一個新概念叫 Ephemeral Containers,但現在還是 Alpha 特性。
雖然有這么多雜七雜八的方法可以幫助我們調試容器,但它們會將事情變得更加復雜,我們追求的是簡單,越簡單越好。
折中一下可以選擇 busybox
或 alpine
鏡像來替代 scratch
,雖然它們多了那么幾 MB,但從整體來看,這只是犧牲了少量的空間來換取調試的便利性,還是很值得的。
這是最難解決的問題。使用 scratch
作為基礎鏡像時,Go 語言版本的 hello world
跑得很歡快,C 語言版本就不行了,或者換個更復雜的 Go 程序也是跑不起來的(例如用到了網絡相關的工具包),你會遇到類似于下面的錯誤:
standard_init_linux.go:211: exec user process caused "no such file or directory"
從報錯信息可以看出缺少文件,但沒有告訴我們到底缺少哪些文件,其實這些文件就是程序運行所必需的動態庫(dynamic library)。
那么,什么是動態庫?為什么需要動態庫?
所謂動態庫、靜態庫,指的是程序編譯的鏈接階段,鏈接成可執行文件的方式。靜態庫指的是在鏈接階段將匯編生成的目標文件.o 與引用到的庫一起鏈接打包到可執行文件中,因此對應的鏈接方式稱為靜態鏈接(static linking)。而動態庫在程序編譯時并不會被連接到目標代碼中,而是在程序運行是才被載入,因此對應的鏈接方式稱為動態鏈接(dynamic linking)。
90 年代的程序大多使用的是靜態鏈接,因為當時的程序大多數都運行在軟盤或者盒式磁帶上,而且當時根本不存在標準庫。這樣程序在運行時與函數庫再無瓜葛,移植方便。但對于 Linux 這樣的分時系統,會在在同一塊硬盤上并發運行多個程序,這些程序基本上都會用到標準的 C 庫,這時使用動態鏈接的優點就體現出來了。使用動態鏈接時,可執行文件不包含標準庫文件,只包含到這些庫文件的索引。例如,某程序依賴于庫文件 libtrigonometry.so
中的 cos
和 sin
函數,該程序運行時就會根據索引找到并加載 libtrigonometry.so
,然后程序就可以調用這個庫文件中的函數。
使用動態鏈接的好處顯而易見:
節省磁盤空間,不同的程序可以共享常見的庫。
節省內存,共享的庫只需從磁盤中加載到內存一次,然后在不同的程序之間共享。
更便于維護,庫文件更新后,不需要重新編譯使用該庫的所有程序。
嚴格來說,動態庫與共享庫(shared libraries)相結合才能達到節省內存的功效。Linux 中動態庫的擴展名是 .so
( shared object
),而 Windows 中動態庫的擴展名是 .DLL
(Dynamic-link library)。
回到最初的問題,默認情況下,C 程序使用的是動態鏈接,Go 程序也是。上面的 hello world
程序使用了標準庫文件 libc.so.6
,所以只有鏡像中包含該文件,程序才能正常運行。使用 scratch
作為基礎鏡像肯定是不行的,使用 busybox
和 alpine
也不行,因為 busybox
不包含標準庫,而 alpine 使用的標準庫是 musl libc
,與大家常用的標準庫 glibc
不兼容,后續的文章會詳細解讀,這里就不贅述了。
那么該如何解決標準庫的問題呢?有三種方案。
我們可以讓編譯器使用靜態庫編譯程序,辦法有很多,如果使用 gcc 作為編譯器,只需加上一個參數 -static
:
$ gcc -o hello hello.c -static
編譯完的可執行文件大小為 760 kB
,相比于之前的 16kB
是大了好多,這是因為可執行文件中包含了其運行所需要的庫文件。編譯完的程序就可以跑在 scratch
鏡像中了。
如果使用 alpine 鏡像作為基礎鏡像來編譯,得到的可執行文件會更小(< 100kB),下篇文章會詳述。
為了找出程序運行需要哪些庫文件,可以使用 ldd
工具:
$ ldd hello linux-vdso.so.1 (0x00007ffdf8acb000) libc.so.6 => /usr/lib/libc.so.6 (0x00007ff897ef6000) /lib64/ld-linux-x86-64.so.2 => /usr/lib64/ld-linux-x86-64.so.2 (0x00007ff8980f7000)
從輸出結果可知,該程序只需要 libc.so.6
這一個庫文件。linux-vdso.so.1
與一種叫做 VDSO 的機制有關,用來加速某些系統調用,可有可無。ld-linux-x86-64.so.2
表示動態鏈接器本身,包含了所有依賴的庫文件的信息。
你可以選擇將 ldd
列出的所有庫文件拷貝到鏡像中,但這會很難維護,特別是當程序有大量依賴庫時。對于 hello world
程序來說,拷貝庫文件完全沒有問題,但對于更復雜的程序(例如使用到 DNS 的程序),就會遇到令人費解的問題:glibc
(GNU C library)通過一種相當復雜的機制來實現 DNS,這種機制叫 NSS
(Name Service Switch, 名稱服務開關)。它需要一個配置文件 /etc/nsswitch.conf
和額外的函數庫,但使用 ldd
時不會顯示這些函數庫,因為這些庫在程序運行后才會加載。如果想讓 DNS 解析正確工作,必須要拷貝這些額外的庫文件(/lib64/libnss_*
)。
我個人不建議直接拷貝庫文件,因為它非常難以維護,后期需要不斷地更改,而且還有很多未知的隱患。
busybox:glibc
作為基礎鏡像有一個鏡像可以完美解決所有的這些問題,那就是 busybox:glibc
。它只有 5 MB
大小,并且包含了 glibc
和各種調試工具。如果你想選擇一個合適的鏡像來運行使用動態鏈接的程序,busybox:glibc
是最好的選擇。
注意:如果你的程序使用到了除標準庫之外的庫,仍然需要將這些庫文件拷貝到鏡像中。
“怎么將Docker鏡像體積減小99%”的內容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業相關的知識可以關注億速云網站,小編將為大家輸出更多高質量的實用文章!
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。