您好,登錄后才能下訂單哦!
前言
最近這兩天登陸服務器,發現用 wget 下載文件的時候提示“No space left on device”,而且連使用 tab 鍵進行補全時也會提示該錯誤。
之前遇到過一次這種問題,是由于磁盤空間被占滿了,導致無法創建新文件。正常情況下,刪除一些文件來釋放空間,即可解決該問題。
當我使用 df 命令查看分區情況時,結果如下:
# df -h Filesystem Size Used Avail Use% Mounted on /dev/vda1 29G 29G 0 100% / udev 10M 0 10M 0% /dev tmpfs 101M 232K 100M 1% /run tmpfs 5.0M 0 5.0M 0% /run/lock tmpfs 405M 0 405M 0% /run/shm
看到這里,我以為磁盤真的被 100% 占用了,于是就查看了各目錄的占用情況:
# du -sh /* 8.8M /bin 30M /boot 0 /dev 5.3M /etc 24K /home 0 /initrd.img 205M /lib 4.0K /lib64 16K /lost+found 8.0K /media 4.0K /mnt 4.0K /opt 0 /proc 2.5G /root 232K /run 5.2M /sbin 8.0K /srv 0 /sys 4.0K /tmp 2.6G /usr 1.8G /var 0 /vmlinuz
很明顯,總共的磁盤占用完全不到 10G,磁盤理論上并未被占滿。
這種情況下,很可能是小文件過多,導致 inode 急劇增加,消耗完 inode 區域的空間。
如果真是如此,那么即使磁盤空間有剩余,但由于無法創建新的 inode 來存儲文件的元信息,也就無法創建新文件。
因此,我用 df 命令進行驗證:
# df -ih Filesystem Inodes IUsed IFree IUse% Mounted on /dev/vda1 1.9M 299K 1.6M 17% / udev 123K 299 123K 1% /dev tmpfs 126K 249 125K 1% /run tmpfs 126K 4 126K 1% /run/lock tmpfs 126K 2 126K 1% /run/shm
可以看到,inode 區域只被占用了一小部分,還有大量的空間未使用,所以也不是 inode 區域被占滿的問題。
到了這里,我的內心是非常郁悶的。這個問題直接導致了Apache、MySql以及其它的一些服務均無法啟動,服務器已經基本沒法使用了,然而原因卻撲朔迷離。
最后,服務器提供商告訴我另一種可能的情況,就是有些文件刪除時還被其它進程占用,此時文件并未真正刪除,只是標記為 deleted,只有進程結束后才會將文件真正從磁盤中清除。
于是我通過 lsop 命令查看了被進程占用中的文件:
# lsof | grep deleted mysqld 1952 2982 mysql 5u REG 254,1 0 127 /tmp/ibzMEe4z (deleted) mysqld 1952 2982 mysql 6u REG 254,1 0 146 /tmp/ibq6ZFge (deleted) mysqld 1952 2982 mysql 10u REG 254,1 0 150 /tmp/ibyNHH8y (deleted) apache2 2869 root 9u REG 254,1 0 168 /tmp/.ZendSem.2w14iv (deleted) apache2 2869 root 10w REG 0,16 0 11077 /run/lock/apache2/rewrite-map.2869 (deleted) ... python 3102 root 1w REG 254,1 22412342132 264070 /var/log/nohup.out (deleted)
終于找到了罪魁禍首,原來是在后臺運行的 Python 腳本,源源不斷地將輸出保存到 /var/log/nohup.out 文件中,文件大小居然達到了20G+!
前階段在后臺運行腳本之后,就沒再管過它。估計是我在 Python 運行過程中刪掉了 nothup.out 文件,由于該文件被占用,所以只能先標記為 deleted,而未真正刪除,最后導致磁盤爆滿。
這次的教訓提醒了我,不能將任務簡單放到后臺就放任不管,特別是使用 nohup 命令時,所有的輸出都會被不斷地添加到同一個文件中,如果該進程不會自己終止,就可能導致輸出文件占滿整個磁盤。
總結
以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作能帶來一定的幫助,如果有疑問大家可以留言交流,謝謝大家對億速云的支持。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。