溫馨提示×
您好，登錄后才能下訂單哦！
點擊 登錄注冊 即表示同意《億速云用戶服務條款》
您好，登錄后才能下訂單哦！
這篇文章主要講解了Python實時檢測自身內存占用的方法，內容清晰明了，對此有興趣的小伙伴可以學習一下，相信大家閱讀完之后會有幫助。
前言
最近在做文本統計，用 Python 實現，遇到了一個比較有意思的難題——如何保存統計結果。
直接寫入內存實在是放不下，十幾個小時后內存耗盡，程序被迫關閉。如果直接寫入數據庫吧，每次寫入又太慢了，本來就十幾個小時了，這樣下去就要往星期上數了，也不是個辦法。
解決方案
最后，我想到了一個兩者兼顧的方案——用內存做緩沖，達到一定量之后一次性將當前所有數據合并到硬盤里。
但這樣就有一個閾值，如何確定同步硬盤的時機，通常可以按照文件粒度進行處理，比如處理一個語料文件同步一次……但我的語料有大有小，大的有10GB，根本等不到那一刻內存就爆炸了，后來我想用統計數據量進行判斷……可這又有點難以估計，小了吧頻繁寫入，緩存的意義就不大了，大了吧還沒等到條目數量達到，內存就已經爆滿。另外考慮到將來程序會運行在不同配置的設備上，讓其他開發者根據自身情況計算這個閾值也有點太不友好，于是我想到了一個辦法——不如讓 Python 自己檢測自己的內存占用，如果快滿了（或者達到閾值），就同步寫入硬盤一次。
對于其他開發者來說，自身設備的內存多大是很容易查看的，根據系統運行狀況設置一個合理的閾值，相當方便。
要用 Python 監控自身內存占用，要使用 psutil 這個庫來和系統進行交互，基本邏輯就是先拿到自己的 pid ，然后根據這個 pid 去跟系統獲取進程信息。
def get_current_memory_gb() -> int: # 獲取當前進程內存占用。 pid = os.getpid() p = psutil.Process(pid) info = p.memory_full_info() return info.uss / 1024. / 1024. / 1024.
比如我系統是 32GB 內存，那么我設置個 20GB 就相當安全，用 Python 進行統計語料，數據多到進程占用 20GB 內存了，就把當前的數據寫入硬盤，同步統計數據，然后清空程序里的字典緩存釋放內存。
python之psutil
psutil是個跨平臺庫，能夠輕松實現獲取系統運行的進程和系統利用率，包括CPU、內存、磁盤、網絡等信息。
Linux系統下的安裝
pip install psutil
看完上述內容，是不是對Python實時檢測自身內存占用的方法有進一步的了解，如果還想學習更多內容，歡迎關注億速云行業資訊頻道。
免責聲明：本站發布的內容（圖片、視頻和文字）以原創、轉載和分享為主，文章觀點不代表本網站立場，如果涉及侵權請聯系站長郵箱：is@yisu.com進行舉報，并提供相關證據，一經查實，將立刻刪除涉嫌侵權內容。
