Vom Python-Prozess verwendeter Gesamtspeicher?

Gibt es eine Möglichkeit für ein Python-Programm, festzustellen, wie viel Speicher es derzeit verwendet? Ich habe Diskussionen über die Speichernutzung für ein einzelnes Objekt gesehen, aber was ich brauche, ist die Gesamtspeichernutzung für den Prozess, damit ich bestimmen kann, wann es notwendig ist, mit dem Verwerfen von zwischengespeicherten Daten zu beginnen.

Hier ist eine nützliche Lösung, die für verschiedene Betriebssysteme funktioniert, einschließlich Linux, Windows usw.:

import os, psutil
process = psutil.Process(os.getpid())
print(process.memory_info().rss)  # in bytes 

Anmerkungen:

• tun pip install psutil wenn es noch nicht installiert ist

• praktischer Einzeiler, wenn Sie schnell wissen möchten, wie viele MB Ihr Prozess benötigt:

  import os, psutil; print(psutil.Process(os.getpid()).memory_info().rss / 1024 ** 2)
  

• mit Python 2.7 und psutil 5.6.3 war es das process.memory_info()[0] stattdessen (es gab später eine Änderung in der API).

Für Unix-basierte Systeme (Linux, Mac OS X, Solaris) können Sie die verwenden getrusage() Funktion aus dem Standard-Bibliotheksmodul resource. Das resultierende Objekt hat das Attribut ru_maxrsswas die gibt Gipfel Speicherverbrauch für den aufrufenden Prozess:

>>> resource.getrusage(resource.RUSAGE_SELF).ru_maxrss
2656  # peak memory usage (kilobytes on Linux, bytes on OS X)

Das Python-Dokumente notieren Sie sich nicht die Einheiten. Beziehen Sie sich auf Ihr spezifisches System man getrusage.2 Seite, um die Einheit für den Wert zu überprüfen. Unter Ubuntu 18.04 wird die Einheit als Kilobyte notiert. Unter Mac OS X sind es Bytes.

Das getrusage() Funktion kann auch angegeben werden resource.RUSAGE_CHILDREN um die Verwendung für untergeordnete Prozesse zu erhalten, und (auf einigen Systemen) resource.RUSAGE_BOTH für die gesamte (selbst und untergeordnete) Prozessnutzung.

Wenn Sie sich nur für Linux interessieren, können Sie alternativ die lesen /proc/self/status oder /proc/self/statm Datei wie in anderen Antworten für diese Frage und auch diese beschrieben.

Unter Windows können Sie WMI (Startseite, Käseladen):

def memory():
    import os
    from wmi import WMI
    w = WMI('.')
    result = w.query("SELECT WorkingSet FROM Win32_PerfRawData_PerfProc_Process WHERE IDProcess=%d" % os.getpid())
    return int(result[0].WorkingSet)

Unter Linux (aus dem Python-Kochbuch http://code.activestate.com/recipes/286222/:

import os
_proc_status="/proc/%d/status" % os.getpid()

_scale = {'kB': 1024.0, 'mB': 1024.0*1024.0, 'KB': 1024.0, 'MB': 1024.0*1024.0}

def _VmB(VmKey):
    '''Private.'''
    global _proc_status, _scale
     # get pseudo file  /proc/<pid>/status
    try:
        t = open(_proc_status)
        v = t.read()
        t.close()
    except:
        return 0.0  # non-Linux?
     # get VmKey line e.g. 'VmRSS:  9999  kB\n ...'
    i = v.index(VmKey)
    v = v[i:].split(None, 3)  # whitespace
    if len(v) < 3:
        return 0.0  # invalid format?
     # convert Vm value to bytes
    return float(v[1]) * _scale[v[2]]

def memory(since=0.0):
    '''Return memory usage in bytes.'''
    return _VmB('VmSize:') - since

def resident(since=0.0):
    '''Return resident memory usage in bytes.'''
    return _VmB('VmRSS:') - since

def stacksize(since=0.0):
    '''Return stack size in bytes.'''
    return _VmB('VmStk:') - since

Unter Unix können Sie die verwenden ps Tool zur Überwachung:

$ ps u -p 1347 | awk '{sum=sum+$6}; END {print sum/1024}'

wobei 1347 eine Prozess-ID ist. Außerdem ist das Ergebnis in MB.

Aktuelle Speicherauslastung des aktuellen Prozesses auf Linuxfür Python 2Python 3und Pypyohne jegliche Importe:

def getCurrentMemoryUsage():
    ''' Memory usage in kB '''

    with open('/proc/self/status') as f:
        memusage = f.read().split('VmRSS:')[1].split('\n')[0][:-3]

    return int(memusage.strip())

Es liest die Statusdatei des aktuellen Prozesses, nimmt alles nach VmRSS:nimmt dann alles vor dem ersten Zeilenumbruch (isoliert den Wert von VmRSS) und schneidet schließlich die letzten 3 Bytes ab, die ein Leerzeichen und die Einheit (kB) sind.
Um zurückzukehren, entfernt es alle Leerzeichen und gibt sie als Zahl zurück.

Getestet auf Linux 4.4 und 4.9, aber auch eine frühe Linux-Version sollte funktionieren: mal reinschauen man proc und Suche nach Informationen über die /proc/$PID/status -Datei erwähnt es Mindestversionen für einige Felder (wie Linux 2.6.10 für “VmPTE”), aber das Feld “VmRSS” (das ich hier verwende) hat keine solche Erwähnung. Daher gehe ich davon aus, dass es seit einer frühen Version drin ist.

Unten ist mein Funktions-Decorator, mit dem Sie verfolgen können, wie viel Speicher dieser Prozess vor dem Funktionsaufruf verbraucht, wie viel Speicher er nach dem Funktionsaufruf verwendet und wie lange die Funktion ausgeführt wird.

import time
import os
import psutil


def elapsed_since(start):
    return time.strftime("%H:%M:%S", time.gmtime(time.time() - start))


def get_process_memory():
    process = psutil.Process(os.getpid())
    return process.memory_info().rss


def track(func):
    def wrapper(*args, **kwargs):
        mem_before = get_process_memory()
        start = time.time()
        result = func(*args, **kwargs)
        elapsed_time = elapsed_since(start)
        mem_after = get_process_memory()
        print("{}: memory before: {:,}, after: {:,}, consumed: {:,}; exec time: {}".format(
            func.__name__,
            mem_before, mem_after, mem_after - mem_before,
            elapsed_time))
        return result
    return wrapper

Also, wenn Sie eine Funktion damit dekoriert haben

from utils import track

@track
def list_create(n):
    print("inside list create")
    return [1] * n

Sie können diese Ausgabe sehen:

inside list create
list_create: memory before: 45,928,448, after: 46,211,072, consumed: 282,624; exec time: 00:00:00

Für Python 3.6 und psutil 5.4.5 ist es einfacher zu verwenden memory_percent() Funktion aufgelistet hier.

import os
import psutil
process = psutil.Process(os.getpid())
print(process.memory_percent())