Ersetzen von Leerwerten (Leerraum) durch NaN in Pandas

Question 1

Ich möchte alle Werte in einem Pandas-Datenrahmen finden, die Leerzeichen (beliebige Menge) enthalten, und diese Werte durch NaNs ersetzen.

Irgendwelche Ideen, wie dies verbessert werden kann?

Grundsätzlich möchte ich das drehen:

                   A    B    C
2000-01-01 -0.532681  foo    0
2000-01-02  1.490752  bar    1
2000-01-03 -1.387326  foo    2
2000-01-04  0.814772  baz     
2000-01-05 -0.222552         4
2000-01-06 -1.176781  qux

Das mögen:

                   A     B     C
2000-01-01 -0.532681   foo     0
2000-01-02  1.490752   bar     1
2000-01-03 -1.387326   foo     2
2000-01-04  0.814772   baz   NaN
2000-01-05 -0.222552   NaN     4
2000-01-06 -1.176781   qux   NaN

Ich habe es mit dem folgenden Code geschafft, aber Mann ist es hässlich. Es ist nicht pythonisch und ich bin mir sicher, dass es auch nicht die effizienteste Verwendung von Pandas ist. Ich durchlaufe jede Spalte und führe eine boolesche Ersetzung gegen eine Spaltenmaske durch, die durch Anwenden einer Funktion generiert wird, die eine Regex-Suche nach jedem Wert durchführt und mit Leerzeichen übereinstimmt.

for i in df.columns:
    df[i][df[i].apply(lambda i: True if re.search('^s*$', str(i)) else False)]=None

Es könnte ein wenig optimiert werden, indem nur Felder durchlaufen werden, die leere Zeichenfolgen enthalten könnten:

if df[i].dtype == np.dtype('object')

Aber das ist keine große Verbesserung

Und schließlich setzt dieser Code die Zielzeichenfolgen auf None, was mit Pandas-Funktionen wie funktioniert fillna()aber es wäre der Vollständigkeit halber schön, wenn ich tatsächlich eine einfügen könnte NaN direkt statt None.

Question 2

Ich denke df.replace() macht den Job, da Pandas 0.13:

df = pd.DataFrame([
    [-0.532681, 'foo', 0],
    [1.490752, 'bar', 1],
    [-1.387326, 'foo', 2],
    [0.814772, 'baz', ' '],     
    [-0.222552, '   ', 4],
    [-1.176781,  'qux', '  '],         
], columns="A B C".split(), index=pd.date_range('2000-01-01','2000-01-06'))

# replace field that's entirely space (or empty) with NaN
print(df.replace(r'^s*$', np.nan, regex=True))

Produziert:

                   A    B   C
2000-01-01 -0.532681  foo   0
2000-01-02  1.490752  bar   1
2000-01-03 -1.387326  foo   2
2000-01-04  0.814772  baz NaN
2000-01-05 -0.222552  NaN   4
2000-01-06 -1.176781  qux NaN

Wie Temak darauf hingewiesen hat, verwenden df.replace(r'^s+$', np.nan, regex=True) falls Ihre gültigen Daten Leerzeichen enthalten.

Question 3

Wenn Sie eine leere Zeichenfolge und Datensätze nur durch Leerzeichen ersetzen möchten, wird die richtige Antwort ist!:

df = df.replace(r'^s*$', np.nan, regex=True)

Die akzeptierte Antwort

df.replace(r's+', np.nan, regex=True)

Ersetzt keinen leeren String!, können Sie es mit dem gegebenen Beispiel leicht aktualisiert selbst versuchen:

df = pd.DataFrame([
    [-0.532681, 'foo', 0],
    [1.490752, 'bar', 1],
    [-1.387326, 'fo o', 2],
    [0.814772, 'baz', ' '],     
    [-0.222552, '   ', 4],
    [-1.176781,  'qux', ''],         
], columns="A B C".split(), index=pd.date_range('2000-01-01','2000-01-06'))

Beachten Sie auch, dass ‘fo o’ nicht durch Nan ersetzt wird, obwohl es ein Leerzeichen enthält. Beachten Sie außerdem, dass ein einfaches:

df.replace(r'', np.NaN)

Funktioniert auch nicht – ausprobieren.

Question 4

Wie wäre es mit:

d = d.applymap(lambda x: np.nan if isinstance(x, basestring) and x.isspace() else x)

Der applymap function wendet eine Funktion auf jede Zelle des Datenrahmens an.

Question 5

Ich tat dies:

df = df.apply(lambda x: x.str.strip()).replace('', np.nan)

oder

df = df.apply(lambda x: x.str.strip() if isinstance(x, str) else x).replace('', np.nan)

Sie können alle str entfernen und dann leere str durch ersetzen np.nan.

Question 6

Wenn Sie die Daten aus der CSV-Datei exportieren, kann es so einfach sein:

df = pd.read_csv(file_csv, na_values=" ")

Dadurch wird der Datenrahmen erstellt und leere Werte als Na ersetzt

Question 7

Einfachste aller Lösungen:

df = df.replace(r'^s+$', np.nan, regex=True)

Question 8

Für eine sehr schnelle und einfache Lösung, bei der Sie die Gleichheit mit einem einzelnen Wert prüfen, können Sie die verwenden mask Methode.

df.mask(df == ' ')