Gibt es eine integrierte Möglichkeit, die Länge einer Iterable in Python zu ermitteln?

Beispielsweise sind Dateien in Python iterierbar – sie iterieren über die Zeilen in der Datei. Ich möchte die Anzahl der Zeilen zählen.

Eine schnelle Möglichkeit ist dies:

lines = len(list(open(fname)))

Dies lädt jedoch die gesamte Datei (auf einmal) in den Speicher. Dies widerspricht eher dem Zweck eines Iterators (der nur die aktuelle Zeile im Speicher behalten muss).

Das funktioniert nicht:

lines = len(line for line in open(fname))

da Generatoren keine Länge haben.

Gibt es eine Möglichkeit, dies zu tun, ohne eine Zählfunktion zu definieren?

def count(i):
    c = 0
    for el in i: c += 1
    return c

Zur Verdeutlichung verstehe ich, dass die gesamte Datei gelesen werden muss! Ich will es nur nicht auf einmal in Erinnerung haben

Kurz um das Iterable zu durchlaufen und die Anzahl der Iterationen zu zählen, nein. Das macht es zu einem iterierbaren und nicht zu einer Liste. Dies ist nicht einmal ein Python-spezifisches Problem. Sehen Sie sich die klassische Datenstruktur der verketteten Liste an. Das Ermitteln der Länge ist eine O(n)-Operation, bei der die gesamte Liste durchlaufen wird, um die Anzahl der Elemente zu ermitteln.

Wie oben erwähnt, können Sie Ihre Funktion wahrscheinlich reduzieren auf:

def count_iterable(i):
    return sum(1 for e in i)

Wenn Sie Ihr eigenes iterierbares Objekt definieren, können Sie es natürlich immer implementieren __len__ sich selbst und führen Sie irgendwo eine Elementzählung.

Wenn Sie eine Anzahl von Zeilen benötigen, können Sie dies tun, ich kenne keinen besseren Weg, dies zu tun:

line_count = sum(1 for line in open("yourfile.txt"))

Der cardinality Paket bietet eine effiziente count() Funktion und einige verwandte Funktionen zum Zählen und Überprüfen der Größe von Iterablen: http://cardinality.readthedocs.org/

import cardinality

it = some_iterable(...)
print(cardinality.count(it))

Intern verwendet es enumerate() und collections.deque() die gesamte eigentliche Schleifen- und Zähllogik auf die C-Ebene zu verschieben, was zu einer erheblichen Beschleunigung führt for Schleifen in Python.

Ich benutze diese Neudefinition seit einiger Zeit:

def len(thingy):
    try:
        return thingy.__len__()
    except AttributeError:
        return sum(1 for item in iter(thingy))

Es stellt sich heraus, dass es eine implementierte Lösung für dieses häufige Problem gibt. Erwägen Sie die Verwendung von ilen() Funktion ab more_itertools.

more_itertools.ilen(iterable)

Ein Beispiel für das Drucken einer Reihe von Zeilen in einer Datei (wir verwenden die with Anweisung zum sicheren Umgang mit schließenden Dateien):

# Example
import more_itertools

with open("foo.py", "r+") as f:
    print(more_itertools.ilen(f))

# Output: 433

Dieses Beispiel gibt das gleiche Ergebnis zurück wie die zuvor vorgestellten Lösungen zum Summieren von Zeilen in einer Datei:

# Equivalent code
with open("foo.py", "r+") as f:
    print(sum(1 for line in f))

# Output: 433

Absolut nicht, aus dem einfachen Grund, dass Iterables nicht garantiert endlich sind.

Betrachten Sie diese vollkommen legale Generatorfunktion:

def forever():
    while True:
        yield "I will run forever"

Versuch, die Länge dieser Funktion mit zu berechnen len([x for x in forever()]) wird eindeutig nicht funktionieren.

Wie Sie angemerkt haben, besteht ein Großteil des Zwecks von Iteratoren/Generatoren darin, an einem großen Datensatz arbeiten zu können, ohne ihn vollständig in den Speicher zu laden. Die Tatsache, dass Sie keine unmittelbare Länge erhalten können, sollte als Kompromiss betrachtet werden.

Da damals anscheinend die Duplizierung nicht aufgefallen ist, poste ich hier auch einen Auszug aus meiner Antwort auf die Duplikate:

Es gibt eine Möglichkeit, schneller als sinnvoll zu arbeiten sum(1 for i in it) wenn das Iterable lang sein kann (und nicht wesentlich langsamer, wenn das Iterable kurz ist), während das Overhead-Verhalten des festen Speichers beibehalten wird (im Gegensatz zu len(list(it))), um Swap-Thrashing und Neuzuordnungsaufwand für größere Eingaben zu vermeiden.

# On Python 2 only, get zip that lazily generates results instead of returning list
from future_builtins import zip

from collections import deque
from itertools import count

def ilen(it):
    # Make a stateful counting iterator
    cnt = count()
    # zip it with the input iterator, then drain until input exhausted at C level
    deque(zip(it, cnt), 0) # cnt must be second zip arg to avoid advancing too far
    # Since count 0 based, the next value is the count
    return next(cnt)

Mögen len(list(it)), ilen(it) führt die Schleife im C-Code auf CPython aus (deque, count und zip sind alle in C implementiert); Das Vermeiden der Ausführung von Bytecode pro Schleife ist normalerweise der Schlüssel zur Leistung in CPython.

Anstatt hier alle Leistungszahlen zu wiederholen, verweise ich Sie nur auf meine Antwort mit den vollständigen Leistungsdetails.