printf verlangsamt mein Programm

Ich habe ein kleines C-Programm zum Berechnen von Hashes (für Hash-Tabellen). Der Code sieht ziemlich sauber aus, hoffe ich, aber es gibt etwas, das nichts damit zu tun hat, was mich nervt.

Ich kann leicht ungefähr eine Million Hashes in ungefähr 0,2-0,3 Sekunden generieren (benchmarked mit /usr/bin/time). Wenn ich sie jedoch in der for-Schleife ausdrucke, verlangsamt sich das Programm auf etwa 5 Sekunden.

1. Warum ist das?
2. Wie macht man es schneller? mmapp() vielleicht stdout?
3. Wie ist die stdlibc diesbezüglich gestaltet und wie kann sie verbessert werden?
4. Wie könnte der Kernel es besser unterstützen? Wie müsste es geändert werden, um den Durchsatz für lokale “Dateien” (Sockets, Pipes usw.) WIRKLICH schnell zu machen?

Ich freue mich auf interessante und ausführliche Antworten. Vielen Dank.

PS: Dies ist für ein Compiler-Konstruktions-Toolset, also scheuen Sie sich nicht, ins Detail zu gehen. Das hat zwar nichts mit dem Problem selbst zu tun, aber ich wollte nur darauf hinweisen, dass mich Details interessieren.

Nachtrag

Ich suche nach mehr programmatischen Ansätzen für Lösungen und Erklärungen. In der Tat erledigt die Verrohrung die Arbeit, aber ich habe keine Kontrolle darüber, was der “Benutzer” tut.

Natürlich mache ich gerade einen Test, den “normale User” nicht machen würden. ABER das ändert nichts an der Tatsache, dass ein einfaches printf() einen Prozess verlangsamt, was das Problem ist, für das ich versuche, eine optimale programmatische Lösung zu finden.

Nachtrag – Erstaunliche Ergebnisse

Die Referenzzeit gilt für einfache Aufrufe von printf() innerhalb eines TTY und dauert etwa 4 Minuten und 20 Sekunden.

Testen unter /dev/pts (zB Konsole) beschleunigt die Ausgabe auf ca. 5 Sekunden.

Es dauert ungefähr die gleiche Zeit, wenn ich setbuffer() in meinem Testcode auf eine Größe von 16384 verwende, fast die gleiche für 8192: ungefähr 6 Sekunden.

setbuffer() hat offenbar keine Auswirkung bei der Verwendung: Es dauert die gleiche Zeit (auf einem TTY etwa 4 Minuten, auf einem PTS etwa 5 Sekunden).

Das Erstaunliche istwenn ich den Test auf TTY1 starte und dann Wechseln Sie zu einem anderen TTYes dauert genauso wie auf einem PTS: ca. 5 Sekunden.

Fazit: Der Kernel tut etwas, das mit Zugänglichkeit und Benutzerfreundlichkeit zu tun hat. HUH!

Normalerweise sollte es gleich langsam sein, egal ob Sie auf das TTY starren, während es aktiv ist, oder ob Sie zu einem anderen TTY wechseln.

Lektion: bei ausgabeintensiven Programmen auf einen anderen TTY umschalten!

Die ungepufferte Ausgabe ist sehr langsam.

Standardmäßig stdout ist vollständig gepuffert, aber wenn an das Terminal angeschlossen, stdout ist entweder ungepuffert oder zeilengepuffert.

Versuchen Sie, die Pufferung für einzuschalten stdout verwenden setvbuf()so was:

char buffer[8192];

setvbuf(stdout, buffer, _IOFBF, sizeof(buffer));

Sie könnten Ihre Zeichenfolgen in einem Puffer speichern und sie am Ende oder regelmäßig, wenn Ihr Puffer voll ist, in eine Datei (oder Konsole) ausgeben.

Bei der Ausgabe an eine Konsole ist das Scrollen normalerweise ein Killer.

Wenn Sie auf die Konsole drucken, ist es normalerweise extrem langsam. Ich bin mir nicht sicher warum, aber ich glaube, es kehrt nicht zurück, bis die Konsole die ausgegebene Zeichenfolge grafisch anzeigt. Außerdem können Sie nicht mmap() zu stdout.

Das Schreiben in eine Datei sollte viel schneller sein (aber immer noch um Größenordnungen langsamer als das Berechnen eines Hashs, alle I/Os sind langsam).

Sie können versuchen, die Ausgabe in der Shell von der Konsole in eine Datei umzuleiten. Damit lassen sich in Sekundenschnelle Protokolle mit einer Größe von Gigabyte erstellen.

1. I/O ist im Vergleich zur direkten Berechnung immer langsam. Das System muss warten, bis weitere Komponenten verfügbar sind, um sie verwenden zu können. Es muss dann auf die Antwort warten, bevor es weitermachen kann. Umgekehrt, wenn es sich nur um Berechnungen handelt, werden nur Daten zwischen den RAM- und CPU-Registern verschoben.

2. Ich habe das nicht getestet, aber es kann schneller sein, Ihre Hashes an eine Zeichenfolge anzuhängen und die Zeichenfolge dann einfach am Ende auszugeben. Wenn Sie C und nicht C++ verwenden, kann sich dies jedoch als mühsam erweisen!

3 und 4 sind mir schleierhaft, fürchte ich.

Da E/A immer viel langsamer ist als die CPU-Berechnung, können Sie alle Werte zuerst in schnellstmöglicher E/A speichern. Verwenden Sie also RAM, wenn Sie genug haben, verwenden Sie Dateien, wenn nicht, aber es ist viel langsamer als RAM.

Das Ausdrucken der Werte kann nun nachträglich oder parallel von einem anderen Thread erfolgen. Daher müssen die Berechnungsthreads möglicherweise nicht warten, bis printf zurückgekehrt ist.

Ich habe vor langer Zeit mit dieser Technik etwas entdeckt, das offensichtlich hätte sein sollen. E/A ist nicht nur langsam, insbesondere zur Konsole, auch das Formatieren von Dezimalzahlen ist nicht schnell. Wenn Sie die Zahlen in Binärform in große Puffer legen und diese in eine Datei schreiben können, werden Sie feststellen, dass es viel schneller geht.

Außerdem, wer wird sie lesen? Es hat keinen Sinn, sie alle in einem für Menschen lesbaren Format auszudrucken, wenn niemand sie alle lesen muss.