Neu: Temperatur, Lüfter, Netzteile und SSD-Zustand je Server. Hardware-Gesundheit ansehen

Kostenlos testen

Eine GPU, die nichts rechnet, kostet weiter. PeakNode zeigt je Karte, seit wann sie stillsteht und welcher Prozess sie trotzdem belegt. Tragen Sie Ihren Satz je GPU-Stunde ein, steht daneben der Betrag in Euro, für 7 und für 30 Tage. Dazu kommt der Energiebedarf der GPUs in kWh.

Beispiel: 6 GPU-Server mit 29 GPUs, Höhe nach Auslastung. Mit der Maus drehbar.

Was ist Leerlauf und Energie?

PeakNode wertet je GPU aus, ob die Auslastung unter 5 % liegt, und zeigt, seit wann die Karte im Leerlauf ist und welche Prozesse sie halten. Aus den gespeicherten Berichten entstehen GPU-Stunden im Leerlauf für 7 und 30 Tage, mit hinterlegten Kosten je GPU-Stunde auch als Betrag in Euro. Die gemeldete Leistungsaufnahme der GPUs rechnet das Portal über die Zeit zu kWh zusammen, mit Strompreis zu Kosten.

GPU-Nodes im Portal: Kopfzeile „1 GPU im kritischen Zustand“ mit Auslastung, GPUs im Leerlauf, GPU-Speicher, Leistung und heißester GPU der Flotte, darunter die Tabelle der sechs Knoten mit Auslastung, GPU-Speicher, heißester GPU, Leistung, GPU-Gesundheit und Status.
Aufnahme aus dem Portal mit Beispieldaten.

Auslastung und Leerlauf im Portal

  • Eine Schwelle für alles: Unter 5 % Auslastung gilt eine GPU als im Leerlauf.
  • Zeiten ohne Bericht zählen weder als Leerlauf noch als Betrieb.
  • Die Energie ist die der GPUs, ohne CPU, Netzteilverluste und Kühlung.

Was PeakNode zu Leerlauf und Energie zeigt

Die Zahlen kommen aus den gespeicherten Berichten des Agenten. Was nicht gemessen wurde, steht als „-“ da und nicht als Null.

Leerlauf je GPU, mit „seit wann“

Liegt eine Karte unter 5 % Auslastung, merkt sich das Portal den Beginn. Nach einer Sendepause beginnt die Zählung neu: Ein Server, der übers Wochenende aus war, steht also nicht „seit 3 Tagen im Leerlauf“. Liefert der Treiber keine Auslastung, etwa bei MIG, bleibt der Zustand unbekannt.

Wer eine GPU belegt

Zu jeder Karte zeigt PeakNode die Prozesse mit PID, Name, belegtem Speicher und Nutzer. So sehen Sie, wer eine GPU hält, auf der nichts rechnet. Die Prozessliste gibt es mit dem Linux-Agenten. Kommandozeilen sendet er nicht, und in Containern sieht er nur Prozesse des eigenen Namespace.

Alarm bei langem Leerlauf

Die Alarm-Metrik „GPU-Leerlauf (Minuten)“ löst aus, wenn eine GPU länger als die eingestellte Zeit stillsteht. Maßgeblich ist die Karte mit dem längsten Leerlauf, einstellbar sind bis zu 10.080 Minuten, also sieben Tage. In einem Wartungsfenster ruht der Alarm wie alle Grenzwert-Alarme.

Leerlaufkosten in Euro

Je Server-Monitor hinterlegen Sie optional die Kosten je GPU-Stunde, zum Beispiel Miete oder Abschreibung plus Strom. PeakNode multipliziert sie mit den GPU-Stunden im Leerlauf der letzten 7 und 30 Tage. Bei einer Vorhaltezeit von 14 Tagen wird der längere Zeitraum auf 14 Tage gekürzt.

Energie in kWh und Euro

Aus der gemeldeten Leistung der GPUs rechnet das Portal die Energie für heute, diesen Monat, den gewählten Zeitraum und seit Einrichtung. Mit einem Strompreis je kWh stehen die Kosten daneben. Es ist die Boardleistung der GPUs, nicht der Verbrauch des ganzen Servers.

Alle Server auf der Seite GPU-Nodes

Eine Seite für die ganze Flotte: wie viele GPUs im Leerlauf sind, die Energie seit Mitternacht und die Auslastung der letzten 24 Stunden in 15-Minuten-Schritten. Darunter jede Karte mit „Leerlauf seit“ und ihren Prozessen, dazu Energie und Leerlaufkosten je Server.

Leerlaufkosten je Server

Beispiel

Server-MonitorKosten je GPU-StundeLeerlauf 7 TageLeerlauf 30 Tage
hgx-02 (8 GPUs)2,50 €412,5 GPU-Stunden ≈ 1.031,25 €1.520,0 GPU-Stunden ≈ 3.800,00 €
ws-labor-1 (1 GPU)-96,0 GPU-Stunden388,5 GPU-Stunden

Bezeichnungen wie im Portal. Ohne hinterlegte Kosten zeigt die Tabelle nur GPU-Stunden.

So entstehen die Zahlen

Alle Werte lassen sich aus den gespeicherten Berichten nachrechnen. Beim Leerlauf wird nichts geschätzt, die Energie überbrückt fehlende Berichte nur bis zur Offline-Grenze.

KennzahlWie sie entstehtWo sie steht
Leerlauf seitZeitpunkt der ersten Meldung unter 5 % Auslastung, weitergetragen, solange die GPU unbeschäftigt bleibtKarte je GPU im Server-Monitor, Seite GPU-Nodes
GPUs im LeerlaufGPUs mit weniger als 5 % Auslastung in der letzten MeldungSeite GPU-Nodes
GPU-Leerlauf (Minuten)längster Leerlauf einer GPU des ServersAlarmregel am Server-Monitor
Leerlauf in GPU-StundenSumme aus GPUs im Leerlauf mal Dauer je Bericht, für 7 und 30 TageKarte „Leerlaufkosten“ im Server-Monitor und auf GPU-Nodes, API
LeerlaufkostenGPU-Stunden im Leerlauf mal hinterlegte Kosten je GPU-StundeKarte „Leerlaufkosten“, SLA- und Monatsbericht
GPU-EnergieMittel zweier aufeinanderfolgender Leistungswerte mal Abstand der BerichteServer-Monitor, GPU-Nodes, SLA- und Monatsbericht
EnergiekostenkWh mal hinterlegter StrompreisServer-Monitor, GPU-Nodes
Verdacht auf HängerAuslastung ab 90 %, während die Leistung über mehrere Meldungen unter 30 % des Limits bleibtKennzeichen an der GPU

Der umgekehrte Fall zum Leerlauf trägt das Kennzeichen „Verdacht auf Hänger“: hohe Auslastung bei sehr geringer Leistungsaufnahme, oft ein wartender Prozess statt echter Rechenlast. Solange die Berichte eines Zeitraums noch nicht zusammengefasst sind, steht dort „wird berechnet“.

Einrichtung in drei Schritten

Leerlauf und Energie misst PeakNode ab der ersten Meldung. Für Beträge in Euro fehlen dann nur Ihr Satz je GPU-Stunde und Ihr Strompreis.

  1. Server-Monitor mit Linux-Agent

    Der Linux-Agent liest NVIDIA-GPUs einmal pro Sekunde und meldet je Bericht den Mittelwert. Das ist bei Last in kurzen Schüben wichtig: Eine Momentaufnahme pro Minute zeigt dort 0 oder 100 %.

  2. Kosten je GPU-Stunde und Strompreis hinterlegen

    Im Server-Monitor unter „Erweiterte Einstellungen“. Beide Angaben sind optional. Ohne sie zeigt das Portal GPU-Stunden und kWh, mit ihnen die Beträge.

  3. Leerlauf-Alarm setzen

    Alarm hinzufügen, Metrik „GPU-Leerlauf (Minuten)“ wählen und die Dauer festlegen, ab der Sie es wissen wollen. Der Alarm geht an die Kanäle des Monitors.

Wie erkenne ich, welche GPU im Leerlauf ist?

PeakNode kennzeichnet jede GPU mit weniger als 5 % Auslastung als Leerlauf und zeigt, seit wann das so ist. Die Seite GPU-Nodes zählt die Karten im Leerlauf über alle Server.

Wie berechnet PeakNode die Leerlaufkosten einer GPU?

Aus den gespeicherten Berichten: Jede GPU, die in einem Bericht unter 5 % Auslastung liegt, zählt für die Dauer bis zum vorigen Bericht als Leerlauf, höchstens für ein Sendeintervall plus 10 %. Die Summe sind GPU-Stunden im Leerlauf. Multipliziert mit Ihren Kosten je GPU-Stunde ergibt das den Betrag für 7 und 30 Tage.

Misst PeakNode den Stromverbrauch des ganzen Servers?

Nein. Gemessen wird die Boardleistung der GPUs, wie nvidia-smi sie meldet, über die Zeit zu kWh zusammengerechnet. CPU, Netzteilverluste und Kühlung sind nicht enthalten.

Zählt eine GPU mit geladenem Modell als Leerlauf?

Ja, wenn ihre Auslastung unter 5 % liegt. PeakNode bewertet die Auslastung, nicht den belegten Speicher. Ein Inferenz-Server ohne Anfragen erscheint deshalb als Leerlauf, auch wenn das Modell geladen ist.

Was passiert mit Zeiten, in denen der Server nicht gemeldet hat?

Beim Leerlauf zählen sie nicht: Ein Bericht steht höchstens für ein Sendeintervall plus 10 %, größere Abstände sind Lücken. Die Energie rechnet über einen Abstand bis zur Offline-Grenze mit dem Mittel der beiden Leistungswerte, längere Pausen zählen auch dort nicht. Ohne einen einzigen Bericht im Zeitraum steht „-“ statt 0.

Stehen Leerlauf und Energie auch im Monatsbericht?

Ja. Der SLA- und Monatsbericht führt je Server die GPU-Energie in kWh und den Leerlauf in GPU-Stunden, mit hinterlegten Kosten auch als Betrag. Beides liefert auch die API.

Was kostet eine GPU-Stunde?

Das hängt von Ihrer Rechnung ab: bei gemieteten GPUs der Stundensatz des Anbieters, bei eigenen Servern zum Beispiel Abschreibung plus Strom, geteilt durch die Stunden. Diesen Satz tragen Sie je Server-Monitor ein, PeakNode rechnet damit die Kosten der GPU-Stunden im Leerlauf aus. Für den Stromanteil liefert das Portal die gemessene Energie der GPUs in kWh.

Ist 100 % GPU-Auslastung schlimm?

Nein, bei Training und Inferenz ist hohe Auslastung erwünscht. Auffällig wird sie, wenn die Karte dabei kaum Leistung aufnimmt: Ab 90 % Auslastung bei weniger als 30 % des Leistungslimits über drei Meldungen in Folge markiert PeakNode die GPU als Verdacht auf einen hängenden Prozess. Drosselt eine Karte wegen Hitze, zeigt das die Hardware-Gesundheit.

Sehen, was stillstehende GPUs kosten

Konto anlegen, Server-Monitor erstellen, Agenten installieren, Satz je GPU-Stunde eintragen. Der Tarif Proof of Concept ist kostenlos.