Wie erkenne ich, welche GPU im Leerlauf ist?
PeakNode kennzeichnet jede GPU mit weniger als 5 % Auslastung als Leerlauf und zeigt, seit wann das so ist. Die Seite GPU-Nodes zählt die Karten im Leerlauf über alle Server.
Wie berechnet PeakNode die Leerlaufkosten einer GPU?
Aus den gespeicherten Berichten: Jede GPU, die in einem Bericht unter 5 % Auslastung liegt, zählt für die Dauer bis zum vorigen Bericht als Leerlauf, höchstens für ein Sendeintervall plus 10 %. Die Summe sind GPU-Stunden im Leerlauf. Multipliziert mit Ihren Kosten je GPU-Stunde ergibt das den Betrag für 7 und 30 Tage.
Misst PeakNode den Stromverbrauch des ganzen Servers?
Nein. Gemessen wird die Boardleistung der GPUs, wie nvidia-smi sie meldet, über die Zeit zu kWh zusammengerechnet. CPU, Netzteilverluste und Kühlung sind nicht enthalten.
Zählt eine GPU mit geladenem Modell als Leerlauf?
Ja, wenn ihre Auslastung unter 5 % liegt. PeakNode bewertet die Auslastung, nicht den belegten Speicher. Ein Inferenz-Server ohne Anfragen erscheint deshalb als Leerlauf, auch wenn das Modell geladen ist.
Was passiert mit Zeiten, in denen der Server nicht gemeldet hat?
Beim Leerlauf zählen sie nicht: Ein Bericht steht höchstens für ein Sendeintervall plus 10 %, größere Abstände sind Lücken. Die Energie rechnet über einen Abstand bis zur Offline-Grenze mit dem Mittel der beiden Leistungswerte, längere Pausen zählen auch dort nicht. Ohne einen einzigen Bericht im Zeitraum steht „-“ statt 0.
Stehen Leerlauf und Energie auch im Monatsbericht?
Ja. Der SLA- und Monatsbericht führt je Server die GPU-Energie in kWh und den Leerlauf in GPU-Stunden, mit hinterlegten Kosten auch als Betrag. Beides liefert auch die API.
Was kostet eine GPU-Stunde?
Das hängt von Ihrer Rechnung ab: bei gemieteten GPUs der Stundensatz des Anbieters, bei eigenen Servern zum Beispiel Abschreibung plus Strom, geteilt durch die Stunden. Diesen Satz tragen Sie je Server-Monitor ein, PeakNode rechnet damit die Kosten der GPU-Stunden im Leerlauf aus. Für den Stromanteil liefert das Portal die gemessene Energie der GPUs in kWh.
Ist 100 % GPU-Auslastung schlimm?
Nein, bei Training und Inferenz ist hohe Auslastung erwünscht. Auffällig wird sie, wenn die Karte dabei kaum Leistung aufnimmt: Ab 90 % Auslastung bei weniger als 30 % des Leistungslimits über drei Meldungen in Folge markiert PeakNode die GPU als Verdacht auf einen hängenden Prozess. Drosselt eine Karte wegen Hitze, zeigt das die Hardware-Gesundheit.