Neu: Temperatur, Lüfter, Netzteile und SSD-Zustand je Server. Hardware-Gesundheit ansehen

Kostenlos testen
Hardware-Gesundheit im Portal: Kopfzeile „2 kritische Hardware-Ereignisse in 24 h“, der Zustand der Flotte als Raster mit einer Zeile je Server und einer Spalte je Bauteilgruppe (GPUs, CPU, RAM, Laufwerke, Kühlung, Netzteile, Netz), die Ereignisse der letzten 14 Tage als Balken und die Liste der Ereignisse mit Zeitpunkt, Server, Schweregrad und Wortlaut.

Ob eine Grafikkarte fehlerfrei rechnet, zeigt kein Auslastungsdiagramm. Speicherfehler oder eine ausgefallene Karte stehen im Systemprotokoll des Servers und in den Fehlerzählern des NVIDIA-Treibers. PeakNode liest beides, ordnet jedes Ereignis der betroffenen Karte zu und meldet Kritisches sofort an Ihre Kanäle.

Aufnahme aus dem Portal mit Beispieldaten.

Was ist Hardware-Gesundheit?

Die Hardware-Gesundheit in PeakNode wertet je NVIDIA-GPU aus, was über Ausfall oder Service entscheidet: Xid-Meldungen (Fehlernummern des NVIDIA-Treibers im Kernel-Log), ECC-Speicherfehler, Row Remapping (Ersatz defekter Speicherzeilen), den PCIe-Link, Drosselgründe, fehlende Karten und Treiberfehler. Der Linux-Agent liest dafür journalctl oder dmesg und nvidia-smi. Das Portal ordnet die Ereignisse der Karte zu, stuft sie als kritisch, Warnung oder Hinweis ein und meldet kritische Ereignisse und Warnungen über die Kanäle des Server-Monitors.

GPUs des Knotens hgx-02 im Portal: Tabelle der acht NVIDIA H100 mit Auslastung, Speicherbelegung, Temperatur, Leistungsaufnahme und Takt je Karte, darunter der Verlauf der Auslastung je GPU.
Aufnahme aus dem Portal mit Beispieldaten.

Hardware-Gesundheit im Portal

  • Elf Xid-Codes gelten als kritisch, darunter 79 (Karte vom Bus) und 48 (Double-Bit-ECC).
  • Jedes Ereignis wird einmal erfasst, dieselbe Xid-Meldung nicht wiederholt.
  • Voraussetzung: Linux-Agent und NVIDIA-GPUs. Was der Treiber nicht liefert, steht als „-“ im Portal.

Welche Fehler PeakNode an der GPU erkennt

Alle Werte stammen aus nvidia-smi und dem Kernel-Log. PeakNode schätzt nichts dazu: Ein unbekannter Wert bleibt unbekannt.

Xid-Meldungen mit Einstufung

Xid ist die Fehlernummer, die der NVIDIA-Treiber ins Kernel-Log schreibt. PeakNode liest sie aus journalctl oder dmesg und stuft sie ein: Elf Codes wie 79 (Karte vom Bus) oder 48 (Double-Bit-ECC) sind kritisch, vier gelten als Hinweis, alle anderen als Warnung.

Speicherfehler und ersetzte Speicherzeilen

Neue nicht korrigierbare ECC-Fehler sind kritisch. Bei korrigierten Fehlern warnt PeakNode erst, wenn sie gegenüber dem eigenen Verlauf der Karte stark zunehmen. Kann die GPU eine defekte Speicherzeile nicht mehr ersetzen (Row Remapping fehlgeschlagen), muss sie in den Service.

PCIe-Link unter Maximum

Der PCIe-Link ist die Verbindung zwischen Karte und Mainboard. PeakNode vergleicht seine Generation und Breite mit dem, was die Karte kann: Gen4 x8 statt Gen5 x16 trägt das Kennzeichen „PCIe unter Maximum“. Weil Links im Leerlauf regulär herunterschalten, zählt der Befund nur bei einer Auslastung ab 50 %.

Drosselgrund statt nur Temperatur

Das Portal zeigt, warum eine Karte bremst: Power Cap, HW Slowdown, HW thermisch, HW Power Brake, SW thermisch oder Application Clocks. Liegt ein thermischer Grund über drei Meldungen in Folge an, entsteht ein Ereignis mit der Temperatur.

Fehlende GPU und Treiberfehler

Melden weniger Karten als erwartet, ist das kritisch. Erwartet wird automatisch die höchste bisher gesehene Anzahl. Antwortet nvidia-smi nicht mehr, meldet der Agent den Treiberfehler, und das Portal zeigt die letzten bekannten Werte mit dem Hinweis, dass sie nicht aktuell sind.

Alle Server auf der Seite „Hardware-Gesundheit“

Eine Seite für die ganze Flotte: GPUs mit Befund, kritische Ereignisse und Warnungen der letzten 24 Stunden und die Zahl der Server mit lesbarem Kernel-Log. Darunter die Ereignisse der letzten 14 Tage, der Zustand aller GPUs und die 150 neuesten Ereignisse, nach Schweregrad filterbar.

Was wann gemeldet wird

Kritische Ereignisse gehen sofort hinaus. Warnungen, die eine planbare Aufgabe beschreiben, sammelt NodeCare und schickt sie als Zusammenfassung am Morgen.

WasWoherWann gemeldet
Xid 44, 48, 63, 64, 74, 79, 92, 94, 95, 119, 120Kernel-Log (journalctl -k, ersatzweise dmesg)sofort, kritisch
Xid ohne kritische EinstufungKernel-Logsofort, Warnung
Xid 13, 31, 43, 45Kernel-LogHinweis in der Ereignisliste, keine Benachrichtigung
Neue nicht korrigierbare ECC-Fehlernvidia-smi, Zähler seit dem Laden des Treiberssofort, kritisch
Row Remapping fehlgeschlagennvidia-smi --query-remapped-rowssofort, kritisch
Row Remapping ausstehendnvidia-smi --query-remapped-rowsWarnung, in der NodeCare-Zusammenfassung um 08:00 Uhr
Mehr Remapped Rows als beim letzten Standnvidia-smi --query-remapped-rowssofort, Warnung
Korrigierte ECC-Fehler stark gestiegennvidia-smi und der eigene Verlauf der KarteWarnung, in der NodeCare-Zusammenfassung um 08:00 Uhr
Thermische Drosselung über drei Meldungen in Folgenvidia-smi, DrosselgründeWarnung, in der NodeCare-Zusammenfassung um 08:00 Uhr
PCIe-Link unter Maximum bei Lastnvidia-smi, Link aktuell und maximalKennzeichen an der GPU, nach drei Berichten in Folge NodeCare-Hinweis „Beobachten“
Weniger GPUs als erwartetZahl der gemeldeten Karten gegen die erwartetesofort, kritisch
GPU-Treiber antwortet nichtnvidia-smi scheitert oder läuft ins Zeitlimitsofort, kritisch, einmal je Tag, solange es anhält

Benachrichtigt wird nur, wenn am Server-Monitor „Alarm bei Hardware-Ereignissen“ eingeschaltet und ein Kanal hinterlegt ist. Neben den GPUs zeigt die Seite je Server auch CPU-Temperatur, Arbeitsspeicher, Laufwerke, Lüfter und Netzteile, sobald der Linux-Agent ab Version 11 die Werte liefert (hwmon, EDAC, SMART, BMC). Nicht erfasst sind DCGM-Profilmetriken.

Häufig gesuchte Xid-Codes und ihre Einstufung

Die Bezeichnung steht so im Portal und in der Benachrichtigung. Maßgeblich für die Bedeutung eines Codes ist der Xid-Katalog von NVIDIA.

XidBezeichnung im PortalEinstufung in PeakNode
13Graphics engine exceptionHinweis
31GPU memory page faultHinweis
43GPU stopped processingHinweis
45Preemptive cleanup (process terminated)Hinweis
48Double bit ECC error (DBE)Kritisch
79GPU has fallen off the busKritisch
94Contained ECC errorKritisch
95Uncontained ECC errorKritisch
109Context switch timeout errorWarnung
119GSP RPC timeoutKritisch

Hinweise stehen nur in der Ereignisliste, Warnungen und kritische Ereignisse werden gemeldet. Ein Code ohne Bezeichnung im Portal erscheint mit seiner Nummer und gilt als Warnung.

Einrichtung in drei Schritten

Die Hardware-Gesundheit ist kein eigenes Modul. Sie ist da, sobald der Linux-Agent von einem Server mit NVIDIA-GPUs meldet.

  1. Agent als root installieren

    Der Agent muss das Kernel-Log lesen können, deshalb läuft sein Cronjob als root. Ist das Log nicht lesbar, was in Containern oft der Fall ist, zeigt das Portal „Kernel-Log auf diesem Server nicht lesbar“ statt null Ereignisse.

  2. Erwartete Anzahl GPUs prüfen

    PeakNode setzt den Wert auf die höchste gesehene Anzahl. Bauen Sie eine Karte bewusst aus, passen Sie die Zahl im Server-Monitor an. Mit 0 ist die Prüfung abgeschaltet.

  3. Alarm bei Hardware-Ereignissen einschalten

    Im Server-Monitor die Kanäle wählen und den Alarm einschalten. Ab dann gehen kritische Ereignisse sofort hinaus.

Was ist die Hardware-Gesundheit in PeakNode?

Der Teil von PeakNode, der Fehler an NVIDIA-GPUs aufzeichnet und einstuft: Xid-Meldungen, ECC-Fehler, Row Remapping, PCIe-Link, Drosselung, fehlende Karten und Treiberfehler. Kritisches meldet er sofort über die Kanäle des Server-Monitors.

Was bedeutet Xid 79, und welche Xid-Fehler sind kritisch?

Xid 79 heißt im Portal „GPU has fallen off the bus“: Die Karte ist vom Bus gefallen. PeakNode meldet das sofort als kritisch, mit der betroffenen GPU. Kritisch sind außerdem die Codes 44, 48, 63, 64, 74, 92, 94, 95, 119 und 120. Die Codes 13, 31, 43 und 45 sind Hinweise ohne Benachrichtigung, alle übrigen Warnungen.

Wie geht PeakNode mit ECC-Fehlern auf der GPU um?

Neue nicht korrigierbare Fehler meldet PeakNode sofort als kritisch. Bei korrigierten Fehlern warnt es erst, wenn sie in 24 Stunden mindestens 100 erreichen und das Zehnfache des Tagesmittels der 14 Tage davor, frühestens nach rund 8 Tagen Verlauf. Die Zähler sind die des Treibers und beginnen nach dessen Laden wieder bei null.

Was heißt Row Remapping ausstehend oder fehlgeschlagen?

Ab der Ampere-Generation ersetzt eine NVIDIA-GPU defekte Speicherzeilen. Ausstehend heißt: Die Ersatzzeile wird erst nach einem Reset der GPU aktiv, NodeCare führt das als Aufgabe für das nächste Wartungsfenster. Fehlgeschlagen heißt: Die Karte kann eine defekte Zeile nicht mehr ersetzen und muss in den Service, PeakNode meldet das als kritisch.

Warum zeigt PeakNode bei manchen GPUs nur einen Strich?

Weil der Treiber den Wert für diese Karte nicht liefert. ECC, HBM-Temperatur und Row Remapping gibt es bei Datacenter-GPUs, Consumer-Karten melden dort „N/A“. PeakNode zeigt dann „-“ und erzeugt daraus weder ein Ereignis noch eine Null.

Funktioniert die Hardware-Gesundheit unter Windows?

Nein. Xid, ECC, Row Remapping, PCIe und Drosselgründe liefert nur der Linux-Agent. Der Windows-Agent meldet von NVIDIA-GPUs nur Grundwerte wie Auslastung, Speicher, Temperatur und Leistung, der macOS-Agent keine GPU-Werte.

Worin unterscheidet sich die Hardware-Gesundheit von NodeCare?

Die Hardware-Gesundheit zeichnet Ereignisse auf, sobald sie auftreten, und meldet Kritisches sofort. NodeCare macht daraus und aus dem Verlauf einen Wartungsplan mit Stufen, Termin und Empfehlung. Beide nutzen dieselben Messwerte des Agenten.

Was bedeuten Xid 31, 43 und 94?

Xid 31 heißt im Portal „GPU memory page fault“, ein Fehler beim Speicherzugriff, Xid 43 „GPU stopped processing“ und Xid 94 „Contained ECC error“, ein eingegrenzter Speicherfehler. PeakNode führt 31 und 43 als Hinweis ohne Benachrichtigung und 94 als kritisch. Die Einstufung weiterer Codes steht in der Tabelle oben.

Ist ein einzelner ECC-Fehler ein Grund, die GPU zu tauschen?

Für PeakNode ist ein einzelner korrigierter ECC-Fehler kein Befund, gewarnt wird erst bei einem starken Anstieg. Neue nicht korrigierbare Fehler und ein fehlgeschlagenes Row Remapping meldet PeakNode als kritisch. Ob getauscht wird, entscheiden Händler oder Hersteller, den Beleg für die Reklamation erstellt NodeCare als PDF.

Wie hoch darf die Temperatur einer GPU sein?

Das hängt vom Modell ab, eine feste Grenze für alle GPUs gibt es nicht. Die Grenzen der eigenen Karte zeigt nvidia-smi -q im Abschnitt Temperature, etwa die Temperatur, ab der die Karte drosselt. PeakNode meldet, wenn eine GPU wegen Hitze drosselt, und alarmiert auf Wunsch ab einem eigenen Grenzwert, siehe GPU-Server-Monitoring.

Sehen, was im Kernel-Log Ihrer GPU-Server steht

Konto anlegen, Server-Monitor erstellen, den Agenten als root installieren. Ab der ersten Meldung wertet PeakNode Xid, ECC und PCIe je Karte aus.