Monitoring für NVIDIA DGX Spark
Sehen Sie für jeden Spark, ob die GPU arbeitet oder stillsteht, wie voll Speicher und Festplatte sind, wie warm das Gerät läuft und wie viel Leistung es aufnimmt. Fällt ein Gerät aus oder meldet der Agent nichts mehr, werden Sie benachrichtigt.
DGX-Spark-Monitoring mit PeakNode heißt: Jeder Spark bekommt einen Server-Monitor, der Agent läuft per Cron auf DGX OS und sendet GPU-Auslastung, Speicher, Temperatur, Leistungsaufnahme, Festplatte und Netzwerk an das Portal. Alle Sparks eines Teams stehen auf einer Seite, mit Offline-Alarm nach drei ausgefallenen Intervallen und Schwellwert-Alarmen je Gerät.
- Agent: bash, curl, awk und nvidia-smi, nichts weiter wird installiert.
- Werte ohne Schätzung: Was nvidia-smi nicht liefert, erscheint als „-“.
- Benachrichtigung per E-Mail, Microsoft Teams, Slack, Webhook und weitere.
| GPU | Auslastung | Speicher | Temperatur | Leistung | Takt |
|---|---|---|---|---|---|
| NVIDIA RTX PRO 6000 Blackwell (Leerlauf) | 0 % | 0 / 95,6 GiB | 29 °C | 28,9 / 600 W | 180 MHz |
| NVIDIA RTX PRO 6000 Blackwell (unter Last) | 100 % | 0,5 / 95,6 GiB | 53 °C | 360,8 / 600 W | 2.422 MHz |
| NVIDIA H100 80GB HBM3, Karte 3 von 8 (unter Last) | 100 % | 3,6 / 79,6 GiB | 52 °C | 698 / 700 W | 1.905 MHz |
Was PeakNode für Spark-Betreiber löst
Ein Spark auf dem Schreibtisch braucht kein Monitoring. Fünf Sparks in einem Team schon: Wer ist frei, wessen Platte ist voll, welches Gerät ist seit heute Morgen still?
Alle Nodes auf einer Seite
Alle Sparks auf einer Seite: GPU-Auslastung je Gerät, belegter Speicher, heißestes Gerät, Gesamtleistung und die Zahl der GPUs unter 5 % Auslastung. So sehen Sie sofort, wo Kapazität frei ist.
Offline-Erkennung
Meldet ein Gerät drei Intervalle lang keine Daten, gilt es als offline und Sie werden benachrichtigt. Meldet es sich wieder, kommt die Entwarnung automatisch.
Alarme auf Schwellwerte
Regeln wie „GPU-Temperatur über 80 °C" oder „Festplatte über 90 %", wahlweise erst nach mehreren aufeinanderfolgenden Messungen, damit kurze Spitzen keinen Alarm auslösen.
Verlauf je GPU
Auslastung, Speicher, Temperatur und Leistung als Zeitreihe je Karte, mit Datumsauswahl und Export als CSV oder JSON.
Ein Token je Gerät
Jeder Server-Monitor hat sein eigenes Zugangstoken. Ein kompromittiertes Gerät gibt nichts außer seinen eigenen Messwerten preis.
Ihre Kanäle
Benachrichtigungen per E-Mail, Microsoft Teams, Slack, Discord, Telegram, Google Chat, WhatsApp, SMS, Anruf, ntfy, Push oder Webhook.
Was gemessen wird
Der Agent ist ein Shell-Skript, das per Cron läuft. Es liest die Werte direkt aus dem NVIDIA-Treiber und dem Linux-Kernel und sendet sie als JSON an das Portal. Es gibt keine Schätzwerte: Was eine Quelle nicht liefert, erscheint als „-".
| Messwert | Quelle auf dem Gerät | Takt |
|---|---|---|
| GPU-Auslastung, Speicher, Temperatur, Leistung und Limit, Takt, Lüfter | nvidia-smi (NVIDIA-Treiber), je GPU | im gewählten Intervall, ab 1 Minute |
| MIG-Instanzen (partitionierte GPUs) | nvidia-smi, Abschnitt MIG Device | im gewählten Intervall |
| CPU-Auslastung und Lastdurchschnitt | /proc/stat, /proc/loadavg | über das Messintervall gemittelt |
| Arbeitsspeicher gesamt und belegt | /proc/meminfo, in Containern die cgroup-Grenzen | im gewählten Intervall |
| Festplatte gesamt und belegt | df (Root-Dateisystem) | im gewählten Intervall |
| Netzwerk: Durchsatz und Gesamtvolumen seit Start | /proc/net/dev, ohne Loopback | Durchsatz über 3 Sekunden gemessen |
| System: Modell, Kerne, Takt, Betriebssystem, Kernel, Uptime | /proc/cpuinfo, lscpu, /etc/os-release, /proc/uptime | bei jeder Meldung |
Intervalle: 1, 5, 10, 15 oder 30 Minuten, je nach Tarif. Verifiziert auf NVIDIA RTX PRO 6000 Blackwell, H100 (8-GPU-HGX mit NVLink) und B300 mit MIG. DGX OS bringt den NVIDIA-Treiber und nvidia-smi mit, der Agent nutzt genau diese Schnittstelle.
Einrichtung in drei Schritten
Kein Root-Dienst, keine Firewall-Freigabe nach innen. Der Spark sendet, das Portal empfängt.
Konto und Server-Monitor anlegen
Registrieren, „Server-Monitoring" öffnen, einen Monitor mit dem Namen des Sparks anlegen und das Messintervall wählen.
Eine Zeile auf dem Spark ausführen
Der Install-Befehl lädt das Agent-Skript mit dem Token dieses Geräts und trägt es in die Crontab ein.
curl -fsSL "https://peaknode.de/server-monitor-code// ?os=linux" -o peaknode.sh chmod +x peaknode.sh && (crontab -l; echo "* * * * * /bin/bash $PWD/peaknode.sh") | crontab -
Alarme und Kanäle festlegen
Ab der ersten Meldung sehen Sie die Werte. Legen Sie Schwellwerte fest und wählen Sie, wohin Alarme gehen.
Häufige Fragen
PeakNode für Ihren Anwendungsfall
Den ersten Spark in fünf Minuten im Portal
Konto anlegen, Monitor erstellen, eine Zeile auf dem Gerät ausführen.
Jetzt starten