Neu: Temperatur, Lüfter, Netzteile und SSD-Zustand je Server. Hardware-Gesundheit ansehen

Kostenlos testen
Heartbeats im PeakNode-Portal: Kopfzeile „Alle Heartbeats pünktlich“ mit vier pünktlichen Jobs und dem nächsten erwarteten Lauf, darunter vier Heartbeats (Datenbank-Snapshot, ETL-Pipeline, Checkpoint-Upload, nächtliches Backup) mit Uptime und Verlauf über 24 Stunden.

Ein Backup, das seit drei Wochen nicht mehr läuft, erzeugt keine Fehlermeldung. Mit einem Heartbeat meldet sich der Job nach jedem erfolgreichen Lauf bei PeakNode. Bleibt dieses Lebenszeichen aus, erhalten Sie einen Alarm.

Aufnahme aus dem Portal mit Beispieldaten.

Was ist Heartbeats?

Cronjob-Monitoring mit Heartbeats überwacht Aufgaben, die von selbst laufen: Cronjobs (zeitgesteuerte Aufgaben auf dem Server), Backups, Trainings- und Evaluierungsläufe. In PeakNode erhält jeder Heartbeat eine eigene Adresse, die der Job nach jedem erfolgreichen Lauf aufruft. Sie legen fest, in welchem Abstand das Lebenszeichen erwartet wird und wie lange es sich verspäten darf. Bleibt es länger aus, öffnet PeakNode einen Vorfall und benachrichtigt die gewählten Kanäle.

Was ein Heartbeat für Sie tut

Ein Heartbeat kennt zwei Zustände: Das Lebenszeichen kam, oder es blieb aus. Scheitert der Job, ruft er die Adresse schlicht nicht auf.

Eine Adresse je Job

Jeder Heartbeat hat eine eigene Adresse mit einem zufälligen Code aus 32 Hex-Zeichen. Der Job ruft sie per GET oder POST auf, das Portal antwortet mit successful. Mehr braucht es nicht: kein Agent, keine Bibliothek, kein Token im Header.

Verspätung erlaubt, Ausbleiben nicht

Sie tragen ein, wie oft der Job läuft, und geben ihm eine Karenzzeit, etwa seine übliche Laufzeit. Erst wenn Intervall plus Karenzzeit ohne Aufruf verstrichen sind, gilt der Lauf als ausgeblieben. Die Vorgabe beim Anlegen ist 1 Stunde mit 5 Minuten Karenz.

Kein Alarm vor dem ersten Lauf

Ein neuer Heartbeat zeigt „Erster Lauf ausstehend“, die Frist läuft erst ab dem ersten Lebenszeichen. Sie können ihn also anlegen, bevor der Job zum ersten Mal läuft.

Alarm und Entwarnung

Ein ausgebliebener Lauf öffnet einen Vorfall mit dem Grund „Heartbeat zur erwarteten Zeit ausgeblieben“. Der Alarm geht an die Kanäle des Heartbeats, mit Erinnerung und Eskalation, wenn Sie beides einstellen. Der nächste Aufruf schließt den Vorfall und löst die Entwarnung aus.

Kein Fehlalarm bei Wartung und Zeitumstellung

In einem Wartungsfenster zählt ein ausbleibender Aufruf nicht. Bei Intervallen in Tagen rechnet PeakNode zusätzlich in der Zeitzone des Kontos, damit ein Job nach Ortszeit am Tag der Zeitumstellung keinen Fehlalarm auslöst.

Verlauf je Heartbeat

Die Detailseite zeigt Uptime, Ausfallzeit, Vorfälle, den letzten Lauf und die ausgebliebenen Läufe. Heartbeats lassen sich einem Projekt zuordnen und auf einer Statusseite zeigen.

Vier Heartbeats eines GPU-Servers

Beispiel für die Einrichtung

JobHeartbeat erwartet alleKarenzzeitStand im Portal
Nächtliches Backup1 Tag2 StundenHeartbeat ist online
Checkpoint-Sync des Trainingslaufs30 Minuten10 MinutenHeartbeat ist online
Wöchentlicher Evaluierungslauf7 Tage6 StundenErster Lauf ausstehend
Log-Rotation1 Stunde5 MinutenHeartbeat ist offline

Beispiel. Die Feldnamen „Heartbeat erwartet alle“ und „Karenzzeit“ und die Zustände stehen so im Portal.

An welche Stelle im Job der Aufruf gehört

Der Aufruf steht dort, wo feststeht, dass die Arbeit getan ist. Ein Aufruf am Anfang beweist nur, dass der Job gestartet wurde.

JobWann die Adresse aufgerufen wirdBeispiel für Intervall und Karenzzeit
CronjobAm Ende der Crontab-Zeile, verknüpft mit &&, damit nur ein erfolgreicher Lauf zähltIntervall wie der Cronjob, Karenz in Höhe der Laufzeit
BackupNach dem letzten Schritt des Skripts, zum Beispiel nach der Prüfung des Archivs1 Tag, Karenz 2 Stunden
TrainingslaufAus dem Trainingsskript nach jedem gespeicherten CheckpointAbstand der Checkpoints, Karenz in gleicher Höhe
Evaluierung oder Batch-InferenzAm Ende des Laufs1 Tag, Karenz 2 Stunden
Dienst im internen NetzEin Skript im Netz prüft den Dienst lokal und ruft die Adresse nur bei Erfolg auf5 Minuten, Karenz 2 Minuten

Die Werte der Tabelle sind Beispiele. Einstellbar sind Intervalle in Minuten, Stunden oder Tagen (1 Minute bis 10 Jahre) und eine Karenzzeit in Sekunden, Minuten, Stunden oder Tagen. Aufrufe in kürzerem Abstand als etwa eine Minute weist das Portal ab, sie zählen nicht als weiterer Lauf. Was während eines Trainingslaufs auf den Karten passiert, zeigt das GPU-Monitoring.

In drei Schritten eingerichtet

Der Job braucht nur ausgehenden Zugriff auf das Portal und ein Werkzeug, das eine Adresse aufrufen kann, zum Beispiel curl.

  1. Heartbeat anlegen

    Unter „Heartbeats“ auf „Heartbeat erstellen“ gehen, einen Namen vergeben, bei „Heartbeat erwartet alle“ das Intervall und darunter die Karenzzeit eintragen. Benachrichtigungskanäle wählen.

  2. Adresse in den Job einbauen

    Die Detailseite zeigt die Adresse des Heartbeats. Hängen Sie den Aufruf mit && an den Job, dann wird er nur nach einem erfolgreichen Lauf gesendet. <CODE> steht im Beispiel für den Code Ihres Heartbeats.

    # Crontab: Backup um 02:30 Uhr, Lebenszeichen nur bei Erfolg
    30 2 * * * /opt/backup/run.sh && curl -fsS -m 10 https://peaknode.de/webhook-heartbeat/<CODE> >/dev/null
  3. Einmal von Hand senden

    Mit „Heartbeat jetzt von Hand senden“ auf der Detailseite oder einem Aufruf im Terminal prüfen Sie die Strecke. Danach steht der Heartbeat auf „Heartbeat ist online“ und zeigt den letzten Lauf.

    curl -fsS -m 10 https://peaknode.de/webhook-heartbeat/<CODE>
    successful

Was ist ein Heartbeat-Monitor?

Ein Heartbeat-Monitor erwartet ein regelmäßiges Lebenszeichen eines Jobs und schlägt Alarm, wenn es ausbleibt. In PeakNode ruft der Job nach jedem erfolgreichen Lauf eine eigene Adresse auf. Kommt innerhalb von Intervall plus Karenzzeit kein Aufruf an, öffnet PeakNode einen Vorfall und benachrichtigt die gewählten Kanäle.

Was kostet Heartbeat-Monitoring mit PeakNode?

Der Tarif Proof of Concept ist kostenlos und enthält 1 Heartbeat zum Testen. Premium für 149 € pro Monat enthält 50, Enterprise für 490 € pro Monat 250.

Wie merke ich, dass ein Cronjob nicht gelaufen ist?

Mit einem Heartbeat, den der Cronjob nach jedem erfolgreichen Lauf aufruft: Bleibt der Aufruf aus, meldet PeakNode das. Legen Sie dazu einen Heartbeat mit dem Intervall des Cronjobs an und hängen Sie den Aufruf der Heartbeat-Adresse mit && an die Crontab-Zeile. Bricht der Job ab, hängt er oder läuft der Cron-Dienst nicht mehr, bleibt das Lebenszeichen aus und Sie werden benachrichtigt.

Was ist die Karenzzeit bei einem Heartbeat?

Die Karenzzeit ist die Zeit, um die sich ein Lauf verspäten darf, bevor ein Alarm ausgelöst wird. Tragen Sie etwa die Laufzeit des Jobs ein. Ein Backup, das täglich startet und bis zu einer Stunde braucht, bekommt zum Beispiel 1 Tag Intervall und 2 Stunden Karenz.

Kann ein Heartbeat melden, dass ein Job fehlgeschlagen ist?

Nur indirekt. Einen Fehlerstatus, einen Exit-Code, die Laufzeit oder eine Log-Ausgabe nimmt die Adresse nicht entgegen. Bauen Sie den Aufruf deshalb so ein, dass er nur nach einem erfolgreichen Lauf gesendet wird: Dann bedeutet ein ausbleibendes Lebenszeichen, dass der Job nicht durchgelaufen ist.

Funktioniert ein Heartbeat auch für Server ohne Zugriff aus dem Internet?

Ja. Der Job ruft die Adresse von innen nach außen auf, eingehend muss nichts geöffnet werden. Das ist auch der Weg für interne Dienste, die ein Uptime-Monitor der Cloud-Version nicht erreicht.

Was passiert, wenn ein Heartbeat pausiert ist?

Ein pausierter Heartbeat nimmt keine Aufrufe an und löst keinen Alarm aus. Nach dem Fortsetzen beginnt die Frist aus Intervall und Karenzzeit neu. Für geplante Arbeiten ist ein Wartungsfenster der bessere Weg, weil es von selbst endet.

Was macht ein Cron-Job?

Ein Cron-Job ist eine Aufgabe, die der Dienst cron auf Linux- und Unix-Servern zu festen Zeiten startet, etwa jede Nacht ein Backup oder stündlich einen Abgleich. Fällt ein solcher Job aus, gibt es oft keine Fehlermeldung, weil niemand auf sein Ergebnis wartet. Genau dafür ist ein Heartbeat da.

Wo finde ich die Cronjobs?

Die Cronjobs eines Nutzers zeigt der Befehl crontab -l, die des Systems stehen in /etc/crontab und in /etc/cron.d/. Zusätzlich können systemd-Timer Aufgaben starten, systemctl list-timers listet sie auf. Für jeden Job, dessen Ausbleiben auffallen soll, legen Sie in PeakNode einen eigenen Heartbeat an.

Den ersten Job mit einer Zeile absichern

Konto anlegen, Heartbeat erstellen, Adresse an den Cronjob hängen. Der Tarif Proof of Concept ist kostenlos und enthält 1 Heartbeat zum Testen.