Neu: Temperatur, Lüfter, Netzteile und SSD-Zustand je Server. Hardware-Gesundheit ansehen

Kostenlos testen
Vorfälle im Portal: Kopfzeile „1 offener Vorfall“, darunter die Liste mit drei bestätigten, behobenen Vorfällen und dem laufenden Vorfall der Inferenz-API mit dem Knopf „Ich kümmere mich“.

Ein Alarm hilft nur, wenn ihn jemand liest. PeakNode schickt jede Meldung dorthin, wo Ihr Team ohnehin hinsieht: E-Mail, Teams, Slack, Telegram, Discord oder Ihr Ticket-System. Ein Ausfall bleibt offen, bis jemand mit „Ich kümmere mich“ übernimmt. Bis dahin erinnert das Portal und zieht nach der eingestellten Zeit weitere Empfänger hinzu.

Aufnahme aus dem Portal mit Beispieldaten.

Was ist Alarme und Eskalation?

Die Alarmierung von PeakNode sendet Ausfälle, Grenzwerte und Hardware-Ereignisse an die Kanäle, die Sie je Monitor festlegen: E-Mail, Microsoft Teams, Slack, Telegram, Discord oder Webhook, also ein Aufruf an Ihr Ticket-System. Ein Ausfall bleibt offen, bis jemand mit „Ich kümmere mich“ bestätigt. Solange erinnert PeakNode alle 15, 30 oder 60 Minuten und meldet nach der eingestellten Zeit einmal an zusätzliche Kanäle (Eskalation). Die Entwarnung geht über die Kanäle des Monitors.

Dashboard des PeakNode-Portals: links die Seitenleiste mit allen Modulen, oben die Lage der Flotte (2 kritische Punkte, 61 % GPU-Auslastung, 12,5 kW Leistung) mit dem Verlauf über 24 Stunden, darunter vier Kennzahlen, die Erreichbarkeit der Dienste, das NodeGuard-Feld mit einem kritischen Hinweis und die Liste „Jetzt zu tun“.
Aufnahme aus dem Portal mit Beispieldaten.

Alarme im Portal

  • Sechs Kanäle, mehrere gleichzeitig je Monitor. Wie viele Kanäle ein Objekt haben darf, legt der Tarif fest.
  • Bestätigen können Sie im Portal, über den Knopf in der Alarm-E-Mail oder, bei Vorfällen von Uptime-Monitoren und Heartbeats, über die API.
  • Erinnerung und Eskalation schalten Sie je Monitor ein. In der Vorgabe sind beide aus.

Vom Alarm bis zur Entwarnung

Bestätigung, Erinnerung und Eskalation gelten für Ausfälle. Alle anderen Meldungen gehen einmal an die Kanäle.

Jeder Monitor hat seine eigenen Empfänger

Jeder Uptime-Monitor, Heartbeat, Server-Monitor, DNS-Monitor und jede Domain hat eine eigene Auswahl an Kanälen. Der Trainingscluster darf an das ML-Team gehen, der Inferenz-Endpunkt an die Bereitschaft und zusätzlich an die IT des Kunden.

„Ich kümmere mich“

Ein Ausfall zeigt im Portal „Offen: noch niemand hat bestätigt“. Wer übernimmt, klickt auf „Ich kümmere mich“, im Portal oder über den Knopf in der Alarm-E-Mail, der ohne Anmeldung funktioniert. Danach steht dort, wann, auf welchem Weg und von wem bestätigt wurde. Beim Knopf aus der E-Mail steht statt der Person der Name des Kanals, an den der Alarm ging.

Erinnerung und Eskalation, wenn niemand reagiert

Solange niemand bestätigt, erinnert PeakNode auf Wunsch alle 15, 30 oder 60 Minuten an dieselben Kanäle, höchstens zwölfmal je Ausfall. Zusätzlich geht nach 15, 30 oder 60 Minuten genau eine Meldung an weitere Kanäle, zum Beispiel an eine zweite Person. Mehrstufige Ketten und Dienstpläne für die Rufbereitschaft bildet PeakNode nicht ab.

Entwarnung auf demselben Weg

Gelingt die Prüfung wieder, kommt der Heartbeat an oder meldet der Server wieder Daten, sendet PeakNode die Entwarnung an die Kanäle des Objekts. Bei Uptime-Monitoren und Heartbeats nennt sie Beginn, Ende und Dauer des Vorfalls.

Zustellung mit Wiederholung

Ist ein Kanal nicht erreichbar oder antwortet er mit einem Serverfehler, wiederholt PeakNode die Zustellung in wachsenden Abständen über rund 4 Stunden. Eine verspätete Chat-Nachricht trägt den Hinweis „Verzögert zugestellt“ mit dem Zeitpunkt des Ereignisses. Eine Ausnahme macht der Webhook: Steht die Verbindung und bleibt nur die Antwort aus, wird nicht wiederholt, damit Ihr System nichts doppelt auslöst.

Jeder Ausfall bleibt nachvollziehbar

Jeder Ausfall eines Uptime-Monitors oder Heartbeats wird zum Vorfall mit Beginn, Ende, Dauer und Grund. Die Ereignisse dazwischen stehen dabei: erste Störung erkannt, Störung in der Zweitprüfung bestätigt, benachrichtigt über welchen Kanal, behoben. Ein Kommentar hält fest, was die Ursache war.

Ein Ausfall, fünf Meldungen

Ablauf einer Nacht

ZeitEreignisGeht anWortlaut
03:14AlarmMicrosoft Teams, Slack, E-MailIhr Server-Monitor „gpu-train-01“ meldet keine Daten mehr (offline).
03:29Eskalationzusätzlich Telegram der zweiten PersonEskalation: Server-Monitor „gpu-train-01“ ist seit 03:14 offline, und niemand hat den Alarm innerhalb von 15 Minuten bestätigt.
03:44ErinnerungMicrosoft Teams, Slack, E-MailServer-Monitor „gpu-train-01“: weiterhin offline seit 03:14 (Erinnerung 1 von 12). Noch niemand hat bestätigt.
03:52Bestätigungsteht im PortalBestätigt. Erinnerungen und Eskalation sind gestoppt.
04:05EntwarnungMicrosoft Teams, Slack, E-MailIhr Server-Monitor „gpu-train-01“ meldet wieder Daten (online).

Beispiel im Wortlaut des Portals, Zeitangaben gekürzt. Eingestellt sind hier: Eskalation nach 15 Minuten, Erinnerung alle 30 Minuten.

Sechs Kanäle und was dort ankommt

Jeder Kanal lässt sich mit „Integration testen“ prüfen, bevor er an einem Monitor hängt, die E-Mail, sobald die Adresse bestätigt ist.

KanalWas ankommtEinrichtung
E-MailBetreff zum Beispiel: Alarm: „api-prod“ ist offline. Im Text Ziel, Beginn und Grund, der Link zum Vorfall und der Knopf „Ich kümmere mich“Adresse eintragen und über den Link in der Bestätigungsmail verifizieren
Microsoft TeamsTextnachricht im Kanal, bei einem Uptime-Monitor: Meldung, Ziel, Grund, Beginn und Link zum VorfallWebhook-URL des Teams-Kanals
SlackTextnachricht im Kanal mit denselben AngabenSlack-Webhook-URL
DiscordTextnachricht im Kanal mit denselben AngabenDiscord-Webhook-URL
TelegramNachricht Ihres eigenen Bots mit denselben AngabenAPI-Token des Bots und Chat-ID
WebhookPOST-Request an Ihre URL mit den Feldern des Ereignisses, Zeiten in UTC. Felder und Format unter API und WebhooksURL Ihres Ticket-Systems oder eigenen Dienstes

Die URLs der Kanäle Webhook, Microsoft Teams, Slack und Discord müssen öffentlich erreichbar sein und http oder https verwenden. Einen Knopf zum Bestätigen trägt nur die E-Mail. Aus Teams, Slack, Telegram und Discord führt der Link zum Vorfall ins Portal, wo Sie bestätigen. In einem laufenden Wartungsfenster ruhen Erinnerung und Eskalation.

In drei Schritten eingerichtet

Kanäle legen Sie einmal an und verwenden sie an beliebig vielen Monitoren.

  1. Kanäle anlegen

    Unter „Benachrichtigungskanäle“ je Ziel einen Kanal erstellen: die Adresse der Bereitschaft, den Webhook des Teams-Kanals, die URL des Ticket-Systems. Mit „Integration testen“ prüfen.

  2. Kanäle am Monitor wählen

    Beim Anlegen oder Bearbeiten eines Monitors im Bereich Benachrichtigungen die Kanäle ankreuzen. Mehrere gleichzeitig sind möglich, bis zu der Zahl, die Ihr Tarif je Objekt vorsieht.

  3. Erinnerung und Eskalation einstellen

    Darunter „Erinnerung, solange der Ausfall andauert“ und „Eskalation“ festlegen und für die Eskalation die zusätzlichen Kanäle wählen. Beides ist je Uptime-Monitor, Heartbeat und Server-Monitor getrennt einstellbar.

Über welche Kanäle alarmiert PeakNode?

PeakNode alarmiert per E-Mail, Microsoft Teams, Slack, Telegram, Discord und Webhook. Je Monitor wählen Sie, welche Kanäle den Alarm erhalten, auch mehrere gleichzeitig, soweit Ihr Tarif das vorsieht. Über den Webhook erreichen Sie Ticket-Systeme und eigene Dienste.

Was bedeutet „Ich kümmere mich“?

Mit „Ich kümmere mich“ bestätigt eine Person, dass sie einen laufenden Ausfall übernimmt. Die Bestätigung stoppt Erinnerungen und Eskalation für diesen Ausfall, und im Portal steht, dass sich jemand kümmert. Den Ausfall selbst beendet sie nicht: Der Vorfall schließt sich erst, wenn der Dienst wieder läuft.

Was passiert, wenn niemand auf einen Alarm reagiert?

Dann erinnert PeakNode im eingestellten Abstand an dieselben Kanäle und meldet nach der eingestellten Zeit einmal an weitere Kanäle. Beides müssen Sie am Monitor einschalten, in der Vorgabe ist es aus. Die Erinnerung endet mit der Bestätigung oder wenn der Dienst wieder läuft.

Kann ich einen Alarm aus der E-Mail heraus bestätigen?

Ja. Der Knopf „Ich kümmere mich“ in der Alarm-E-Mail öffnet eine Seite, auf der Sie die Bestätigung abschließen, ohne Anmeldung im Portal. Der Link gilt nur für genau diesen Ausfall und nicht mehr, sobald er beendet ist.

Für welche Meldungen gibt es Bestätigung und Eskalation?

Für Ausfälle: ein Uptime-Monitor ist offline, ein Heartbeat ist ausgeblieben, ein Server-Monitor meldet keine Daten mehr. Grenzwert-Alarme, Hardware-Ereignisse, DNS-Änderungen und Erinnerungen an ablaufende Domains oder Zertifikate gehen als einzelne Meldung an die Kanäle, ohne Bestätigung, ohne Eskalation und ohne Entwarnung.

Wie kommen Alarme in unser Ticket-System?

Über den Kanal Webhook. PeakNode sendet bei Alarm und Entwarnung einen POST-Request mit den Feldern des Ereignisses an Ihre URL. Welche Felder das sind und wie ein Ticket-System einen Vorfall über die API bestätigt, steht unter API und Webhooks.

Was passiert, wenn Slack oder der Mailserver gerade nicht erreichbar ist?

PeakNode wiederholt die Zustellung nach 1, 5, 15, 30, 60 und 120 Minuten. Erst danach wird die Meldung verworfen. Der Ausfall selbst ist davon unabhängig im Portal gespeichert, und am Kanal steht der Grund der letzten fehlgeschlagenen Zustellung.

Was ist eine Eskalationsstufe?

Eine Eskalationsstufe legt fest, wer benachrichtigt wird, wenn ein Alarm nach einer bestimmten Zeit noch nicht bestätigt ist. PeakNode kennt eine solche Stufe: Nach 15, 30 oder 60 Minuten ohne Bestätigung geht genau eine Meldung an weitere Kanäle. Mehrstufige Ketten und Dienstpläne für die Rufbereitschaft bildet PeakNode nicht ab.

Wie vermeide ich Alarmflut?

Mit den Einstellungen, die PeakNode dafür hat: Grenzwert-Alarme lösen erst nach 1 bis 10 Prüfungen in Folge aus, ein Uptime-Monitor meldet erst nach einer fehlgeschlagenen Zweitprüfung, und Wartungsfenster unterdrücken die erwarteten Alarme geplanter Arbeiten. Hardware-Ereignisse eines Berichts kommen gebündelt in einer Nachricht, planbare Aufgaben sammelt NodeCare in einer Zusammenfassung um 08:00 Uhr.

Alarme dorthin legen, wo jemand hinsieht

Konto anlegen, Kanäle einrichten, am ersten Monitor Erinnerung und Eskalation einschalten.