Heute morgen haben wir im Betrieb festgestellt, dass der Server nicht läuft und das Telefon (100% Sip) nicht funktioniert. Der ganze Serverschrank war ohne Strom. Eine Meldung habe ich nicht bekommen, ein Blick auf Tailscale zeigte, dass alle Geräte im Betrieb bereits seit gestern 😳 15:36 nicht mehr online waren (Mittwoch Nachmittag haben wir geschlossen). Eine kurze Analyse der Logfiles auf pve02 (Proxmox PVE auf einem DXP4400) zeigte, dass der Server sich hart und ohne Vorankündigung verabschiedet hat. Eine Warnung über NUT hat nicht statt gefunden. Die USB Verbindung zwischen NUT und der USV hat aber dank meines Scripts bis zur letzten Sekunden bestanden. Eine Abfrage von NUT zeigte dann
Jul 16 01:04:12 pve02 nut-monitor[1611]: UPS usv-giesing@localhost battery needs to be replaced
Der Akku scheint kaputt zu sein und die USV ist grade mal 2 Jahre alt. (Memo: Diesen Fall muss man zukünftig ebenfalls für eine Emailbenachrichtigung abbilden) Ich hatte bereits eine Ersatz USV bestellt und konnte mit der neuen USV mein System relativ zügig wieder hochfahren. Downtime zur Betriebszeit waren also insgesamt nur ca. 15 Minuten. Ich sende erst seit gestern die Logs meines privaten PVEs an Loki, den PVE im Betrieb habe ich noch nicht eingebunden. Das hole ich heute gleich nach, in Zukunft kann ich mich dann (hoffentlich) warnen lassen. Der Exkurs zu Alloy/Loki/Grafana macht also durchaus Sinn.