InnerWeb
Przejdź do treści

Monitoring błędów systemu w zakładzie: praktyki

Monitoring błędów ma dwa przeciwstawne zadania: pokazać każdą prawdziwą awarię i nie zasypać dyżurnego setkami powtórzeń tego samego zdarzenia. Poniżej praktyki dla administratora systemu w zakładzie: limity na rodzaj błędu, wyłączenia nie-awarii, powiązanie błędu z wersją i oddzielenie alarmów bezpieczeństwa.

21
zdarzeń na godzinę, limit na rodzaj błędu
Źródło: dokumentacja funkcji, raportowanie błędów
89
zdarzeń na godzinę, limit na instancję dla logów
Źródło: dokumentacja funkcji, raportowanie błędów
5 000
błędów miesięcznie, budżet wspólny
Źródło: dokumentacja funkcji, raportowanie błędów

Problem: szum zagłusza sygnał

Najczęstszy błąd konfiguracji monitoringu to brak limitu. Wtedy jedno powtarzające się zdarzenie generuje setki identycznych powiadomień i dyżurny przestaje na nie reagować. Drugi błąd to odwrotność: zbyt agresywne filtrowanie, które wycina także pierwszy sygnał prawdziwej awarii.

Dobre ustawienia to kompromis oparty na pomiarze. Zanim ustawisz limit, zmierz, ile zdarzeń każdego rodzaju generuje system w najgorszym dniu bez incydentów. Dopiero takie dane pozwalają ustawić limit, który nie obcina normalnej pracy i zatrzymuje lawinę powtórzeń.

Praktyka 1: limit na rodzaj błędu ustawiony z pomiaru

Ustal limit zdarzeń na godzinę na rodzaj błędu na podstawie pomiaru, nie zgadywania. Przykładowo limit 21 na godzinę na rodzaj błędu leży powyżej normalnego szumu i wyraźnie poniżej poziomu lawiny powtórzeń. Dzięki temu dyżurny widzi każdy rodzaj błędu, ale żaden jeden rodzaj nie zużywa całego budżetu.

Pamiętaj, że miesięczny budżet bywa wspólny dla wielu instancji. Przykładowo wynosi 5 000 błędów i jest zasobem dzielonym, więc limit chroni nie tylko dyżurnego, ale też pozostałe instancje.

Przykładowe limity zdarzeń na godzinę

Przykładowe limity zdarzeń na godzinęWykres poziomy: przykładowe limity 21 zdarzeń na godzinę na rodzaj błędu i 89 na instancję.020406080100zdarzeń/hLimit na rodzaj błęduLimit na rodzaj błędu: 21 zdarzeń/h21Limit na instancję (logi)Limit na instancję (logi): 89 zdarzeń/h89
Źródło: Dokumentacja funkcji: raportowanie błędów; wartości przykładowe

Praktyka 2: limit na instancję dla wpisów z logów

Wpisy z logów mają osobną trudność. Komunikat z doklejoną zmienną, na przykład identyfikatorem zlecenia, wygląda dla monitoringu jak nowy rodzaj błędu przy każdym wystąpieniu. Limit na rodzaj błędu go nie zatrzyma, bo rodzajów jest setki.

Rozwiązaniem jest dodatkowy wspólny limit na instancję, przykładowo 89 zdarzeń na godzinę dla wpisów z logów. Drugi limit domyka lukę, którą zostawia pierwszy.

Praktyka 3 i 4: wyłącz nie-awarie, zachowaj alarm

Wyjątki opisujące błędne dane wejściowe, takie jak brak dostępu, brak strony czy zły request, nie są awariami systemu i powinny być wyłączone z raportowania. Użytkownik wpisał zły adres, a nie system zawiódł. Wyłączenie takich wyjątków znacząco obniża szum bez utraty sygnału.

Bezwzględnie oddziel alarmy bezpieczeństwa pracy od mechanizmu limitów. Alarmy bezpieczeństwa nie są wyciszane: człowiek w niebezpieczeństwie zawsze uruchamia alarm, a log odnotowuje zdarzenie. Zasada brzmi: monitoring błędów wolno ograniczać, alarmu człowieka w niebezpieczeństwie nie wolno.

Praktyka 5: wersja wydania w raporcie i test po aktualizacji

Wymagaj, żeby każdy raport błędu niósł wersję wydania. Wersja wydania to skrót commita wdrożonego obrazu, taki sam jak znacznik obrazu w rejestrze, więc każdy błąd da się powiązać z konkretną zmianą. Dla administratora oznacza to jedno pytanie zamiast śledztwa: od której wersji ten błąd się pojawia.

Po każdej aktualizacji sprawdź, czy nowe zdarzenia nie wyglądają jak wcześniej znane. Jeśli wersja wydania w raporcie zgadza się z wdrożoną, porównanie przed i po aktualizacji zajmuje kilka minut.

  • limit na rodzaj błędu ustawiony z pomiaru (przykład: 21 na godzinę)
  • limit na instancję dla wpisów z logów (przykład: 89 na godzinę)
  • wyłączenie wyjątków opisujących błędne dane wejściowe
  • alarmy bezpieczeństwa pracy niezależne od mechanizmu limitów
  • wersja wydania w każdym raporcie błędu

Jak wdrożyć te praktyki krok po kroku

Zacznij od tygodnia pomiaru bez limitów: zapisz, ile zdarzeń na godzinę generuje każdy rodzaj błędu w normalnym dniu. Wybierz najgorszy dzień bez incydentów i ustaw limit z zapasem ponad ten poziom. Następnie sprawdź, czy limit jest wyraźnie niższy od poziomu, który oznaczałby lawinę powtórzeń.

Potem ustaw wyłączenia nie-awarii, dodaj limit na instancję dla logów i sprawdź na środowisku testowym zachowanie przy dużej liczbie powtórzeń. Na koniec zapisz progi w procedurze dyżuru, żeby osoba odbierająca alarm wiedziała, co oznacza ograniczona liczba zdarzeń przy danym błędzie: że występuje on częściej niż pokazuje licznik.

Lista kontrolna

Materiał wideo

Często zadawane pytania

Czy limit może ukryć prawdziwą awarię?

Limit ogranicza liczbę powtórzeń tego samego rodzaju błędu, nie jego pierwsze wystąpienie. Alarmy bezpieczeństwa pracy są poza limitem i nie są wyciszane.

Czemu błąd z identyfikatorem w treści jest problemem?

Monitoring traktuje każdą inną treść jako inny rodzaj błędu. Dlatego dla wpisów z logów działa dodatkowy limit na instancję: 89 zdarzeń na godzinę.

Do czego służy wersja wydania w raporcie błędu?

Jest skrótem commita wdrożonego obrazu, takim samym jak znacznik obrazu w rejestrze. Dzięki temu błąd da się powiązać z konkretną zmianą.

Ustawmy monitoring pod Twój zakład

Przejdziemy z Twoim zespołem IT przez limity, wyłączenia i procedurę dyżuru. Umów krótką rozmowę z InnerWeb.

Porozmawiajmy