Problem: szum zagłusza sygnał
Najczęstszy błąd konfiguracji monitoringu to brak limitu. Wtedy jedno powtarzające się zdarzenie generuje setki identycznych powiadomień i dyżurny przestaje na nie reagować. Drugi błąd to odwrotność: zbyt agresywne filtrowanie, które wycina także pierwszy sygnał prawdziwej awarii.
Dobre ustawienia to kompromis oparty na pomiarze. Zanim ustawisz limit, zmierz, ile zdarzeń każdego rodzaju generuje system w najgorszym dniu bez incydentów. Dopiero takie dane pozwalają ustawić limit, który nie obcina normalnej pracy i zatrzymuje lawinę powtórzeń.
Praktyka 1: limit na rodzaj błędu ustawiony z pomiaru
Ustal limit zdarzeń na godzinę na rodzaj błędu na podstawie pomiaru, nie zgadywania. Przykładowo limit 21 na godzinę na rodzaj błędu leży powyżej normalnego szumu i wyraźnie poniżej poziomu lawiny powtórzeń. Dzięki temu dyżurny widzi każdy rodzaj błędu, ale żaden jeden rodzaj nie zużywa całego budżetu.
Pamiętaj, że miesięczny budżet bywa wspólny dla wielu instancji. Przykładowo wynosi 5 000 błędów i jest zasobem dzielonym, więc limit chroni nie tylko dyżurnego, ale też pozostałe instancje.
Przykładowe limity zdarzeń na godzinę
Praktyka 2: limit na instancję dla wpisów z logów
Wpisy z logów mają osobną trudność. Komunikat z doklejoną zmienną, na przykład identyfikatorem zlecenia, wygląda dla monitoringu jak nowy rodzaj błędu przy każdym wystąpieniu. Limit na rodzaj błędu go nie zatrzyma, bo rodzajów jest setki.
Rozwiązaniem jest dodatkowy wspólny limit na instancję, przykładowo 89 zdarzeń na godzinę dla wpisów z logów. Drugi limit domyka lukę, którą zostawia pierwszy.
Praktyka 3 i 4: wyłącz nie-awarie, zachowaj alarm
Wyjątki opisujące błędne dane wejściowe, takie jak brak dostępu, brak strony czy zły request, nie są awariami systemu i powinny być wyłączone z raportowania. Użytkownik wpisał zły adres, a nie system zawiódł. Wyłączenie takich wyjątków znacząco obniża szum bez utraty sygnału.
Bezwzględnie oddziel alarmy bezpieczeństwa pracy od mechanizmu limitów. Alarmy bezpieczeństwa nie są wyciszane: człowiek w niebezpieczeństwie zawsze uruchamia alarm, a log odnotowuje zdarzenie. Zasada brzmi: monitoring błędów wolno ograniczać, alarmu człowieka w niebezpieczeństwie nie wolno.
Praktyka 5: wersja wydania w raporcie i test po aktualizacji
Wymagaj, żeby każdy raport błędu niósł wersję wydania. Wersja wydania to skrót commita wdrożonego obrazu, taki sam jak znacznik obrazu w rejestrze, więc każdy błąd da się powiązać z konkretną zmianą. Dla administratora oznacza to jedno pytanie zamiast śledztwa: od której wersji ten błąd się pojawia.
Po każdej aktualizacji sprawdź, czy nowe zdarzenia nie wyglądają jak wcześniej znane. Jeśli wersja wydania w raporcie zgadza się z wdrożoną, porównanie przed i po aktualizacji zajmuje kilka minut.
- limit na rodzaj błędu ustawiony z pomiaru (przykład: 21 na godzinę)
- limit na instancję dla wpisów z logów (przykład: 89 na godzinę)
- wyłączenie wyjątków opisujących błędne dane wejściowe
- alarmy bezpieczeństwa pracy niezależne od mechanizmu limitów
- wersja wydania w każdym raporcie błędu
Jak wdrożyć te praktyki krok po kroku
Zacznij od tygodnia pomiaru bez limitów: zapisz, ile zdarzeń na godzinę generuje każdy rodzaj błędu w normalnym dniu. Wybierz najgorszy dzień bez incydentów i ustaw limit z zapasem ponad ten poziom. Następnie sprawdź, czy limit jest wyraźnie niższy od poziomu, który oznaczałby lawinę powtórzeń.
Potem ustaw wyłączenia nie-awarii, dodaj limit na instancję dla logów i sprawdź na środowisku testowym zachowanie przy dużej liczbie powtórzeń. Na koniec zapisz progi w procedurze dyżuru, żeby osoba odbierająca alarm wiedziała, co oznacza ograniczona liczba zdarzeń przy danym błędzie: że występuje on częściej niż pokazuje licznik.
Lista kontrolna
Materiał wideo
Często zadawane pytania
Czy limit może ukryć prawdziwą awarię?
Limit ogranicza liczbę powtórzeń tego samego rodzaju błędu, nie jego pierwsze wystąpienie. Alarmy bezpieczeństwa pracy są poza limitem i nie są wyciszane.
Czemu błąd z identyfikatorem w treści jest problemem?
Monitoring traktuje każdą inną treść jako inny rodzaj błędu. Dlatego dla wpisów z logów działa dodatkowy limit na instancję: 89 zdarzeń na godzinę.
Do czego służy wersja wydania w raporcie błędu?
Jest skrótem commita wdrożonego obrazu, takim samym jak znacznik obrazu w rejestrze. Dzięki temu błąd da się powiązać z konkretną zmianą.
Ustawmy monitoring pod Twój zakład
Przejdziemy z Twoim zespołem IT przez limity, wyłączenia i procedurę dyżuru. Umów krótką rozmowę z InnerWeb.
Porozmawiajmy