Praktyka 1: jeden właściciel alarmu na każdą zmianę
Najczęstszą przyczyną opóźnienia nie jest technika, lecz brak właściciela. Alarm trafia do grupy osób i każda zakłada, że zajmie się nim inna. Wyznacz jednego odbiorcę na zmianę, z imienną funkcją, na przykład dyspozytora ruchu, i jego zastępcę. Zapisz zasadę, że potwierdzenie odbioru oznacza przejęcie zdarzenia.
Potwierdzenie odbioru powinno być mierzalne. Czas od alarmu do potwierdzenia jest pierwszym wskaźnikiem, który warto raportować kierownictwu. Jeśli rośnie, łańcuch wymaga naprawy, zanim wydarzy się prawdziwe zdarzenie.
Praktyka 2: kanały uzupełniające, nie powielające
Powiadomienie push zawodzi, gdy telefon jest wyciszony albo bez zasięgu. E-mail zawodzi, gdy nikt nie siedzi przy komputerze. Dlatego łańcuch składa się z kanałów o różnych słabościach: push i e-mail jako pierwszy krok, SMS jako drugi, telefon z systemu jako trzeci. System wysyła e-mail z czytelnym nadawcą i adresem odpowiedzi, SMS w standardzie 7-bitowym mieszczący się w jednym segmencie oraz połączenia telefoniczne przez PBX.
Każdy z tych kanałów zostawia ślad w rejestrze: SMS z identyfikatorem zlecenia u operatora, połączenie w rejestrze połączeń. Dla audytora to dowód, że łańcuch zadziałał w kolejności, a dla zakładu dane do analizy użycia kanałów. System dzwoni do osób wskazanych w konfiguracji i nie łączy ze służbami publicznymi, więc numer alarmowy wybiera człowiek.
Przykładowy łańcuch eskalacji: moment kroku od alarmu
Praktyka 3: automatyczny obdzwon z progami czasu
Kolejne kroki łańcucha powinny uruchamiać się same po upływie ustalonego czasu bez potwierdzenia. W InnerWeb służy do tego kreator reguł jeśli-to, w którym składa się regułę bez programowania. Zdarzeniem wyzwalającym może być bezruch, SOS, alarm lub zmiana statusu zezwolenia, a akcją e-mail, push, powiadomienie zespołu, webhook albo otwarcie zezwolenia z szablonu.
Przykładowy łańcuch w kalkulacji przykładowej: 0 s push i e-mail do dyspozytora, 60 s SMS do dyspozytora, 120 s telefon z PBX do dyspozytora, 180 s telefon do zastępcy, 300 s powiadomienie kierownika zmiany. Reguły nie zastępują decyzji człowieka w pracach niebezpiecznych. Przyspieszają ją, bo odciążają dyspozytora od pamiętania, kogo i kiedy zawołać.
Praktyka 4: kanał zapasowy na wypadek awarii sieci
Zaplanuj, co się dzieje, gdy zawiedzie łączność wychodząca. W sieciach przemysłowych często blokuje się cały ruch wychodzący z hosta aplikacji. Webhooki alarmowe zapisują się wtedy trwale w kolejce, a zewnętrzny poller odbiera je po działającym kanale przychodzącym i dostarcza dalej. Alarm nie ginie, ale dostarczenie zależy od częstotliwości odpytywania i nie jest natychmiastowe, więc do czasu reakcji trzeba doliczyć interwał pollera.
Drugą warstwą zapasową jest kanał głosowy: telefon z PBX do osoby dyżurnej działa niezależnie od aplikacji mobilnej odbiorcy. Opisz w procedurze, który kanał jest podstawowy, a który zapasowy, i ćwicz przełączenie.
Praktyka 5: rejestr i przegląd po zdarzeniu
Po każdym alarmie, także fałszywym, zrób krótki przegląd: kto odebrał, po jakim czasie, który kanał zadziałał, co zamknęło zdarzenie. Zezwolenie alarmowe z szablonu ALARM i znacznik na mapie tworzą oś czasu, a dziennik zdarzeń urządzenia pozwala odtworzyć decyzje czujników po stronie pracownika. Z tych danych bierze się poprawki progów i listy odbiorców.
Gdy umowa serwisowa obejmuje system alarmowy, sprawdź warunki SLA. W jednej z analizowanych ofert reakcja na awarię strategiczną to 12 godzin, naprawa 8 godzin od podjęcia obsługi, dostępność 99,5% w miesiącu, a świadczenie usług przypada na dni robocze 8:00–16:00. Przy pracy zmianowej trzeba to świadomie porównać z wymaganiem całodobowej gotowości i ustalić własne procedury awaryjne.
Lista kontrolna
Materiał wideo
Często zadawane pytania
Ile kroków powinna mieć eskalacja?
Zwykle trzy do pięciu: pierwszy odbiorca, ten sam odbiorca innym kanałem, zastępca, przełożony. Liczbę ustal w ćwiczeniu, mierząc, ile czasu zajmuje każdy krok.
Czy reguły eskalacji wymagają programisty?
Nie. Regułę składa się w kreatorze ikon: zdarzenie, opcjonalny filtr i akcje, takie jak e-mail, push, webhook lub zezwolenie z szablonu.
Co, gdy sieć blokuje ruch wychodzący?
Webhooki alarmowe zapisują się w trwałej kolejce, a zewnętrzny poller odbiera je kanałem przychodzącym. Alarm nie ginie, ale czas dostarczenia zależy od interwału odpytywania.
Źródła
Zaprojektujmy łańcuch eskalacji dla Twojej zmiany
Zbudujemy z Wami reguły eskalacji w kreatorze i przećwiczymy je na scenariuszu bezruchu.
Porozmawiajmy