InnerWeb
Przejdź do treści

Testy regresji przed aktualizacją systemu BHP: zalecenia

Aktualizacja systemu bezpieczeństwa pracy zmienia oprogramowanie, na którym opiera się zezwolenie na pracę, alarm i raport. Kierownik IT zakładu może przed zgodą zażądać od dostawcy dowodu, że krytyczne scenariusze przechodzą. Poniżej siedem zaleceń z uzasadnieniem, oparte na tym, jak wygląda pakiet testów regresji w praktyce.

242
testów w przykładowym pakiecie E2E
Źródło: dokumentacja funkcji, testy przeglądarkowe E2E
31
plików z testami
Źródło: dokumentacja funkcji, testy przeglądarkowe E2E

Dla kogo są te zalecenia

Zalecenia kierujemy do kierownika IT zakładu, który zatwierdza okno aktualizacji, oraz do kierownika BHP, który odpowiada za ciągłość zezwoleń i alarmów. Dotyczą sytuacji, w której dostawca zapowiada nową wersję systemu, a zakład musi zdecydować, czy ją przyjąć teraz, czy po sprawdzeniu.

Punktem wyjścia jest prosta obserwacja: sama informacja, że dostawca przetestował wersję, nie wystarcza. Warto wiedzieć, jakie testy, na czym uruchomione i z jakim wynikiem. Poniższe zalecenia pozwalają zadać te pytania konkretnie.

Zalecenie 1 i 2: pakiet w prawdziwej przeglądarce, na prawdziwym backendzie

Poproś o testy, które uruchamiają prawdziwą przeglądarkę na prawdziwym backendzie. Testy jednostkowe działają na atrapie API i nie wykryją błędu widocznego dla użytkownika, który powstaje dopiero na styku modułów. Przykładowy pakiet InnerWeb obejmuje 242 testy w 31 plikach.

Sprawdź, czy zakres odpowiada pracy w zakładzie: logowanie, panel administracyjny, planowanie prac, zezwolenia na prace, zgłoszenia, dokumentacja, mapy i analityka. Pakiet, który omija zezwolenia lub mapy, nie chroni funkcji, na których zakład opiera bezpieczeństwo.

Czas pełnego przebiegu testów E2E

Czas pełnego przebiegu testów E2EWykres słupkowy: pełny przebieg testów trwa od 120 do 150 minut.050100150minDolna granica (2 h): 120 min120 minDolna granica (2 h)Górna granica (2,5 h): 150 min150 minGórna granica (2,5 h)
Źródło: Dokumentacja funkcji: testy przeglądarkowe E2E; 2 godziny = 120 min, 2,5 godziny = 150 min

Zalecenie 3 i 4: twarde błędy i czysta baza

Zażądaj reguły, że test kończy się niepowodzeniem, gdy w przeglądarce pojawi się nieprzechwycony wyjątek JavaScript albo odpowiedź serwera 5xx. Ta reguła zamienia ciche błędy w widoczne. Bez niej test może przejść, mimo że na ekranie coś się wysypało.

Zapytaj o sposób przygotowania danych. Baza testowa powinna być odtwarzana z migracji raz na przebieg, żeby wynik nie zależał od danych z poprzedniego uruchomienia. Test zielony wczoraj i czerwony dziś bez zmiany kodu zwykle świadczy o brudnej bazie, a nie o błędzie aplikacji.

Zalecenie 5 i 6: rejestr znanych błędów i test po poprawce

Poproś o listę znanych, nienaprawionych błędów. Dobra praktyka to oznaczenie ich w teście jako oczekiwanego niepowodzenia z numerem zgłoszenia, a nie pominięcie testu. Wtedy pakiet nadal pilnuje obszaru, a po naprawie test sam zgłasza, że adnotację trzeba usunąć.

Gdy dostawca wprowadza poprawkę zgłoszonego przez was błędu, zażądaj uruchomienia przeglądarkowych testów po poprawce. Taki test łapie błąd widoczny dla użytkownika, którego testy jednostkowe nie wykrywają, bo działają na atrapie API. Naprawiony defekt powinien zostawić test regresji.

Zalecenie 7: świeży wynik z ostatniego przebiegu

Pełny zestaw testów przeglądarkowych trwa około 2–2,5 godziny, więc nie jest uruchamiany przy każdej drobnej zmianie. Uruchamia się go na żądanie oraz automatycznie w weekendy o północy. Dlatego przed zgodą na aktualizację poproś o wynik z ostatniego pełnego przebiegu i o datę jego wykonania.

Wynik jest dowodem dla audytu wewnętrznego: pokazuje, że przed wdrożeniem nowej wersji sprawdzono krytyczne scenariusze. InnerWeb jest producentem oprogramowania i integruje się z istniejącymi systemami klienta, więc aktualizacja po naszej stronie nie wymienia czytników ani kart zakładu. Testy dotyczą oprogramowania, nie sprzętu.

  • pakiet na prawdziwej przeglądarce i backendzie, nie na atrapie API
  • zakres obejmujący zezwolenia na prace, mapy i alarmy
  • twardy błąd przy wyjątku JavaScript lub odpowiedzi 5xx
  • baza odtwarzana z migracji przed każdym przebiegiem
  • znane błędy jako oczekiwane niepowodzenia z numerem zgłoszenia
  • test po poprawce zgłoszonego błędu
  • data i wynik ostatniego pełnego przebiegu

Jak wpisać to do procedury odbioru

Zalecenia najłatwiej wprowadzić jako stały załącznik do procedury zmian po stronie zakładu. Załącznik ma jedną stronę: siedem pytań, pole na odpowiedź dostawcy i pole na datę wyniku. Kierownik IT odhacza punkty przed podpisaniem zgody na okno aktualizacji.

Gdy dostawca nie potrafi odpowiedzieć na któreś pytanie, nie oznacza to automatycznie odmowy. Oznacza, że warto przesunąć aktualizację do czasu uzupełnienia dowodu albo ograniczyć ją do okna, w którym zespół zakładu może szybko sprawdzić krytyczne scenariusze. Zasadę decyzji ustala zakład, dostawca dostarcza dowód.

Materiał wideo

Często zadawane pytania

Czy zakład może samodzielnie uruchomić testy dostawcy?

To zależy od umowy. Zwykle wystarczy poprosić dostawcę o uruchomienie pełnego zestawu na żądanie i o przekazanie wyniku z datą. Pełny przebieg trwa około 2–2,5 godziny.

Czy testy jednostkowe nie wystarczą?

Nie. Działają na atrapie API i nie wykrywają błędu widocznego dla użytkownika. Dla systemu BHP warto mieć oba rodzaje testów.

Co zrobić z błędem, który dostawca oznaczył jako znany?

Zapisz numer zgłoszenia i oceń wpływ na krytyczne scenariusze zakładu. Oczekiwane niepowodzenie z numerem zgłoszenia jest dowodem, że błąd jest rejestrowany, a nie ukrywany.

Uzgodnijmy dowody przed aktualizacją

Przedstaw nam swoją procedurę odbioru zmian, a pokażemy, jakie wyniki testów regresji możemy dostarczyć przed każdym oknem aktualizacji.

Porozmawiajmy