InnerWeb
Przejdź do treści

Test po wydaniu i wersja systemu: uwagi wdrożeniowe

Po aktualizacji zakład musi wiedzieć dwie rzeczy: która dokładnie wersja działa i czy krytyczne scenariusze przeszły, zanim operator wróci do pracy. Poniżej uwagi wdrożeniowe: jak powiązać wydanie z konkretną zmianą, jak zbudować krótki test po wydaniu i jak zapisać dowód.

242
testów przeglądarkowych w pakiecie
Źródło: dokumentacja funkcji, testy przeglądarkowe E2E
31
plików z testami
Źródło: dokumentacja funkcji, testy przeglądarkowe E2E

Dlaczego numer wersji nie wystarcza

Zakłady zwykle zapisują numer wersji z nagłówka aplikacji i na tym kończą. Taki numer bywa jednak marketingowy lub zbiorczy, a jedna wersja może obejmować kilkanaście zmian wdrożonych po kolei. Gdy po aktualizacji pojawi się problem, pytanie brzmi nie: która to wersja, tylko: po której zmianie to się zaczęło.

Dlatego warto uzgodnić z dostawcą identyfikator, który jednoznacznie wskazuje zmianę. W opisywanym systemie wersja wydania w raportach błędów to skrót commita wdrożonego obrazu, taki sam jak znacznik obrazu w rejestrze. Z jednego ciągu znaków da się odczytać, jaka zmiana działa na instancji.

Etap 1: potwierdzenie wersji po wdrożeniu

Pierwszy krok po aktualizacji to odczytanie wersji z działającej instancji i porównanie jej z tą, którą dostawca zapowiedział w komunikacie o oknie. Zgodność oznacza, że wdrożył się właśnie ten obraz, a nie poprzedni. Niezgodność jest sygnałem, by nie przystępować do dalszych kroków.

Zapisz odczytaną wersję w protokole okna. Za miesiąc, gdy ktoś zapyta, z jaką wersją mieliście do czynienia podczas incydentu, odpowiedź będzie w dokumencie, a nie w czyjejś pamięci.

Rozmiar pakietu testów przeglądarkowych

Rozmiar pakietu testów przeglądarkowychWykres poziomy: 242 testy w 31 plikach.050100150200250liczbaTestyTesty: 242 liczba242Pliki z testamiPliki z testami: 31 liczba31
Źródło: Dokumentacja funkcji: testy przeglądarkowe E2E

Etap 2: krótki test krytycznych scenariuszy

Pełny zestaw testów przeglądarkowych trwa około 2–2,5 godziny, więc po wydaniu używa się krótkiej listy. Opieramy ją na zakresie, który testy E2E odtwarzają: logowanie, panel administracyjny, planowanie prac, zezwolenia na prace, zgłoszenia, dokumentacja, mapy i analityka. Z tej listy wybierz scenariusze, od których zależy bezpieczeństwo zmiany.

Pakiet obejmuje 242 testy w 31 plikach i uruchamia prawdziwą przeglądarkę na prawdziwym backendzie. Test automatycznie kończy się błędem, gdy w przeglądarce pojawi się nieprzechwycony wyjątek JavaScript albo odpowiedź serwera 5xx, więc cichy błąd po aktualizacji nie przejdzie niezauważony.

Pułapka: błąd, którego testy jednostkowe nie widzą

Po poprawce zgłoszonego błędu warto uruchomić testy przeglądarkowe, bo łapią błąd widoczny dla użytkownika, którego testy jednostkowe nie wykrywają, bo działają na atrapie API. Poprawka, która naprawia jedną funkcję i psuje przepływ, wychodzi dopiero w teście na prawdziwym backendzie.

Etap 3: monitoring błędów po wydaniu

Przez pierwsze godziny po wydaniu obserwuj raporty błędów z podziałem na wersje wydania. Jeśli nowy rodzaj błędu pojawia się wyłącznie przy skrócie nowej zmiany, przyczyna jest znana: to ta zmiana. Dzięki powiązaniu błędu z wersją zespół podejmuje decyzję o poprawce lub o powrocie bez żmudnego śledztwa.

Pamiętaj o limitach: limit zdarzeń wynosi 21 na godzinę na rodzaj błędu, więc nowy rodzaj błędu o dużej częstotliwości zobaczysz jako ograniczoną liczbę zdarzeń, ale z pełną informacją o rodzaju. Alarmy bezpieczeństwa pracy nie są wyciszane przez awarię pamięci podręcznej: w razie awarii alarm dzwoni, a log odnotowuje problem.

Dowód i zwolnienie operatora

Protokół po wydaniu zawiera: odczytaną wersję wydania, godzinę, wynik krótkiego testu scenariuszy krytycznych, odniesienie do wyniku ostatniego pełnego przebiegu i imię osoby, która zwolniła zmianę do pracy. To jedna strona, którą audytor wewnętrzny może porównać z poprzednimi oknami.

Operator wraca do pracy dopiero po zwolnieniu. To prosta reguła, ale jej brak jest typowym źródłem problemów: zmiana wraca do systemu, który nie przeszedł kontroli, i pierwszy błąd zgłasza użytkownik z hali. Test po wydaniu istnieje po to, żeby ten pierwszy błąd zgłosił zespół zakładu lub dostawcy.

  • odczytanie wersji z instancji i porównanie z komunikatem o oknie
  • krótki test scenariuszy krytycznych na prawdziwej przeglądarce
  • twardy błąd przy wyjątku JavaScript i odpowiedzi 5xx
  • obserwacja raportów błędów z podziałem na wersje wydania
  • protokół z wersją, godziną, wynikiem i osobą zwalniającą zmianę

Materiał wideo

Często zadawane pytania

Czemu skrót commita jest lepszy niż numer wersji?

Wskazuje dokładnie jedną zmianę i jest taki sam jak znacznik obrazu w rejestrze. Każdy błąd w raportach da się powiązać z konkretną zmianą.

Czy po wydaniu trzeba uruchamiać wszystkie testy?

Nie. Pełny zestaw trwa około 2–2,5 godziny. Po wydaniu wystarczy krótka lista scenariuszy krytycznych, a wynik ostatniego pełnego przebiegu służy jako uzupełnienie.

Co jeśli wersja po wdrożeniu różni się od zapowiedzianej?

Nie przechodź do dalszych kroków. Różnica oznacza, że wdrożył się inny obraz, niż uzgodniono, i trzeba to wyjaśnić z dostawcą przed zwolnieniem operatora.

Uzgodnijmy protokół po wydaniu

Przygotujemy z Tobą jednostronicowy protokół: wersja, krótki test, osoba zwalniająca zmianę. Umów rozmowę z zespołem InnerWeb.

Porozmawiajmy