InnerWeb
Przejdź do treści

Oszczędności: testy automatyczne zamiast odbiorów ręcznych

Każda aktualizacja systemu bezpieczeństwa wymaga odbioru: ktoś musi sprawdzić, czy logowanie, zezwolenia i mapy nadal działają. Pokazujemy, ile godzin ręcznego odbioru może zastąpić pakiet 242 testów E2E, jak to policzyć na założeniach zakładu i czego automat nie zastąpi.

242
testów E2E w 31 plikach
13
defektów znalezionych przy portowaniu scenariuszy
360 h
oszczędności rocznie w kalkulacji przykładowej
Źródło: kalkulacja przykładowa

Co obejmuje pakiet testów automatycznych

Pakiet testów przeglądarkowych E2E obejmuje 242 testy w 31 plikach i uruchamia prawdziwą przeglądarkę Chromium na prawdziwym backendzie. Testy odtwarzają użytkownika: logowanie, panel administracyjny, planowanie prac, zezwolenia na prace, zgłoszenia, dokumentację, mapy i analitykę. To ten sam zakres, który ręczny odbiorca przechodzi po każdym wydaniu.

Baza testowa jest odtwarzana z migracji raz na przebieg testów, dzięki czemu wynik nie zależy od danych z poprzedniego uruchomienia. Taki odbiór jest powtarzalny: dwa uruchomienia tej samej wersji dają ten sam wynik, czego nie da się zagwarantować przy odbiorze ręcznym.

Skąd wzięły się scenariusze?

Scenariusze ręcznych testerów z nagrań sesji (czerwiec–wrzesień 2026) zostały przepisane na testy automatyczne. Przy portowaniu znaleziono 13 defektów aplikacji, więc przepisywanie okazało się też formą audytu.

Ile trwa przebieg i kiedy się uruchamia

Pełny zestaw E2E trwa około 2–2,5 godziny, więc uruchamia się go ręcznie na żądanie oraz automatycznie w weekendy o północy, bez blokowania scalania zmian. Zespół zakładu nie czeka więc na wynik w trakcie dnia roboczego.

Tryb równoległy skraca czas niemal liniowo, ale każda instancja testowa wymaga własnej bazy danych i własnej bazy Redis. To koszt infrastruktury po stronie dostawcy, który trzeba uwzględnić, jeśli zamawiający chce krótszego czasu przebiegu.

Godziny odbioru jednego wydania

Godziny odbioru jednego wydaniaWykres przed i po: 40 godzin odbioru ręcznego jednego wydania wobec 10 godzin z automatem.010203040godzinOdbiór ręczny: Jedno wydanie: 40 godzin40 godzinOdbiór ręcznyZ automatem: Jedno wydanie: 10 godzin10 godzinZ automatem
Źródło: Kalkulacja przykładowa na założeniach z sekcji Kalkulacja

Kalkulacja: ile godzin zastępuje automat

Poniższa kalkulacja opiera się na założeniach, które zakład może zastąpić własnymi liczbami. Czas ręcznego odbioru jednego wydania zależy od liczby ścieżek, które zakład uznaje za krytyczne, a nie od liczby testów w pakiecie.

Przykład: zakład przyjął, że pełny odbiór ręczny jednego wydania zajmuje 40 godzin pracy, a po wprowadzeniu automatu ludzie poświęcają 10 godzin na odbiór ścieżek niepokrytych testami oraz analizę wyniku. Przy 12 wydaniach rocznie oszczędność wynosi 360 godzin.

Czego automat nie zastąpi

Automat nie zastąpi oceny użyteczności ani sprawdzenia nowej funkcji, dla której test jeszcze nie powstał. Nie zastąpi też wizyty w hali i sprawdzenia urządzeń, jak nadajniki czy urządzenia mobilne. Dlatego w kalkulacji zostawiamy 10 godzin odbioru ludzkiego.

Co z błędem, który już znamy?

Znany, jeszcze nienaprawiony błąd jest oznaczany w teście jako oczekiwane niepowodzenie z numerem zgłoszenia, nigdy pominięciem testu. Po naprawie test sam zgłasza, że adnotację trzeba usunąć. Odbiorca widzi więc listę znanych problemów zamiast niespodzianek.

Dlaczego testy jednostkowe nie wystarczą

Uruchomienie przeglądarkowych testów E2E po wprowadzeniu poprawki łapie błąd widoczny dla użytkownika, którego testy jednostkowe nie wykrywają, bo działają na atrapie API. Z tego powodu oszczędność liczymy na odbiorach, które wcześniej wykonywał człowiek przy ekranie, a nie na testach jednostkowych.

Przy portowaniu scenariuszy siedem z 13 defektów naprawiono w ciągu dwóch dni, a ich testy stały się zwykłymi testami regresji. Każdy naprawiony błąd zostaje więc pod ochroną, co z czasem zmniejsza liczbę godzin potrzebnych na odbiór.

Defekty z portowania scenariuszy

Defekty z portowania scenariuszyWykres kołowy: 7 z 13 defektów naprawiono w ciągu dwóch dni, 6 pozostało.Naprawione w 2 dni: 7 defektów (53,8%)Pozostałe: 6 defektów (46,2%)13defektówNaprawione w 2 dni7 defektów (53,8%)Pozostałe6 defektów (46,2%)
Źródło: i
Kalkulacja przykładowa

Oszczędność godzin odbioru rocznie

Założenia
ParametrWartość
Wydania w roku12 wydań
Odbiór ręczny jednego wydania40 godzin
Odbiór z automatem jednego wydania10 godzin

Wynik: (40 − 10) × 12 = 360 godzin rocznie. Pomnożone przez własną stawkę godzinową zakładu daje roczną oszczędność w złotych.

Uwaga: Kalkulacja przykładowa na założeniach autora strony, nie wynik pomiaru. Zakład podstawia własną liczbę wydań i godzin odbioru.

Materiał wideo

Często zadawane pytania

Czy 242 testy wystarczą do odbioru całego systemu?

Pokrywają logowanie, panel administracyjny, planowanie prac, zezwolenia, zgłoszenia, dokumentację, mapy i analitykę. Nowe funkcje i urządzenia w hali wymagają dodatkowego sprawdzenia.

Czy testy blokują scalanie zmian?

Nie. Pełny zestaw trwa około 2–2,5 godziny, więc uruchamia się go na żądanie i w weekendy o północy, bez blokowania scalania.

Czy test działa na atrapach danych?

Nie. Uruchamia prawdziwą przeglądarkę na prawdziwym backendzie, a bazę odtwarza z migracji.

Policz oszczędności na własnych założeniach

Podaj liczbę wydań i godzin odbioru w swoim zakładzie, a policzymy, ile pracy zastąpi automat. Umów rozmowę z InnerWeb.

Porozmawiajmy