InnerWeb
Przejdź do treści

Przypadek: skalowanie heartbeatu i indeksy bazy w systemie lokalizacji

System lokalizacji zwalnia po latach pracy z prostego powodu: heartbeat generuje większość ruchu, a zapytania, które na małej bazie były niewidoczne, na dużej czytają tysiące wierszy. Opisujemy sytuację z realnego systemu, w której zespół IT zmierzył koszt jednego heartbeatu i obniżył go dwoma indeksami, bez przestoju.

ok. 3 700
wierszy odczytywanych na heartbeat przed zmianą
Źródło: karta
ok. 2 000
wierszy na heartbeat po dodaniu indeksu
Źródło: karta
ok. 250 tys.
linii dziennika dziennie z jednego ostrzeżenia przy heartbeacie
Źródło: karta

Sytuacja: system zwalnia, choć nikt nic nie zmienił

Pierwszy objaw był banalny: widok historii lokalizacji ładował się coraz dłużej, a obciążenie serwera bazy rosło mimo stałej liczby pracowników. Nikt nie wdrożył nowej funkcji, które mogłaby to tłumaczyć. Winna była sama skala danych: tabela pulsów rosła z każdym heartbeatem i po dwóch latach liczyła dziesiątki milionów rekordów.

To klasyczna pułapka systemów telemetrycznych. Zapytania, które na pustej bazie wykonują się w milisekundach, tracą wydajność liniowo z liczbą wierszy, jeśli baza nie ma właściwego indeksu. Zespół IT nie zaczął od zgadywania, tylko od pomiaru.

Dlaczego heartbeat wyznacza próg skalowania

Heartbeat generuje większość ruchu API systemu: od połowy do ponad 90% wszystkich żądań HTTP, zależnie od środowiska. To oznacza, że każda nieefektywność w ścieżce heartbeatu jest mnożona przez ogromną liczbę wywołań. Jedno kosztowne zapytanie w ścieżce rzadkiej funkcji jest marginesem, to samo zapytanie w ścieżce heartbeatu jest głównym kosztem systemu.

Z tego powodu skalowanie warto zacząć od heartbeatu, a nie od widoków raportowych. Poprawa kosztu jednego heartbeatu o ułamek daje większy efekt niż optymalizacja kilku rzadko otwieranych ekranów.

Koszt jednego heartbeatu w odczytanych wierszach

Koszt jednego heartbeatu w odczytanych wierszachWykres przed i po: z około 3 700 do około 2 000 odczytanych wierszy na jeden heartbeat.01000200030004000wierszyPrzed indeksem: Wiersze na heartbeat: 3700 wierszy3700Przed indeksemPo indeksie: Wiersze na heartbeat: 2000 wierszy2000Po indeksie
Źródło: Karta: pomiar różnicy odczytanych wierszy podzielonej przez liczbę żądań

Jak zmierzono koszt jednego heartbeatu

Zespół zastosował prostą miarę: różnicę liczby odczytanych wierszy bazy przed i po serii żądań, podzieloną przez liczbę żądań. Miara nie zależy od chwilowego obciążenia procesora ani od pamięci podręcznej, więc dobrze nadaje się do porównania stanu przed i po zmianie.

Wynik pierwszego pomiaru: ok. 3 700 odczytanych wierszy na jeden heartbeat. To liczba nie do przyjęcia dla zapytania, którego zadanie sprowadza się do odnalezienia jednego nadajnika i zapisania odczytu.

Pierwszy znaleziony problem: pełny skan przy wyszukiwaniu nadajnika

Wyszukiwanie nadajnika robiło pełny skan tabeli, bo istniejący indeks unikalny zaczynał się od innej kolumny. Baza nie mogła go użyć, bo indeks działa od lewej strony klucza. Dodano indeks pomocniczy na parze identyfikatorów nadajnika, co zmieniło skan na wyszukanie jednego wiersza. Po tej zmianie koszt spadł z ok. 3 700 do ok. 2 000 odczytanych wierszy na heartbeat.

Drugi problem: historia lokalizacji pracownika

Widok historii czytał całą historię pulsów pracownika, a dopiero potem filtrował daty. Indeks złożony na pracowniku i czasie zamienił to na przeszukanie zakresu: baza przechodzi tylko przez wiersze z żądanego przedziału.

Założenie indeksu na żywej tabeli

Największą obawą administratora była blokada: indeks na tabeli z dziesiątkami milionów rekordów w trakcie pracy zmian mógłby zatrzymać przyjmowanie heartbeatów. W opisywanym przypadku indeks złożony założono na tabeli kilkudziesięciu milionów rekordów bez blokady i bez błędów 5xx, w czasie kilku minut.

Warunki, które to umożliwiły, omawiamy w osobnej stronie o zmianie schematu bazy na żywo. Najważniejsze z nich to wybór okna o mniejszym ruchu, tryb zakładania indeksu niewymagający blokady zapisów oraz stały podgląd liczby błędów w trakcie operacji.

Drugi efekt uboczny: hałas w dzienniku

Przy okazji pomiarów wyszło coś jeszcze. Dziennik diagnostyczny na poziomie ostrzeżeń, zapisywany przy każdym heartbeacie, dawał ok. 250 tys. linii dziennie. Wpis ostrzeżenia, który pojawia się setki tysięcy razy, przestaje być ostrzeżeniem: zasłania prawdziwe problemy i zajmuje miejsce na dysku. Poziom obniżono do debug.

Wniosek jest szerszy niż jedna linia: częstotliwość zdarzenia powinna decydować o poziomie logowania. To, co zdarza się przy każdym żądaniu, nie jest ostrzeżeniem.

Wnioski dla zespołu IT

Pierwsza lekcja: mierz koszt zapytań w wierszach, nie w subiektywnym wrażeniu szybkości. Druga: zacznij od ścieżki, która generuje największy ruch. Trzecia: istniejący indeks nie gwarantuje, że zapytanie z niego korzysta, bo kolejność kolumn ma znaczenie. Czwarta: indeks na żywej, dużej tabeli jest wykonalny, jeśli zaplanuje się okno, tryb i monitoring błędów.

Kalkulacja przykładowa pokazuje skalę efektu: przy założeniu 1 000 000 heartbeatów dziennie spadek z 3 700 do 2 000 wierszy na żądanie to różnica 1,7 mld odczytanych wierszy dziennie (3,7 mld wobec 2,0 mld), czyli ok. 46% mniej.

Kalkulacja przykładowa

Skala dziennego efektu przy założonym ruchu

Założenia
ParametrWartość
Heartbeaty dziennie1 000 000 żądań
Wiersze na żądanie przed3 700 wierszy
Wiersze na żądanie po2 000 wierszy

Wynik: 3,7 mld wobec 2,0 mld odczytanych wierszy dziennie, czyli różnica 1,7 mld (ok. 46%).

Uwaga: Kalkulacja przykładowa: liczba heartbeatów dziennie jest założeniem ilustracyjnym, nie danymi konkretnego zakładu.

Materiał wideo

Często zadawane pytania

Jak zmierzyć koszt zapytania w systemie telemetrii?

Odczytaj licznik wierszy bazy przed i po serii żądań, a różnicę podziel przez liczbę żądań. Miara jest porównywalna przed i po zmianie niezależnie od chwilowego obciążenia.

Dlaczego istniejący indeks nie został użyty przez zapytanie?

Indeks unikalny zaczynał się od innej kolumny, a baza korzysta z indeksu od lewej strony klucza. Zapytanie bez tej kolumny kończy się pełnym skanem.

Czy indeks na dużej tabeli musi zatrzymać system?

Nie musi. W opisanym przypadku indeks na tabeli kilkudziesięciu milionów rekordów założono w kilka minut, bez blokady i bez błędów 5xx.

Dlaczego obniżono poziom dziennika do debug?

Ostrzeżenie zapisywane przy każdym heartbeacie dawało ok. 250 tys. linii dziennie i zasłaniało prawdziwe problemy.

Rośnie Wam baza telemetrii?

Porozmawiajmy o pomiarze kosztu heartbeatu i planie indeksów dla Waszej skali. Pokażemy sposób pomiaru na demonstracji.

Porozmawiajmy