Dlaczego heartbeat wyznacza próg skalowania
Heartbeat generuje większość ruchu API systemu: od połowy do ponad 90% wszystkich żądań HTTP, zależnie od środowiska. Z tego powodu koszt jednego heartbeatu wyznacza próg skalowania całego systemu. Jeżeli pojedyncze zapytanie czyta tysiące wierszy, ruch rośnie liniowo z liczbą urządzeń, a baza zaczyna być wąskim gardłem długo przed wyczerpaniem mocy serwerów aplikacji.
Administrator bazy ma więc jedno zadanie nadrzędne: znać koszt jednego heartbeatu wyrażony w odczytanych wierszach i wiedzieć, które zapytanie ten koszt tworzy. Ta strona opisuje metodę pomiaru i trzy typowe przyczyny nadmiernego kosztu.
Metoda pomiaru: wiersze na żądanie
Najprostsza metoda wymaga dwóch odczytów licznika wierszy odczytanych przez bazę w odstępie czasu, na przykład pięciu minut, oraz liczby żądań heartbeatu w tym samym oknie. Różnicę liczników dzieli się przez liczbę żądań. Wynik to średnia liczba wierszy odczytanych na jeden heartbeat.
W zmierzonym przypadku koszt spadł z około 3 700 do około 2 000 wierszy na żądanie po dodaniu indeksu na parze identyfikatorów nadajnika. To spadek o około 46%, obliczony jako różnica 1 700 podzielona przez 3 700. Wartość bezwzględna zależy od środowiska, ale metoda jest ta sama: dwa odczyty licznika i dzielenie.
Pomiar warto powtarzać po każdej zmianie schematu i przy każdym wzroście liczby urządzeń. Trend kosztu na żądanie mówi więcej niż pojedyncza wartość, bo pokazuje moment, w którym nowa funkcja zaczęła obciążać ścieżkę heartbeatu.
Wiersze odczytane na jeden heartbeat
Znajdowanie zapytania, które ogranicza skalowanie
Po pomiarze trzeba wskazać winnego. Należy włączyć rejestrację planów wykonania dla zapytań wykonywanych w ścieżce heartbeatu i poszukać pełnych skanów tabeli. W opisywanym przypadku wyszukiwanie nadajnika robiło pełny skan, bo istniejący indeks unikalny zaczynał się od innej kolumny niż ta, po której szukano. Indeks pomocniczy zmienił skan na wyszukanie jednego wiersza.
Drugie zapytanie dotyczyło historii lokalizacji pracownika. Czytało całą historię jego pulsów przed zastosowaniem filtra dat. Indeks złożony na pracowniku i czasie zamienił to na przeszukanie zakresu, czyli odczyt tylko potrzebnych dat. Ogólna zasada: kolejność kolumn w indeksie musi odpowiadać kolejności warunków w zapytaniu.
Zapis heartbeatu w systemie jest osłonięty obsługą błędów, więc problem wydajności nie powinien objawiać się błędami aplikacji, lecz rosnącym czasem odpowiedzi. Dlatego pomiar kosztu w wierszach jest czulszym wskaźnikiem niż liczba błędów.
Zakładanie indeksu na dużej tabeli
Tabela pulsów zawiera kilkadziesiąt milionów rekordów. Indeks złożony założono bez blokady i bez błędów 5xx w czasie kilku minut. To możliwe przy użyciu trybu zakładania indeksu, który nie blokuje zapisów, ale wymaga zapasu miejsca na dysku i okna o mniejszym ruchu. Przed zmianą trzeba sprawdzić wolne miejsce i przygotować plan wycofania.
Zmianę schematu bazy na żywo warto prowadzić według osobnej procedury, opisanej w uwagach wdrożeniowych o zmianie schematu bazy na żywo. Po zakończeniu trzeba powtórzyć pomiar kosztu na żądanie i porównać go z wartością sprzed zmiany.
Koszt dziennika diagnostycznego
Drugim, często pomijanym kosztem jest dziennik diagnostyczny. Wpis na poziomie ostrzeżeń zapisywany przy każdym heartbeacie dawał około 250 tys. linii dziennie, czyli średnio około 2,9 linii na sekundę. Po obniżeniu poziomu do debug zapis zniknął z normalnej pracy. Nadmiar logów obciąża dysk, ręczną analizę i koszt przechowywania.
Warto przejrzeć, które komunikaty trafiają do dziennika w ścieżce heartbeatu, i ustawić poziom zgodny z ich wagą. Ostrzeżenie powinno oznaczać sytuację wymagającą reakcji, a nie zwykłe przyjęcie pozycji.
Lista czynności dla administratora
Kolejność działań można ująć w czterech krokach. Najpierw zmierz koszt jednego heartbeatu w wierszach. Następnie wyszukaj w planach wykonania pełne skany w ścieżce heartbeatu. Potem dodaj indeks zgodny z kolejnością warunków i zmierz ponownie. Na końcu przejrzyj poziomy dziennika i obniż te, które zalewają dysk.
Pozostaje kwestia retencji. Telemetria pulsów nie ma domyślnej retencji, a mechanizm czyszczenia jest wyłączony do czasu decyzji klienta. Rosnąca tabela pogarsza koszt zapytań, więc decyzję o długości przechowywania warto podjąć wcześnie.
Lista kontrolna
Materiał wideo
Często zadawane pytania
Jak zmierzyć koszt jednego heartbeatu?
Odczytaj licznik wierszy bazy dwa razy w odstępie czasu, policz żądania w tym oknie i podziel różnicę przez liczbę żądań.
Dlaczego indeks unikalny nie wystarczył do wyszukania nadajnika?
Zaczynał się od innej kolumny niż ta, po której szukano, więc baza robiła pełny skan.
Czy założenie indeksu na dużej tabeli blokuje system?
W opisanym przypadku nie: indeks na kilkudziesięciu milionach rekordów założono bez blokady i bez błędów 5xx.
Dlaczego obniżono poziom dziennika?
Wpis ostrzeżenia przy każdym heartbeacie dawał ok. 250 tys. linii dziennie, a rutynowe przyjęcie pozycji nie wymaga ostrzeżenia.
Zmierzmy koszt heartbeatu u Was
Wspólnie z Waszym administratorem bazy przeprowadzimy pomiar i wskażemy zapytania do poprawy.
Porozmawiajmy