Skala ruchu: heartbeat dominuje w API
Heartbeat to cykliczny sygnał urządzenia, który serwer przyjmuje, łączy z nadajnikiem i zapisuje. Ponieważ każde urządzenie zgłasza się regularnie, ten endpoint generuje większość ruchu API. Na instancji testowej pod generatorem demo było to 96% żądań, na produkcji około połowy.
Z perspektywy administratora bazy oznacza to, że wydajność całego API w dużej mierze zależy od jednego zapytania. Optymalizacja tego zapytania daje większy efekt niż strojenie dziesięciu rzadziej wywoływanych.
Indeks na parze major i minor
Przy każdym heartbeacie system wyszukuje nadajnik po parze major i minor. Bez indeksu to wyszukiwanie skanuje całą tabelę. Dodanie indeksu na tej parze obniżyło liczbę wczytywanych wierszy na jeden heartbeat z 3 665 do 1 928–2 205, bo wyszukiwanie nadajnika przestało przeglądać całą tabelę.
To zmniejszenie o około 40–47% (z 3 665 do przedziału 1 928–2 205 wierszy) przy zachowaniu tych samych wyników. Przy ruchu liczonym w tysiącach zgłoszeń na godzinę efekt kumuluje się w odczuwalnej różnicy obciążenia.
Jak zweryfikować efekt u siebie
Przed dodaniem indeksu zmierz średnią liczbę wczytywanych wierszy na heartbeat oraz czas odpowiedzi endpointu. Po dodaniu zmierz to samo na porównywalnym ruchu. Porównanie na ruchu o innym natężeniu nie ma sensu, więc użyj tego samego generatora lub tego samego okna czasu.
Co indeks kosztuje
Każdy indeks zajmuje miejsce na dysku i spowalnia zapis. Przy tabeli, w której ciągle przybywa wierszy, ten koszt jest widoczny. Indeks na parze major i minor przyspiesza wyszukiwanie nadajnika, ale nie rozwiązuje problemu rosnącej tabeli telemetrii. To osobne zagadnienie opisujemy w rekomendacjach dotyczących retencji.
Wiersze wczytywane na jeden heartbeat: przed i po indeksie
Okno serwisowe
Dodanie indeksu do dużej tabeli obciąża bazę i w zależności od silnika może blokować zapisy. Zaplanuj je w oknie serwisowym o najmniejszym ruchu, najlepiej po zmianie, gdy flota urządzeń jest odłożona na ładowarki i zgłasza się rzadziej.
Przed oknem wykonaj kopię zapasową i ustal kryterium wycofania zmiany. Po oknie porównaj liczbę wczytywanych wierszy na heartbeat z wartością sprzed zmiany.
- Zmierz bieżącą liczbę wczytywanych wierszy na heartbeat i czas odpowiedzi.
- Wykonaj kopię zapasową bazy i sprawdź jej odtwarzalność.
- Dodaj indeks na parze major i minor w oknie serwisowym.
- Zmierz te same wskaźniki na porównywalnym ruchu.
- Zapisz wyniki w dokumentacji instalacji.
Skalowanie floty urządzeń
Jeśli planujesz zwiększyć liczbę urządzeń kilkukrotnie, ruch heartbeat wzrośnie proporcjonalnie, a tabela zacznie rosnąć szybciej. Na jednej z instalacji tabela heartbeat osiągnęła po dwóch latach 73,9 mln wierszy i 6,2 GB. Przy flocie większej o rząd wielkości tempo narastania będzie wyraźnie wyższe.
Dlatego przed skalowaniem zaplanuj trzy rzeczy równolegle: indeksy dla wyszukiwania nadajników, politykę retencji dla tabeli telemetrii i monitoring liczby wczytywanych wierszy na heartbeat. Pierwsza obniża koszt pojedynczego zgłoszenia, druga ogranicza rozmiar, trzecia daje wczesne ostrzeżenie.
Pamiętaj też, że heartbeat jest zapytaniem o dużym udziale w ruchu, więc pomiar warto powtarzać po każdej zmianie schematu bazy lub liczby urządzeń.
Udział heartbeatów w żądaniach API na instancji testowej pod generatorem demo
Materiał wideo
Często zadawane pytania
Dlaczego heartbeat generuje tyle ruchu?
Każde urządzenie zgłasza się cyklicznie, więc liczba zgłoszeń rośnie z liczbą urządzeń. Na instancji testowej pod generatorem demo to 96% żądań, na produkcji około połowy.
O ile indeks zmniejsza obciążenie?
Liczba wierszy wczytywanych na jeden heartbeat spadła z 3 665 do 1 928–2 205, bo wyszukiwanie nadajnika przestało skanować całą tabelę.
Kiedy dodać indeks?
W oknie serwisowym o najmniejszym ruchu, po kopii zapasowej, z pomiarem przed i po na porównywalnym ruchu.
Czy indeks rozwiązuje problem rozmiaru tabeli?
Nie. Przyspiesza wyszukiwanie, ale tabela nadal rośnie. Rozmiar ogranicza polityka retencji, o którą musi zdecydować klient.
Skalujesz flotę urządzeń lokalizujących?
Przejrzymy z Państwa administratorem bazy indeksy i okno serwisowe przed wzrostem ruchu. Umów rozmowę z zespołem InnerWeb.
Porozmawiajmy