InnerWeb
Przejdź do treści

Ruch heartbeat i indeksy bazy danych: uwagi wdrożeniowe dla administratora bazy

Endpoint heartbeat generuje większość ruchu API: na instancji testowej pod generatorem demo 96% żądań, na produkcji około połowy. Skalowanie floty urządzeń oznacza więc skalowanie tego jednego zapytania. Przedstawiamy, jak indeks na parze major i minor obniżył obciążenie i jak zaplanować okno serwisowe.

96%
udział heartbeatów w żądaniach na instancji testowej pod generatorem demo
Źródło: karta
ok. 50%
udział heartbeatów w żądaniach na produkcji
Źródło: karta
3 665 → 1 928–2 205
wiersze wczytywane na jeden heartbeat po dodaniu indeksu
Źródło: karta

Skala ruchu: heartbeat dominuje w API

Heartbeat to cykliczny sygnał urządzenia, który serwer przyjmuje, łączy z nadajnikiem i zapisuje. Ponieważ każde urządzenie zgłasza się regularnie, ten endpoint generuje większość ruchu API. Na instancji testowej pod generatorem demo było to 96% żądań, na produkcji około połowy.

Z perspektywy administratora bazy oznacza to, że wydajność całego API w dużej mierze zależy od jednego zapytania. Optymalizacja tego zapytania daje większy efekt niż strojenie dziesięciu rzadziej wywoływanych.

Indeks na parze major i minor

Przy każdym heartbeacie system wyszukuje nadajnik po parze major i minor. Bez indeksu to wyszukiwanie skanuje całą tabelę. Dodanie indeksu na tej parze obniżyło liczbę wczytywanych wierszy na jeden heartbeat z 3 665 do 1 928–2 205, bo wyszukiwanie nadajnika przestało przeglądać całą tabelę.

To zmniejszenie o około 40–47% (z 3 665 do przedziału 1 928–2 205 wierszy) przy zachowaniu tych samych wyników. Przy ruchu liczonym w tysiącach zgłoszeń na godzinę efekt kumuluje się w odczuwalnej różnicy obciążenia.

Jak zweryfikować efekt u siebie

Przed dodaniem indeksu zmierz średnią liczbę wczytywanych wierszy na heartbeat oraz czas odpowiedzi endpointu. Po dodaniu zmierz to samo na porównywalnym ruchu. Porównanie na ruchu o innym natężeniu nie ma sensu, więc użyj tego samego generatora lub tego samego okna czasu.

Co indeks kosztuje

Każdy indeks zajmuje miejsce na dysku i spowalnia zapis. Przy tabeli, w której ciągle przybywa wierszy, ten koszt jest widoczny. Indeks na parze major i minor przyspiesza wyszukiwanie nadajnika, ale nie rozwiązuje problemu rosnącej tabeli telemetrii. To osobne zagadnienie opisujemy w rekomendacjach dotyczących retencji.

Wiersze wczytywane na jeden heartbeat: przed i po indeksie

Wiersze wczytywane na jeden heartbeat: przed i po indeksieWykres przed i po: 3 665 wierszy przed indeksem, od 1 928 do 2 205 wierszy po indeksie.01000200030004000wierszePrzed indeksem: 3665 wiersze3665Przed indeksemPo indeksie (dolna wartość): 1928 wiersze1928Po indeksie (dolna wartość)Po indeksie (górna wartość): 2205 wiersze2205Po indeksie (górna wartość)
Źródło: Karta wewnętrzna: pomiar liczby wczytywanych wierszy na heartbeat przed i po dodaniu indeksu na parze major i minor

Okno serwisowe

Dodanie indeksu do dużej tabeli obciąża bazę i w zależności od silnika może blokować zapisy. Zaplanuj je w oknie serwisowym o najmniejszym ruchu, najlepiej po zmianie, gdy flota urządzeń jest odłożona na ładowarki i zgłasza się rzadziej.

Przed oknem wykonaj kopię zapasową i ustal kryterium wycofania zmiany. Po oknie porównaj liczbę wczytywanych wierszy na heartbeat z wartością sprzed zmiany.

  • Zmierz bieżącą liczbę wczytywanych wierszy na heartbeat i czas odpowiedzi.
  • Wykonaj kopię zapasową bazy i sprawdź jej odtwarzalność.
  • Dodaj indeks na parze major i minor w oknie serwisowym.
  • Zmierz te same wskaźniki na porównywalnym ruchu.
  • Zapisz wyniki w dokumentacji instalacji.

Skalowanie floty urządzeń

Jeśli planujesz zwiększyć liczbę urządzeń kilkukrotnie, ruch heartbeat wzrośnie proporcjonalnie, a tabela zacznie rosnąć szybciej. Na jednej z instalacji tabela heartbeat osiągnęła po dwóch latach 73,9 mln wierszy i 6,2 GB. Przy flocie większej o rząd wielkości tempo narastania będzie wyraźnie wyższe.

Dlatego przed skalowaniem zaplanuj trzy rzeczy równolegle: indeksy dla wyszukiwania nadajników, politykę retencji dla tabeli telemetrii i monitoring liczby wczytywanych wierszy na heartbeat. Pierwsza obniża koszt pojedynczego zgłoszenia, druga ogranicza rozmiar, trzecia daje wczesne ostrzeżenie.

Pamiętaj też, że heartbeat jest zapytaniem o dużym udziale w ruchu, więc pomiar warto powtarzać po każdej zmianie schematu bazy lub liczby urządzeń.

Udział heartbeatów w żądaniach API na instancji testowej pod generatorem demo

Udział heartbeatów w żądaniach API na instancji testowej pod generatorem demoWykres kołowy: heartbeat to 96% żądań API, pozostałe 4%.Heartbeat: 96 % żądań (96%)Pozostałe: 4 % żądań (4%)100% żądańHeartbeat96 % żądań (96%)Pozostałe4 % żądań (4%)
Źródło: Karta wewnętrzna: instancja testowa pod generatorem demo

Materiał wideo

Często zadawane pytania

Dlaczego heartbeat generuje tyle ruchu?

Każde urządzenie zgłasza się cyklicznie, więc liczba zgłoszeń rośnie z liczbą urządzeń. Na instancji testowej pod generatorem demo to 96% żądań, na produkcji około połowy.

O ile indeks zmniejsza obciążenie?

Liczba wierszy wczytywanych na jeden heartbeat spadła z 3 665 do 1 928–2 205, bo wyszukiwanie nadajnika przestało skanować całą tabelę.

Kiedy dodać indeks?

W oknie serwisowym o najmniejszym ruchu, po kopii zapasowej, z pomiarem przed i po na porównywalnym ruchu.

Czy indeks rozwiązuje problem rozmiaru tabeli?

Nie. Przyspiesza wyszukiwanie, ale tabela nadal rośnie. Rozmiar ogranicza polityka retencji, o którą musi zdecydować klient.

Skalujesz flotę urządzeń lokalizujących?

Przejrzymy z Państwa administratorem bazy indeksy i okno serwisowe przed wzrostem ruchu. Umów rozmowę z zespołem InnerWeb.

Porozmawiajmy