Dla kogo i kiedy ta zmiana jest potrzebna
Administrator systemu lokalizacji staje przed taką decyzją, gdy pomiar kosztu heartbeatu pokazuje, że zapytania czytają tysiące wierszy na jedno żądanie. Przykładowy pomiar: ok. 3 700 odczytanych wierszy na heartbeat spadło do ok. 2 000 po dodaniu indeksu na parze identyfikatorów nadajnika. Podobnie historia lokalizacji pracownika zyskała po indeksie złożonym na pracowniku i czasie.
Zmiana schematu na żywym systemie jest wykonalna, ale wymaga planu. System lokalizacji przyjmuje heartbeaty bez przerwy, więc każda blokada tabeli oznacza utratę pulsów lub błędy po stronie urządzeń.
Etap 1: pomiar i uzasadnienie zmiany
Zanim dotkniesz schematu, zmierz koszt zapytania w odczytanych wierszach i zapisz wynik. Bez wartości wyjściowej nie wykażesz efektu, a audytor lub kierownik nie zrozumie, po co ingerencja w produkcję. Zidentyfikuj zapytanie, które powoduje pełny skan, i sprawdź, czy istniejący indeks zaczyna się od właściwej kolumny.
Zapisz proponowaną definicję indeksu: nazwę tabeli, listę kolumn w kolejności i uzasadnienie kolejności. Kolejność kolumn w indeksie złożonym decyduje o tym, czy baza go użyje.
Odczytane wiersze na heartbeat przed i po indeksie
Etap 2: przygotowanie i próba na kopii
Wykonaj kopię zapasową i sprawdź, że da się ją odtworzyć. Zrób próbę założenia indeksu na kopii tabeli o podobnym rozmiarze, aby oszacować czas i obciążenie. Wynik próby jest podstawą do wyboru okna: im dłużej trwa próba, tym ważniejszy jest dobór okresu o mniejszym ruchu.
W planie zapisz kryterium wycofania: po przekroczeniu jakiego czasu lub poziomu błędów zmiana jest przerywana, oraz kto o tym decyduje.
Etap 3: wykonanie na żywo
Indeks zakładaj w trybie, który nie blokuje zapisów, jeśli używany silnik bazy to umożliwia. Dla bazy tabeli kilkudziesięciu milionów rekordów w opisywanym przypadku operacja zajęła kilka minut. W trakcie obserwuj dwa wskaźniki: liczbę błędów 5xx po stronie API i opóźnienie przyjmowania heartbeatów.
Obserwacja błędów powinna być ciągła, nie tylko po zakończeniu operacji. Jeśli wskaźnik błędów rośnie, wykonaj przerwanie według kryterium z planu.
Okno wykonania
Wybierz okres z mniejszym ruchem, na przykład przerwę między zmianami. Heartbeat generuje od połowy do ponad 90% ruchu API, więc nawet pojedyncza minuta zwiększonej latencji dotyka wielu urządzeń naraz.
Etap 4: weryfikacja efektu
Po zakończeniu powtórz pomiar kosztu w odczytanych wierszach i porównaj z wartością wyjściową. Sprawdź też plan zapytania, aby upewnić się, że baza używa nowego indeksu. Zapisz wynik: to dowód do audytu i uzasadnienie dla kolejnych zmian.
Przy okazji sprawdź poziom dziennika diagnostycznego: wpis zapisywany przy każdym heartbeacie na poziomie ostrzeżeń dawał ok. 250 tys. linii dziennie i został obniżony do poziomu debug.
Pułapki, które widzieliśmy
Najczęstsza pułapka to indeks założony na złej kolejności kolumn: baza go ignoruje, a koszt zapytania pozostaje bez zmian. Druga to założenie indeksu w godzinie szczytu, co zwiększa opóźnienie przyjmowania pulsów. Trzecia to brak planu wycofania.
Ostatnia pułapka dotyczy hostów: zmiana schematu musi być spójna na wszystkich hostach, które mają ten sam backend. Niespójność wersji hostów po wdrożeniu prowadzi do tego, że jeden host wykorzystuje nowy indeks, a drugi nie.
- Zła kolejność kolumn w indeksie złożonym.
- Wykonanie w godzinie szczytu ruchu heartbeatów.
- Brak kryterium i procedury wycofania.
- Niespójność wersji hostów po wdrożeniu.
Lista kontrolna
Materiał wideo
Często zadawane pytania
Czy założenie indeksu na żywej tabeli zawsze blokuje system?
Nie. W opisanym przypadku indeks na tabeli kilkudziesięciu milionów rekordów założono w kilka minut, bez blokady i bez błędów 5xx. Wymaga to odpowiedniego trybu i okna.
Skąd wiadomo, że indeks zadziałał?
Z powtórzonego pomiaru kosztu zapytania w odczytanych wierszach oraz z planu zapytania, który pokazuje użycie nowego indeksu.
Co zrobić, gdy w trakcie operacji rosną błędy 5xx?
Przerwać operację zgodnie z wcześniej ustalonym kryterium wycofania i wrócić do niej w oknie o mniejszym ruchu.
Planujecie zmianę schematu bazy?
Omówimy z Waszym zespołem IT plan zmiany, okno wykonania i kryteria wycofania, a także sposób pomiaru efektu.
Porozmawiajmy