InnerWeb
Przejdź do treści

Zmiana schematu bazy na żywo: uwagi wdrożeniowe dla administratora

Dodanie indeksu na tabeli telemetrii z dziesiątkami milionów rekordów w czasie pracy zmian budzi obawę o blokadę i błędy 5xx. W opisywanym wdrożeniu indeks złożony założono na takiej tabeli w kilka minut, bez blokady i bez błędów. Poniżej etapy, pułapki i kolejność działań, które to umożliwiają.

kilka minut
czas założenia indeksu złożonego na tabeli kilkudziesięciu milionów rekordów
Źródło: karta
0
blokad i błędów 5xx podczas założenia indeksu
Źródło: karta

Dla kogo i kiedy ta zmiana jest potrzebna

Administrator systemu lokalizacji staje przed taką decyzją, gdy pomiar kosztu heartbeatu pokazuje, że zapytania czytają tysiące wierszy na jedno żądanie. Przykładowy pomiar: ok. 3 700 odczytanych wierszy na heartbeat spadło do ok. 2 000 po dodaniu indeksu na parze identyfikatorów nadajnika. Podobnie historia lokalizacji pracownika zyskała po indeksie złożonym na pracowniku i czasie.

Zmiana schematu na żywym systemie jest wykonalna, ale wymaga planu. System lokalizacji przyjmuje heartbeaty bez przerwy, więc każda blokada tabeli oznacza utratę pulsów lub błędy po stronie urządzeń.

Etap 1: pomiar i uzasadnienie zmiany

Zanim dotkniesz schematu, zmierz koszt zapytania w odczytanych wierszach i zapisz wynik. Bez wartości wyjściowej nie wykażesz efektu, a audytor lub kierownik nie zrozumie, po co ingerencja w produkcję. Zidentyfikuj zapytanie, które powoduje pełny skan, i sprawdź, czy istniejący indeks zaczyna się od właściwej kolumny.

Zapisz proponowaną definicję indeksu: nazwę tabeli, listę kolumn w kolejności i uzasadnienie kolejności. Kolejność kolumn w indeksie złożonym decyduje o tym, czy baza go użyje.

Odczytane wiersze na heartbeat przed i po indeksie

Odczytane wiersze na heartbeat przed i po indeksieWykres przed i po: około 3 700 wierszy na heartbeat przed indeksem i około 2 000 po indeksie.01000200030004000wierszyPrzed: Wiersze na heartbeat: 3700 wierszy3700PrzedPo: Wiersze na heartbeat: 2000 wierszy2000Po
Źródło: Karta: pomiar różnicy odczytanych wierszy podzielonej przez liczbę żądań

Etap 2: przygotowanie i próba na kopii

Wykonaj kopię zapasową i sprawdź, że da się ją odtworzyć. Zrób próbę założenia indeksu na kopii tabeli o podobnym rozmiarze, aby oszacować czas i obciążenie. Wynik próby jest podstawą do wyboru okna: im dłużej trwa próba, tym ważniejszy jest dobór okresu o mniejszym ruchu.

W planie zapisz kryterium wycofania: po przekroczeniu jakiego czasu lub poziomu błędów zmiana jest przerywana, oraz kto o tym decyduje.

Etap 3: wykonanie na żywo

Indeks zakładaj w trybie, który nie blokuje zapisów, jeśli używany silnik bazy to umożliwia. Dla bazy tabeli kilkudziesięciu milionów rekordów w opisywanym przypadku operacja zajęła kilka minut. W trakcie obserwuj dwa wskaźniki: liczbę błędów 5xx po stronie API i opóźnienie przyjmowania heartbeatów.

Obserwacja błędów powinna być ciągła, nie tylko po zakończeniu operacji. Jeśli wskaźnik błędów rośnie, wykonaj przerwanie według kryterium z planu.

Okno wykonania

Wybierz okres z mniejszym ruchem, na przykład przerwę między zmianami. Heartbeat generuje od połowy do ponad 90% ruchu API, więc nawet pojedyncza minuta zwiększonej latencji dotyka wielu urządzeń naraz.

Etap 4: weryfikacja efektu

Po zakończeniu powtórz pomiar kosztu w odczytanych wierszach i porównaj z wartością wyjściową. Sprawdź też plan zapytania, aby upewnić się, że baza używa nowego indeksu. Zapisz wynik: to dowód do audytu i uzasadnienie dla kolejnych zmian.

Przy okazji sprawdź poziom dziennika diagnostycznego: wpis zapisywany przy każdym heartbeacie na poziomie ostrzeżeń dawał ok. 250 tys. linii dziennie i został obniżony do poziomu debug.

Pułapki, które widzieliśmy

Najczęstsza pułapka to indeks założony na złej kolejności kolumn: baza go ignoruje, a koszt zapytania pozostaje bez zmian. Druga to założenie indeksu w godzinie szczytu, co zwiększa opóźnienie przyjmowania pulsów. Trzecia to brak planu wycofania.

Ostatnia pułapka dotyczy hostów: zmiana schematu musi być spójna na wszystkich hostach, które mają ten sam backend. Niespójność wersji hostów po wdrożeniu prowadzi do tego, że jeden host wykorzystuje nowy indeks, a drugi nie.

  • Zła kolejność kolumn w indeksie złożonym.
  • Wykonanie w godzinie szczytu ruchu heartbeatów.
  • Brak kryterium i procedury wycofania.
  • Niespójność wersji hostów po wdrożeniu.

Lista kontrolna

Materiał wideo

Często zadawane pytania

Czy założenie indeksu na żywej tabeli zawsze blokuje system?

Nie. W opisanym przypadku indeks na tabeli kilkudziesięciu milionów rekordów założono w kilka minut, bez blokady i bez błędów 5xx. Wymaga to odpowiedniego trybu i okna.

Skąd wiadomo, że indeks zadziałał?

Z powtórzonego pomiaru kosztu zapytania w odczytanych wierszach oraz z planu zapytania, który pokazuje użycie nowego indeksu.

Co zrobić, gdy w trakcie operacji rosną błędy 5xx?

Przerwać operację zgodnie z wcześniej ustalonym kryterium wycofania i wrócić do niej w oknie o mniejszym ruchu.

Planujecie zmianę schematu bazy?

Omówimy z Waszym zespołem IT plan zmiany, okno wykonania i kryteria wycofania, a także sposób pomiaru efektu.

Porozmawiajmy