InnerWeb
Przejdź do treści

Retencja danych lokalizacji i telemetrii: rekomendacje dla IT i inspektora danych

Tabela heartbeat rośnie bez limitu: po dwóch latach miała 73,9 mln wierszy i 6,2 GB. Mechanizm retencji istnieje, ale jest wyłączony do czasu decyzji klienta o długości historii. Poniżej rekomendacje, jak tę decyzję przygotować i podjąć przed wdrożeniem.

73,9 mln
wierszy tabeli heartbeat po dwóch latach
Źródło: karta
6,2 GB
rozmiar tej tabeli po dwóch latach
Źródło: karta
ok. 3,1 GB
szacowany roczny przyrost jednej tabeli
Źródło: kalkulacja przykładowa

Dlaczego decyzja o retencji nie może czekać

Dane lokalizacji i telemetrii narastają stale, bo urządzenia zgłaszają się cyklicznie. Tabela heartbeat rośnie bez limitu: 73,9 mln wierszy i 6,2 GB po dwóch latach działania instalacji. To średnio około 37 mln wierszy rocznie, czyli dziesiątki milionów.

Mechanizm retencji istnieje, ale jest wyłączony do decyzji klienta o długości historii. To rozsądne ustawienie domyślne, bo system nie może sam zdecydować, jak długo zakład ma prawo lub obowiązek przechowywać dane. Ta decyzja należy jednak do klienta i jeśli nikt jej nie podejmie, dane będą nadal rosnąć.

Kto uczestniczy w decyzji

Decyzję przygotowuje dział IT, a opiniuje inspektor ochrony danych, jeśli w zakładzie jest powołany, oraz właściciel procesu: BHP, logistyka lub ochrona. Każdy z nich zna inny wymóg: IT koszty i wydajność, inspektor zasadę minimalizacji danych, właściciel procesu potrzebę dowodową.

Warto przyjąć zasadę, że okres przechowywania wynika z celu, dla którego dane zbierano. Jeżeli dane tras służą do rozliczeń dostaw, okres wynika z potrzeb rozliczeniowych. Jeżeli służą do wyjaśniania zdarzeń, wynika z terminów roszczeń i procedur wewnętrznych.

Narastanie tabeli heartbeat przy stałym tempie (kalkulacja przykładowa)

Narastanie tabeli heartbeat przy stałym tempie (kalkulacja przykładowa)Wykres liniowy: liczba wierszy tabeli rośnie liniowo od 0 do 147,8 mln w czwartym roku przy założeniu stałego tempa.050100150mln wierszyRok 0Rok 1Rok 2Rok 3Rok 4Rok 0: 0 mln wierszy0Rok 1: 36,95 mln wierszy36,95Rok 2: 73,9 mln wierszy73,9Rok 3: 110,85 mln wierszy110,85Rok 4: 147,8 mln wierszy147,8
Źródło: Kalkulacja przykładowa: liniowe przedłużenie wartości 73,9 mln wierszy po dwóch latach z karty

Pięć rekomendacji

Poniższe zalecenia mają pomóc w ułożeniu polityki retencji bez ryzyka, że po roku zabraknie dysku lub że ktoś usunie dane potrzebne do wyjaśnienia zdarzenia.

1. Rozdziel heartbeaty od punktów tras

Heartbeat to techniczny sygnał życia urządzenia i zwykle wystarcza krótka historia. Punkty tras pokazują, gdzie pojazd lub pracownik był, więc ich okres wynika z celu biznesowego. Dwie różne tabele mogą mieć dwa różne okresy.

2. Zacznij od krótkiego okresu i wydłużaj na uzasadniony wniosek

Łatwiej wydłużyć okres, gdy ktoś zgłosi potrzebę, niż tłumaczyć, dlaczego przez lata trzymano dane, do których nikt nie zaglądał. Okres początkowy ustal po rozmowie z właścicielami procesów i zapisz go w polityce.

3. Zaplanuj okno serwisowe dla pierwszego czyszczenia

Pierwsze usunięcie dużej partii wierszy z tabeli liczącej dziesiątki milionów rekordów obciąża bazę. Zrób je w oknie serwisowym, w partiach, z kopią zapasową przed startem i z pomiarem rozmiaru po wszystkim.

4. Zapisz politykę i datę jej przeglądu

Polityka retencji bez daty przeglądu starzeje się razem z instalacją. Wpisz do niej termin corocznej weryfikacji oraz odpowiedzialnego, który ją prowadzi.

5. Policz koszt przechowywania na liczbach z instalacji

Przy 6,2 GB po dwóch latach przyrost to około 3,1 GB rocznie dla jednej tabeli. Pomnóż to przez liczbę instalacji i dodaj indeksy oraz kopie zapasowe. Wynik pozwala porównać koszt dysków z wartością dłuższej historii.

Kalkulacja przykładowa przyrostu

Na podstawie wartości z instalacji po dwóch latach można oszacować roczny przyrost. To szacunek liniowy: nie uwzględnia skalowania floty urządzeń, o którym piszemy w uwagach wdrożeniowych o indeksach i ruchu heartbeat.

  • Wiersze po 2 latach: 73,9 mln, czyli około 36,95 mln rocznie.
  • Rozmiar po 2 latach: 6,2 GB, czyli około 3,1 GB rocznie.
  • Średni rozmiar wiersza: około 84 bajtów łącznie z indeksami (6,2 GB podzielone przez 73,9 mln).

Na co uważać

Usunięcie danych jest operacją nieodwracalną, więc przed pierwszym czyszczeniem wykonaj kopię i zweryfikuj ją odtworzeniem. Tabele z danymi lokalizacji bywają wymagane w sprawie spornej lub przy analizie wypadku, a decyzji o skróceniu okresu nie cofniesz.

Druga pułapka to mylenie retencji z anonimizacją. Zagregowane statystyki ruchu mogą pozostać na dłużej niż dane surowe, jeśli nie pozwalają zidentyfikować osoby. Ustalenie, czy dane są rzeczywiście zanonimizowane, należy do inspektora ochrony danych, a nie do administratora bazy.

Kalkulacja przykładowa

Roczny przyrost tabeli heartbeat

Założenia
ParametrWartość
Wiersze po 2 latach73,9 mln
Rozmiar po 2 latach6,2 GB
Tempo narastaniastałe liniowo

Wynik: ok. 36,95 mln wierszy i 3,1 GB rocznie

Uwaga: Kalkulacja przykładowa: nie uwzględnia zmiany liczby urządzeń w flocie ani zmian częstotliwości zgłoszeń.

Materiał wideo

Często zadawane pytania

Czy system usuwa stare heartbeaty sam?

Mechanizm retencji istnieje, ale jest wyłączony do decyzji klienta o długości historii. Do tego czasu tabela rośnie bez limitu.

Kto powinien wyznaczyć okres przechowywania?

Klient, z udziałem działu IT, inspektora ochrony danych i właściciela procesu. Okres wynika z celu zbierania danych.

Jak duży jest przyrost danych?

Na instalacji, z której pochodzą nasze dane, tabela miała po dwóch latach 73,9 mln wierszy i 6,2 GB. Skalowanie floty zwiększy przyrost.

Czy czyszczenie bazy zatrzyma system?

Duże usunięcie obciąża bazę, więc wykonuje się je w oknie serwisowym i w partiach, po wykonaniu kopii zapasowej.

Źródła

Potrzebujesz polityki retencji dla danych lokalizacji?

Pomożemy przygotować decyzję dla IT i inspektora danych na liczbach z Państwa instalacji. Umów rozmowę.

Porozmawiajmy