Dlaczego decyzja o retencji nie może czekać
Dane lokalizacji i telemetrii narastają stale, bo urządzenia zgłaszają się cyklicznie. Tabela heartbeat rośnie bez limitu: 73,9 mln wierszy i 6,2 GB po dwóch latach działania instalacji. To średnio około 37 mln wierszy rocznie, czyli dziesiątki milionów.
Mechanizm retencji istnieje, ale jest wyłączony do decyzji klienta o długości historii. To rozsądne ustawienie domyślne, bo system nie może sam zdecydować, jak długo zakład ma prawo lub obowiązek przechowywać dane. Ta decyzja należy jednak do klienta i jeśli nikt jej nie podejmie, dane będą nadal rosnąć.
Kto uczestniczy w decyzji
Decyzję przygotowuje dział IT, a opiniuje inspektor ochrony danych, jeśli w zakładzie jest powołany, oraz właściciel procesu: BHP, logistyka lub ochrona. Każdy z nich zna inny wymóg: IT koszty i wydajność, inspektor zasadę minimalizacji danych, właściciel procesu potrzebę dowodową.
Warto przyjąć zasadę, że okres przechowywania wynika z celu, dla którego dane zbierano. Jeżeli dane tras służą do rozliczeń dostaw, okres wynika z potrzeb rozliczeniowych. Jeżeli służą do wyjaśniania zdarzeń, wynika z terminów roszczeń i procedur wewnętrznych.
Narastanie tabeli heartbeat przy stałym tempie (kalkulacja przykładowa)
Pięć rekomendacji
Poniższe zalecenia mają pomóc w ułożeniu polityki retencji bez ryzyka, że po roku zabraknie dysku lub że ktoś usunie dane potrzebne do wyjaśnienia zdarzenia.
1. Rozdziel heartbeaty od punktów tras
Heartbeat to techniczny sygnał życia urządzenia i zwykle wystarcza krótka historia. Punkty tras pokazują, gdzie pojazd lub pracownik był, więc ich okres wynika z celu biznesowego. Dwie różne tabele mogą mieć dwa różne okresy.
2. Zacznij od krótkiego okresu i wydłużaj na uzasadniony wniosek
Łatwiej wydłużyć okres, gdy ktoś zgłosi potrzebę, niż tłumaczyć, dlaczego przez lata trzymano dane, do których nikt nie zaglądał. Okres początkowy ustal po rozmowie z właścicielami procesów i zapisz go w polityce.
3. Zaplanuj okno serwisowe dla pierwszego czyszczenia
Pierwsze usunięcie dużej partii wierszy z tabeli liczącej dziesiątki milionów rekordów obciąża bazę. Zrób je w oknie serwisowym, w partiach, z kopią zapasową przed startem i z pomiarem rozmiaru po wszystkim.
4. Zapisz politykę i datę jej przeglądu
Polityka retencji bez daty przeglądu starzeje się razem z instalacją. Wpisz do niej termin corocznej weryfikacji oraz odpowiedzialnego, który ją prowadzi.
5. Policz koszt przechowywania na liczbach z instalacji
Przy 6,2 GB po dwóch latach przyrost to około 3,1 GB rocznie dla jednej tabeli. Pomnóż to przez liczbę instalacji i dodaj indeksy oraz kopie zapasowe. Wynik pozwala porównać koszt dysków z wartością dłuższej historii.
Kalkulacja przykładowa przyrostu
Na podstawie wartości z instalacji po dwóch latach można oszacować roczny przyrost. To szacunek liniowy: nie uwzględnia skalowania floty urządzeń, o którym piszemy w uwagach wdrożeniowych o indeksach i ruchu heartbeat.
- Wiersze po 2 latach: 73,9 mln, czyli około 36,95 mln rocznie.
- Rozmiar po 2 latach: 6,2 GB, czyli około 3,1 GB rocznie.
- Średni rozmiar wiersza: około 84 bajtów łącznie z indeksami (6,2 GB podzielone przez 73,9 mln).
Na co uważać
Usunięcie danych jest operacją nieodwracalną, więc przed pierwszym czyszczeniem wykonaj kopię i zweryfikuj ją odtworzeniem. Tabele z danymi lokalizacji bywają wymagane w sprawie spornej lub przy analizie wypadku, a decyzji o skróceniu okresu nie cofniesz.
Druga pułapka to mylenie retencji z anonimizacją. Zagregowane statystyki ruchu mogą pozostać na dłużej niż dane surowe, jeśli nie pozwalają zidentyfikować osoby. Ustalenie, czy dane są rzeczywiście zanonimizowane, należy do inspektora ochrony danych, a nie do administratora bazy.
Roczny przyrost tabeli heartbeat
| Parametr | Wartość |
|---|---|
| Wiersze po 2 latach | 73,9 mln |
| Rozmiar po 2 latach | 6,2 GB |
| Tempo narastania | stałe liniowo |
Wynik: ok. 36,95 mln wierszy i 3,1 GB rocznie
Uwaga: Kalkulacja przykładowa: nie uwzględnia zmiany liczby urządzeń w flocie ani zmian częstotliwości zgłoszeń.
Materiał wideo
Często zadawane pytania
Czy system usuwa stare heartbeaty sam?
Mechanizm retencji istnieje, ale jest wyłączony do decyzji klienta o długości historii. Do tego czasu tabela rośnie bez limitu.
Kto powinien wyznaczyć okres przechowywania?
Klient, z udziałem działu IT, inspektora ochrony danych i właściciela procesu. Okres wynika z celu zbierania danych.
Jak duży jest przyrost danych?
Na instalacji, z której pochodzą nasze dane, tabela miała po dwóch latach 73,9 mln wierszy i 6,2 GB. Skalowanie floty zwiększy przyrost.
Czy czyszczenie bazy zatrzyma system?
Duże usunięcie obciąża bazę, więc wykonuje się je w oknie serwisowym i w partiach, po wykonaniu kopii zapasowej.
Źródła
Potrzebujesz polityki retencji dla danych lokalizacji?
Pomożemy przygotować decyzję dla IT i inspektora danych na liczbach z Państwa instalacji. Umów rozmowę.
Porozmawiajmy