Na platformie low-code Meltemee opracowaliśmy aplikację wspierającą w porządkowaniu danych osobowych organizacje przetwarzające duże woluminy danych, zwykle w wielu systemach informatycznych. W praktyce deduplikacja danych to technika eliminowania powtarzających się danych. Nie brzmi groźnie, ale jeśli bank czy firma ubezpieczeniowa posiada wiele systemów przetwarzających dane osobowe, a do tego organizacja rozwijała się poprzez akwizycje to zagadnienie uporządkowania danych i eliminowanie duplikatów stanowi nie lada wyzwanie.
Aplikacja low-code na platformie Meltemee wspiera klientów w deduplikacji danych i budowie tzw. „złotego rekordu”. Proces rozpoczyna standaryzacja i czyszczenie danych, usunięcie niechcianych znaków, poprawienie imion przy wykorzystaniu słownika imion, rozwijanie skrótów, wypełnienie brakujących pól, jeśli dają się wywnioskować z innych pól, standaryzację i tokenizację wybranych pól, kontrolę poprawności danych i zgodności z regułami, porównywanie rekordów i klasyfikacja, wreszcie tworzenie tzw. „złotych rekordów”. Aplikacja posiada repertuar zaawansowanych algorytmów porównywania danych, opartych o uznane na świecie i matematycznie sprawdzone metody, a efekt pracy jest udostępniany do systemów źródłowych klienta w postaci złotego rekordu – najbardziej aktualnego źródła prawdy o przetwarzanych danych osobowych.
