Datendeduplizierung

Definition - Was bedeutet Datendeduplizierung?

Die Datendeduplizierung ist eine Datenkomprimierungstechnik, bei der redundante oder wiederholte Kopien von Daten aus einem System entfernt werden. Es ist in Datensicherungs- und Netzwerkdatenmechanismen implementiert und ermöglicht die Speicherung einer eindeutigen Dateninstanz in einer Datenbank oder einem Informationssystem (IS).

Die Datendeduplizierung wird auch als intelligente Komprimierung, Einzelinstanzspeicherung, Commonality Factoring oder Datenreduktion bezeichnet.

Technische.me erklärt die Datendeduplizierung

Bei der Datendeduplizierung werden eingehende Datensegmente analysiert und mit zuvor gespeicherten Daten verglichen. Wenn bereits Daten vorhanden sind, verwerfen Datendeduplizierungsalgorithmen die neuen Daten und erstellen eine Referenz. Wenn beispielsweise eine Dokumentdatei mit Änderungen gesichert wird, werden die vorherige Datei und die angewendeten Änderungen zum Datensegment hinzugefügt. Wenn jedoch kein Unterschied besteht, wird die neuere Datendatei verworfen und eine Referenz erstellt. In ähnlicher Weise durchsucht ein Datendeduplizierungsalgorithmus ausgehende Daten auf einer Netzwerkverbindung, um nach Duplikaten zu suchen, die entfernt werden, um die Datenübertragungsgeschwindigkeit zu erhöhen.