Wat te doen bij volle schijven?

Als storage beheerder heb ik op mijn werk een aantal NetApp-systemen onder mijn hoede. Vergelijk ze voor het gemak maar met de thuis-NAS-systemen die je steeds meer om je heen ziet. Bedenkt wel dat het bij NetApp gaat over professionele hardware die 1000-den gebruikers aan kan. Sinds een paar weken ben ik bezig geweest met het fenomeen disk deduplication. Voorheen heette dit A-SIS en was het een betaald product; tegenwoordig wordt het gratis geleverd (vraag er naar bij je toeleverancier!).

Het systematisch ontdubbelen van dubbele voorkomens van blokken op schijf. Als u mij nog volgt (bedankt daarvoor), dan zal ik proberen zonder te technisch te worden, uitleggen wat dat inhoudt. Volgens NetApp houdt het in dat alle aanwezige data slechts éénmaal op wordt geslagen op schijf. Zijn er dus twee of meer dezelfde PowerPoint presentaties aanwezig of films, dan wordt er tijdens de deduplicatie één fysiek verwijderd (zie ook het plaatje); de andere wordt benaderd via een extra verwijzing. A.d.h.v. opgebouwde meta-data worden toegangsrechten e.d. apart bijgehouden; die kunnen immers per gebruiker voor hetzelfde bestand verschillen. Uiteindelijk merkt de (eind)gebruiker er niets van en profiteert slechts de beheerder, annex eigenaar van het geheel, afhankelijk van het bereikte percentage deduplicatie.

Natuurlijk gaan ook hier de kosten voor de baat uit. Op het moment dat je begint met het ontdubbelen van de data, moet je eerst schijfruimte inleveren omdat de hele schijf doorlopen moet worden van A tot Z. Er moet metadata moet worden aangemaakt, vingerafdrukken van unieke schijfblokken gemaakt moeten worden enz. Dus je moet er mee beginnen voordat je hele schijf tjokvol zit. Daarna worden allen dubbele schijfblokken rücksichtslos verwijdert in een sneltreinvaart, wat fysiek schijfruimte oplevert! Let wel: er vindt geen disk compressie plaats wat je nog wel eens deed onder Windows. Compressie vereist weer een heel snelle processor om weer terug te lezen. Het is voorwaar geen sinecure als hardware zich hiervoor opwerpt, maar zoals gezegd doet NetApp dat; goed en snel. Op een schijf van ruim 1,2TB wordt ruim 170GB gewonnen en schijven van 3,5TB levert besparingen op van 600GB. Afhankelijk van het type data bespaar je tussen de 12-28% schijfruimte; het klinkt bijna te mooi om waar te zijn.

Als je nu bedenkt dat dit soort technologie, zoals zo vaak, binnen enkele jaren zich ook in de huiskamer gaat begeven breken er mooie tijden voor ons aan. We kunnen met een gerust hart onze harde schijven laten verslonzen. Nooit meer opruimen op schijf, met het risico dat we per ongeluk zaken weggooien die niet weg mochten ("Welke @!$@#% heeft &%*$@ de vakantiefoto's weggegooid!"). MP3's of DVD's die in ieders thuismap staan; we blijven er straks van af en laten onze computers gewoon zelf hun bende opruimen. Ik kan niet wachten tot het zover is!