Wat

is

datakwaliteit?

Wat betekent datakwaliteit?

Datakwaliteit zegt of je gegevens goed genoeg zijn voor wat je ermee wilt doen. Het is dus geen absolute maat. Een adres dat klopt voor de factuur, kan te grof zijn voor routeplanning. Een artikelomschrijving die intern prima werkt, kan ongeschikt zijn voor een webshop. In het Engels heet het data quality. Het begrip hoort bij datamanagement, maar het probleem ontstaat bijna altijd in de dagelijkse praktijk: bij het invoeren, bij een koppeling of bij een migratie. Wie datakwaliteit wil verbeteren, kijkt daarom niet alleen naar de database, maar ook naar de processen die de gegevens erin zetten.

Welke dimensies van datakwaliteit zijn er?

Er zijn zes dimensies die in vrijwel elke indeling terugkomen. In de volgende sectie zie je per dimensie wat die betekent, hoe je hem meet en hoe een fout er in de praktijk uitziet.

Hoe meet je datakwaliteit?

Je meet datakwaliteit door per belangrijk veld een regel af te spreken en te tellen hoeveel records eraan voldoen. Daar heb je geen apart pakket voor nodig. Een query op de database of een export naar een spreadsheet geeft voor de meeste dimensies al een eerste beeld. Begin klein. Kies de tien of twintig velden waar een proces echt op leunt, zoals debiteurnummer, factuuradres en artikelcode, en meet die. Leg de uitkomst vast met een datum. Een eenmalige meting zegt weinig, een meting die je elke maand herhaalt laat zien of het beter of slechter wordt.

Waar ontstaat slechte datakwaliteit?

Slechte datakwaliteit ontstaat meestal op vier plekken. De eerste is de invoer: vrije tekstvelden zonder validatie, verplichte velden die met een punt worden gevuld om door te kunnen. De tweede is een migratie, waarbij velden van het oude naar het nieuwe systeem net niet één op één overeenkomen.

De derde plek is een koppeling die gegevens verkeerd vertaalt, bijvoorbeeld een land als tekst in het ene systeem en als code in het andere. Welke route je kiest om data te ontsluiten uit een bronsysteem, bepaalt mede hoeveel van die vertaalfouten ontstaan. De vierde is de tijd zelf: contactpersonen wisselen van baan en adressen veranderen. En als dezelfde gegevens in meerdere systemen worden bijgehouden, ontstaan er vanzelf verschillen. Dat patroon heet een datasilo.

Waarom loopt een AI-project stuk op datakwaliteit?

Een AI-model leert van de gegevens die er zijn, inclusief de fouten. Staan dezelfde artikelen onder drie namen in je administratie, dan ziet het model drie producten met elk een derde van de verkoop. De voorspelling die eruit komt is technisch correct en inhoudelijk onbruikbaar. Daarom is datakwaliteit de eerste vraag bij een AI-traject, nog vóór de keuze voor een model. Wie eerst meet hoe volledig, uniek en consistent de brondata zijn, weet ook of een project haalbaar is. Hoe je dat in een traject opneemt, staat op de pagina over AI-integratie en implementatie.

Hoe verbeter je datakwaliteit structureel?

Opschonen lost het probleem één keer op, structureel verbeteren voorkomt dat het terugkomt. Dat vraagt drie dingen. Ten eerste een afspraak per gegevenssoort over welk systeem leidend is: de single source of truth. Ten tweede een eigenaar per domein, vaak een data steward genoemd, die bepaalt wat een geldige waarde is. Ten derde regels die fouten tegenhouden bij de bron, in plaats van ze achteraf te herstellen. Samen vormen die afspraken over eigenaarschap, regels en verantwoordelijkheden de kern van datagovernance. Voor stamgegevens zoals relaties, leveranciers en artikelen komen ze samen in master data management.

Datakwaliteit borgen in je software.

De meeste winst zit in de software waarin mensen gegevens invoeren. Een keuzelijst in plaats van een vrij tekstveld, een controle op dubbele KvK-nummers bij het aanmaken van een relatie, een postcode die automatisch het juiste formaat krijgt: kleine ingrepen die een hele categorie fouten laten verdwijnen. Ook koppelingen horen erbij. Een koppeling die een record weigert als een verplicht veld ontbreekt en dat meldt, is beter dan een koppeling die het half overneemt. Zulke regels leg je vast in de laag waar je data management inricht. Zo zijn de gegevens betrouwbaar voordat ze in een dashboard voor business intelligence belanden.

Kort samengevat.

Datakwaliteit is de mate waarin gegevens geschikt zijn voor hun doel, gemeten langs zes dimensies: volledigheid, juistheid, consistentie, actualiteit, uniciteit en geldigheid. Slechte datakwaliteit ontstaat bij invoer, migraties, koppelingen en door veroudering. Structureel verbeteren betekent een leidende bron per gegevenssoort, een eigenaar per domein en validatie op de plek waar gegevens binnenkomen.