Interview met Brian Hendrikx van DPS:
van beleid tot meting

De aanleiding

“Wij waren behoorlijk vooruitstrevend met betrekking tot de transitie: bij de publicatie van de eerste conceptwet richtten wij ons oog al op datakwaliteit” vertelt Brian. “Datakwaliteit was destijds ook al een thema, maar pas veel later toen de Pensioenfederatie met het Kader Datakwaliteit kwam ging het echt leven in de sector. Wij zijn wel al met het onderwerp datakwaliteit aan de slag gegaan naar aanleiding van het verzoek van de fondsen, waar wij zowel advies aan geven als ook de uitvoering verzorgen. Zij wilden een datakwaliteitsonderzoek uitvoeren. We kwamen erachter dat we binnen de pensioenuitvoeringsorganisatie nog niet over voldoende kennis over datakwaliteit beschikten om het echt goed op te pakken en verder te brengen. Dat is het moment waarop we naar AethiQs zijn gestapt om van start te gaan met een traject rondom datakwaliteit. Wat bleek uit gesprekken met AethiQs is dat er alvorens over te gaan op een gedegen onderzoek eerst een beleid vormgegeven moest worden rondom datakwaliteit. Daarbij hoort ook een heldere risicobereidheid. Zo vormen we met de fondsen concrete kaders waaraan de datakwaliteit vervolgens getoetst kan worden. Dit past ook binnen de kracht van DPS als integrale dienstverlener: beleid maken dat uitvoerbaar is.”

Het beleid

Datakwaliteit is een vakgebied dat zich snel ontwikkelt. Om bij te blijven met de nieuwste technologieën in data en IT is specialistische kennis nodig. Daarnaast is het een onderwerp dat zijn eigen risico’s en kansen kent, en zodoende moet er een beleid rondom worden vormgegeven. Daar komen belangrijke vragen bij kijken. Waar wordt de data voor gebruikt? Wat zijn de Kritische Data-elementen? Wat moeten we doen als er een fout wordt gevonden? Welke foutmarges accepteren we en welke niet? De antwoorden op dit soort vragen vormen een beleidskader waarbinnen de datakwaliteit zich mag begeven. Pas als dat kader is vastgelegd kan er een datakwaliteitsonderzoek worden gedaan om te controleren of het kader wordt nageleefd.

Brian: “De hoofdvraag was: wat is de risicobereidheid van de fondsen op het gebied van datakwaliteit? Daar komen vervolgens een hoop deelvragen bij kijken. Het heeft intern bij DPS wel een aantal sessies met AethiQs gekost om te begrijpen hoe je een risicobereidheid in beeld krijgt en dat vervolgens vertaalt naar een onderzoek, zodat wij onze fondsen hier optimaal over konden adviseren. Het was een van onze belangrijkste criteria om een datakwaliteitsbeleid te ontwikkelen dat je ook echt kan gebruiken om onderzoek te doen. Dat wil zeggen dat we ook vanuit de kwalitatieve risicobereidheid concreet de kwantitatieve risiconormen vastgelegd hebben, zoals hoe groot de steekproef moet zijn die je doet op je volledige data om een statistisch significant resultaat voort te brengen.”

Brian: “Het kan lastig zijn als je in gesprek met de fondsen over datakwaliteit al heel snel de diepte in gaat. Daar komt een onafhankelijke partij die meekijkt of klaarstaat als sparringpartner enorm van pas, om de hoofdzaken van de bijzaken te kunnen scheiden. Het is van belang om periodiek over het onderwerp te spreken en inmiddels komt het onderwerp datakwaliteit elke vergadering bij de fondsen ter sprake. Het moet gaan leven binnen het fonds en dat is door het opstellen van het beleid en het uitvoeren van de meting ook gebeurd. Het feit dat we (pro)actief bezig zijn met onderzoeken van de datakwaliteit en dat aankaarten bij de fondsen geeft de fondsen een positief gevoel.”

De uitvoering

Na het vaststellen van het datakwaliteitbeleid door de fondsen bij DPS is er gestart met het meten van data. Brian: “Het is belangrijk om te realiseren dat er op het moment van de start van het onderzoek nog geen Kader Datakwaliteit gepubliceerd was. In samenwerking met AethiQs is er een plan van aanpak opgesteld en zijn er analyses uitgevoerd, waarbij er controles zijn uitgevoerd die vergelijkbaar zijn met de data profiling en generieke data analyses die in het Kader Datakwaliteit zijn benoemd. In toevoeging daarop zijn er vanuit de expertise van AethiQs data science technieken ingezet, zoals outlier detection, om de risicogroepen in de administratie te vinden. De risicogroepen zijn uiteindelijk gebruikt om de deelwaarneming samen te stellen.”
Sprekend over de inzet van data science, vragen wij of Brian de toegevoegde waarde van de inzet van dergelijke technieken ziet: “Jazeker, je hebt als uitvoerder al wel een beeld van de risicogroepen die je op een kwalitatieve manier kan bepalen, maar dat is eigenlijk niet zo heel spannend en het zijn meestal de risicovolle mutaties die iedereen top of mind heeft. Via een techniek als outlier detection, die de data op een data-gedreven benadert, komen er risicogroepen naar voren waaraan je zelf niet gedacht zou hebben.”

Zoals eerder genoemd heeft de Pensioenfederatie op een gegeven moment een Kader Datakwaliteit gepubliceerd. Voor DPS kwam dat terwijl het beleid al afgerond was en de datakwaliteit meting in de afrondende fase zat. Brian: “Tussen de aanpak van AethiQs en de beschreven fases door de Pensioenfederatie zat al veel overlap, dus alles wat wij gedaan hebben van het opstellen van het beleid tot aan de meting, paste daar heel mooi in. We konden daardoor vrij gemakkelijk overstappen op het nieuwe kader. De vraag die voor ons overbleef was: zijn we nu compleet geweest en welke stappen moeten we zetten om volledig aan te sluiten bij het Kader Datakwaliteit?”

Naast het inzichtelijk krijgen van de datakwaliteit, heeft het doorlopen van de datakwaliteit meting ook bijgedragen aan inzichten in de pensioendata bij de medewerkers bij DPS. Brian: “We hadden nog weinig kennis over datakwaliteit toen we van start gingen met het project. Nu merk ik in gesprek met andere uitvoerders dat we toch wel voorlopen op het onderwerp datakwaliteit. Dat komt doordat tijdens het traject ook veel aandacht besteed is aan hoe dingen precies werken in ons administratiesysteem, waarom en hoe we bepaalde dingen doen en waarom bepaalde datapunten als afwijkingen in analyses naar voren komen. Doordat we het begrip en het bewustzijn rondom data binnen DPS verder hebben kunnen brengen, hebben we ook geleerd kritisch naar de data en naar onze systemen te kijken. Daarnaast kunnen we onze fondsen nog beter adviseren over strategische vraagstukken, door de opgedane kennis in de samenwerking met AethiQs.”

Het vervolg

Na het uitvoeren van de datakwaliteit meting stopt het onderwerp datakwaliteit niet voor Brian, DPS en de fondsen. Brian: “Wij hebben samen met AethiQs de openstaande werkzaamheden in relatie tot het Kader Datakwaliteit in kaart gebracht, omdat wij al veel zaken gedaan hadden voordat het Kader werd gepubliceerd. Wij hebben daarmee de fondsen een plan van aanpak rondom aansluiting bij het Kader Datakwaliteit kunnen voorleggen en hebben de acties daarin nader uitgevoerd. We staan op het punt om het hele dossier voor te leggen aan de besturen en we hebben de opinies opgevraagd aan de sleutelfunctiehouders. Die hebben we eerder ook al betrokken bij het datakwaliteit project, maar nu hebben we gevraagd om een integrale notitie over alle werkzaamheden ten aanzien van het Kader Datakwaliteit. Als we die ontvangen hebben, kan het dossier vervolgens naar de externe accountant voor de uitvoering van fase 5 van het Kader.”

Een belangrijk onderdeel van datakwaliteit is de stay-clean fase: de periode tussen het besluit omtrent de datakwaliteit voor invaren in het implementatieplan en het daadwerkelijke invaren. DPS voert daarvoor op dit moment al controles uit: “Wij voeren jaarlijks een bottom-up onderzoek uit. Dat is gestart vanuit onze pensioenuitvoeringsorganisatie. Wij hebben twee fondsen die in verhouding tot de rest van de fondsen in Nederland niet erg groot zijn. We rekenen elk jaar alle pensioenaanspraken na en vergelijken deze met het administratiesysteem. Dit gebeurt ieder jaar en daarmee kunnen we aantonen dat er geen nieuwe fouten meer bijkomen.”

De samenwerking

AethiQs is inmiddels al enkele jaren adviseur van DPS op het gebied van datakwaliteit: “We hebben een hele prettige samenwerking met AethiQs. Het voelde echt als een samenwerking waarin beide partijen zich hebben ingezet voor een goed resultaat. Nadat het datakwaliteit project was afgerond hadden wij als DPS voldoende kennis om op eigen kracht met het onderwerp verder te gaan. Echter, op enkele momenten hebben wij nog een concrete vraag en kunnen wij daarover schakelen met AethiQs die ons dan adviseert.”