Data Mesh is een veelbelovend concept om knelpunten in traditionele data architecturen op te lossen. Het distribueert data en verantwoordelijkheden naar business domeinen. Maar wat houdt het precies in en wat levert het organisaties op?
We legden Hans Geurtsen – expert op het gebied van data mesh – zeven vragen voor over dit onderwerp.
Data mesh is een gedistribueerd systeem voor data, vergelijkbaar met een WiFi mesh netwerk met meerdere toegangspunten. In plaats van één centrale dataoplossing, ontstaan in een data mesh zogenaamde data producten in de verschillende domeinen van een organisatie.
Hierdoor lost een data mesh knelpunten op van traditionele centrale data architecturen, waarbij het bijbehorende datateam een bottleneck vormt en alle kennis centraal moet zitten. Bij een data mesh wordt data en de kennis ervan gedistribueerd naar de domeinen, wat het interessant maakt voor bedrijven.
Een organisatie die kredietaanvragen toetst gebruikte een modern event-gedreven systeem. De analytische data behoeften waren onder andere inzicht in het aantal toetsingen en percentages geaccepteerde/geweigerde aanvragen.
In de traditionele oplossing werden alle events ook in een database gedumpt voor het data warehouse team om te interpreteren. Bij data mesh laat je het toetsingsdomein zelf de analytische data als data producten opleveren. Zo ontlast je andere teams en worden de resultaten beter.
Een data mesh vereist eigenlijk niet veel nieuwe technieken. Het is vooral een organisatorische verandering, net als bij een WiFi mesh netwerk. De transformatie en integratie van data gebeurt op kleinere schaal binnen domeinen, met dezelfde technieken als bij centrale oplossingen.
Om de mesh te realiseren en gebruikers het gevoel van één data geheel te geven, wordt API technologie ingezet. Via API’s worden de gedistribueerde data producten ontsloten. Dus technisch vooral uitdagingen rondom API’s.
Een data mesh is organisatorisch complexer dan een centraal data team. Het vereist dat een organisatie open staat voor het distribueren van verantwoordelijkheden naar domeinen.
Ook is het belangrijk dat een organisatie al gewend is te denken in termen van domeinen. Een data mesh sluit makkelijker aan bij bedrijven die al werken met microservices en domain driven design. Zo niet, dan is de drempel hoger.
Data mesh is een relatief nieuw concept, dus er zijn nog geen voorbeelden van organisaties die er volledig naar zijn overgestapt.
Het advies is om klein te beginnen met één domein. Definieer de data producten voor dat domein en implementeer die, in plaats van direct bedrijfsbreed uit te rollen.
Geleidelijke en incrementele adoptie met ruimte voor leren en bijstellen lijkt de meest kansrijke aanpak voor succes.
De impact op bestaande data engineers en scientists is vooral dat hun werkplek verandert. In plaats van in een centraal data/BI team werken ze binnen de business domeinen.
Qua werkzaamheden en vereiste vaardigheden verandert er weinig. Geleidelijk aan zullen data engineers en scientists wel meer domeinspecifieke kennis opbouwen door dichter op de data binnen het domein te werken.
Omdat domeinexperts zelf verantwoordelijk worden voor het aanleveren van analytische data, neemt de kwaliteit daarvan toe. Ook de snelheid waarmee data kan worden geleverd verbetert, omdat de benodigde kennis al aanwezig is binnen het domein.
Fouten door onbekendheid met continu veranderende bronsystemen zullen bovendien minder voorkomen. Dit leidt tot snellere en betere besluitvorming op basis van data.
Data mesh heeft de potentie heeft om knelpunten in traditionele data architecturen op te lossen, mits goed geïmplementeerd.
De belangrijkste takeaways uit het gesprek met Hans Geurtsen:
Data mesh is een veelbelovend concept, maar omarm het stap voor stap. Ga voor evolutie, geen abrupte transformatie.