8min Analytics

Hoe word je een data engineer?

Een carrière met toekomstperspectief

Insight: Analytics

Hoe word je een data engineer?

Het bedrijfsleven kampt al jaren met een nijpend tekort aan gekwalificeerde data engineers. Met de groeiende vraag naar analytics en AI lijkt de behoefte aan dergelijke professionals alleen maar toe te nemen. In reactie daarop onderzoeken verschillende partijen oplossingen om meer data engineers aan te trekken. Nimbus Intelligence speelt hierop in met zijn Academy, die gericht is op het aanpakken van dit talententekort. We spraken met oprichters Rik van Schaik en Martijn Verstrepen over hoe zij het traineeship hebben opgezet, hoe het helpt het personeelstekort te verkleinen en hoe de Academy helpt een data engineer te worden.

De Academy is ontworpen om voordelen te bieden aan de trainees, de markt en uiteindelijk Nimbus Intelligence zelf. Deelnemers aan de Academy hebben bij de start een IT-achtergrond, maar moeten nog een hoger niveau bereiken voordat ze complexe datavraagstukken kunnen oplossen. Ze hebben bijvoorbeeld ervaring met de talen SQL en Python, wat hen in staat stelt om tijdens het traineeship dieper op de materie in te gaan. Nimbus Intelligence begint zo niet vanaf nul en vermijdt de nood om de basisuitleg van fundamentele dataconcepten te geven.

Van Schaik en Verstrepen zien in de Academy de ideale weg voor IT-talenten om data engineer te worden. Zij hebben een rooskleurig carrièreperspectief. De vraag naar data engineers is al lange tijd hoog, en met de voortdurende overgang van on-premises databases naar de cloud zal deze vraag naar verwachting blijven groeien. Elk bedrijf dat momenteel nog on-premises werkt, stapt naar verwachting binnen afzienbare tijd over naar de cloud. Dit biedt kansen voor toekomstige data engineers.

Verhaal gaat verder na onderstaand kader.

Bedrijven helpen bij hun datahuishouding

Nimbus Intelligence is opgericht in 2023 om bedrijven te helpen bij het inrichten van hun datahuishouding. Dit met het uiteindelijke doel om bedrijven beter datagedreven te laten werken, want op die manier kan de efficiëntie en het concurrentievoordeel toenemen. Mogelijke resultaten zijn geoptimaliseerde winstmarges, het beter verwerken van patiëntdata en het stroomlijnen van supply chains. Nimbus Intelligence kan op maat gebouwde oplossingen leveren om het uiteindelijke zakelijke doel te realiseren.

Voor de hulp bij de inrichting zijn vooral data engineers nodig. Die zijn moeilijk op de markt te vinden. Daarom heeft Nimbus Intelligence het traineeship opgezet, zodat het uiteindelijk over meer data engineers kan beschikken om klanten te ondersteunen. De trainees worden uiteindelijk op locatie van de klant geplaatst, afgestemd op de behoefte bij een project en de wensen van de trainee. Nimbus Intelligence wil die klant met het datavraagstuk de garantie geven dat de trainee van een zeer hoog niveau is. Daar draagt diepe training in bijvoorbeeld Snowflake, dbt of Python aan bij. Een of meerdere van deze vaardigheden kan cruciaal zijn voor een bepaald klantproject.

Markt schreeuwt om data engineers

Voor die markt en daarmee automatisch Nimbus Intelligence is de Academy een essentieel initiatief. “We helpen bedrijven om data uit diverse systemen te halen, op te schonen en klaar te zetten voor analyse. Er is een groot tekort aan data engineers, en daarom zijn we in januari 2023 met de Academy gestart”, licht Van Schaik de marktsituatie toe.

Het tekort aan gekwalificeerde data engineers is een langdurig probleem, dat de laatste jaren alleen maar ernstiger is geworden. Bedrijven verzamelen wereldwijd grote hoeveelheden data, maar het effectief beheren, analyseren en benutten van deze gegevens blijft een uitdaging. De vraag naar data engineers zal naar verwachting blijven stijgen, aangezien steeds meer organisaties digitale strategieën optimaliseren, migreren naar de cloud en hun besluitvorming willen baseren op data-driven inzichten. Data engineers spelen een sleutelrol door data te verzamelen, op te schonen, te transformeren en te (her)structureren. Ze vormen de ruggengraat van de datastrategie van een organisatie.

Dit tekort aan data engineers heeft geleid tot een markt waarin bedrijven strijden om talent. Technologische vooruitgang vereist nieuwe vaardigheden en expertise. De interne opleiding van de Academy, die vier maanden duurt, richt zich op het aanpakken van de uitdagingen door jaarlijks meer dan 30 nieuwe data engineers op te leiden. Hoewel dit initiatief het tekort niet volledig zal oplossen, heeft het de potentie om voldoende gekwalificeerde professionals op te leiden die door Nimbus Intelligence ingezet kunnen worden. Dit biedt bedrijven die samenwerken met Nimbus Intelligence de mogelijkheid om hun data-activiteiten uit te besteden en te profiteren van een moderne datastrategie.

Opzet van de Academy

Tijdens de opleiding dompelt Nimbus Intelligence de trainees fulltime onder in de wereld van data engineering. “Ongeveer de helft van de 30+ deelnemers is voor Nederland opgeleid, wat per cohort kan variëren”, vertelt Verstrepen. De overige trainees worden opgeleid in Madrid en Milaan, waar Nimbus Intelligence ook vestigingen heeft. De intensieve opleiding is afgestemd op de uitdagingen en behoeften van de lokale markt. Deelnemers doen naast technische kennis ook praktische ervaring op met diverse live use cases.

Alle deelnemers behalen uiteindelijk een certificering in onder andere Snowflake. Het programma legt sterk de nadruk op Snowflake, met 80 procent van de tijd besteed aan deze tool en 20 procent aan andere tools zoals Google BigQuery. “We willen ons echt specialiseren in de platformen die we ondersteunen”, zegt Verstrepen. Van Schaik voegt toe: “Het belangrijkste doel van deze opleiding is om de markt te voorzien van goed opgeleide data engineers. Klanten die de trainees na het programma inzetten, ervaren niet dat ze net van school komen. We investeren vier maanden in de opleiding, met talloze oefeningen en praktische sessies met de deelnemers.”

Software,,Coding,Hologram,And,Woman,In,Data,Analytics,,Information,Technology

Binnen het programma organiseert Nimbus Intelligence ook sessies in samenwerking met Snowflake. Elk cohort is er een bezoek aan het kantoor van Snowflake voor presentaties over nieuwe functies en klantvoordelen. De samenwerking met Snowflake zorgt ervoor dat de trainees vertrouwd raken met de technologie en begrijpen hoe deze in de praktijk bij klanten wordt toegepast. Daarnaast zijn er samenwerkingen opgezet met verschillende techleveranciers die nauw samenwerken met Snowflake, zoals Coalesce, dbt Labs en Fivetran, die essentiële technologie leveren voor datatransformatie. Deze partners verzorgen ook trainingen binnen het programma, zodat trainees altijd op de hoogte zijn van de nieuwste ontwikkelingen en best practices in het vakgebied.

Weg naar de arbeidsmarkt

Volgens de oprichters onderscheidt Nimbus Intelligence zich door zijn duidelijke focus op specialisatie van bestaande traineeships. “We richten ons niet op algemene Azure of AWS, zoals veel andere partijen doen. Onze sterke focus om specialist te worden in een specifiek domein maakt ons uniek”, zegt Verstrepen. Van Schaik voegt toe dat veel andere data engineering-traineeships vaak breed zijn ingestoken. “Bij ons draait het echt om data engineering voor effectieve data-analyse. We leiden mensen op om data uit systemen te halen, te transformeren en goed te analyseren. Dit sluit naadloos aan bij wat onze zusterorganisatie, The Information Lab, aan de analytics kant doet.”

Van Schaik vergelijkt de werkwijze van Nimbus Intelligence met een specialistische aannemer voor de verbouwing van een huis, waarbij met experts uit verschillende vakgebieden gewerkt wordt. Ook bij Nimbus Intelligence werkt men zo, door experts te hebben van datavisualisatie tot de kern van de data-infrastructuur.

Na afronding van het traineeship gaan de deelnemers aan de slag bij klanten van Nimbus Intelligence. Ze doen in twee jaar tijd ervaring op bij vier verschillende klanten. “Dit bouwt een CV op dat laat zien dat ze hebben gewerkt in diverse klantomgevingen”, legt Verstrepen uit. “We hebben ook een groot netwerk via The Information Lab, met honderden medewerkers die dagelijks werken met data.”

Deze praktijkervaring bij klanten stelt de deelnemers in staat om technisch onderlegd te worden en praktisch inzicht te krijgen in verschillende bedrijfsomgevingen en uitdagingen. “Als je bij een klant tegen problemen aanloopt, verwachten we niet dat je dat in je eentje oplost. We hebben de middelen en het team om samen met jou deze uitdagingen aan te pakken”, zegt Verstrepen. “Soms is dat een duwtje in de juiste richting, en soms is het echt samen kijken hoe we het probleem kunnen oplossen.”

Toekomstperspectief voor data engineers

Verstrepen en Van Schaik zijn optimistisch over de toekomst van data engineers. De vraag naar gekwalificeerde professionals in de datamarkt, gecombineerd met de praktische opleiding van Nimbus Intelligence, biedt deelnemers aan de Academy uitstekende carrièremogelijkheden. “Onze trainees zijn niet zomaar afgestudeerden zonder praktische ervaring”, benadrukt Van Schaik. “We werken aan projecten waarin alle aspecten van data engineering aan bod komen.”

Nimbus Intelligence biedt met zijn Academy een antwoord op de groeiende vraag naar data engineers door een combinatie van theoretische kennis, praktische vaardigheden en gespecialiseerde training. Het traineeship fungeert als een springplank voor degenen die een carrière in data engineering ambieert. Alle facetten worden bij de theoretische scholing en praktische opdrachten meegenomen. Het gaat dan naast de technische implementatie ook om stakeholdermanagement. Een data engineer stemt dan af wat er precies moet gebeuren. Data engineering gaat immers verder dan enkel de technologie. De data-expert moet, met de juiste opstap, in staat zijn om te gaan met de complexe en dynamische omgevingen waarin die zal werken.

Tip: Snowflake maakt van de AI Data Cloud het brein van ieder bedrijf