Het verhaal van Jincy

Big Data Engineer at VodafoneZiggo

Als je de puzzel hebt opgelost, ervaar je een gevoel van trots

De term ‘big data’ wordt tegenwoordig wel heel losjes gebruikt. Zeker in vacatures voor de BI community. Wat er precies onder ‘big’ wordt verstaan, blijft daarbij vaak arbitrair. Bij VodafoneZiggo is dat niet zo. Met ‘big’ bedoelen we echt ‘big’. “Als Big Data Engineer loop ik daar natuurlijk warm voor. Hoe meer data beschikbaar is, hoe groter je impact. Bij VodafoneZiggo crunchen we letterlijk terabytes aan data. Bovendien ontwikkelen we nieuwe technologieën en faciliteiten voor de opslag en real-time verwerking van data, zodat we data-oplossingen naar de business kunnen streamen.”

Maar ‘bigger’ is niet per se beter. “Dat is waar. Als Big Data Engineer zet je vooral in op het faciliteren en activeren van data science teams. En hoe meer datadimensies, hoe breder de scope. Omdat we niet alleen toegang hebben tot gegevens over klantgedrag, maar ook tot netwerk en content data, kunnen we poorten naar dimensies openen die voor veel organisaties gesloten blijven. We werken nauw samen met data scientists en voorkomen dat zij gehinderd worden door infrastructurele knelpunten. We zorgen ervoor dat data geladen kan worden en regelen daarbij de benodigde transformaties en schema’s. Soms als onderdeel van feature teams, zoals Next Generation Pro-Active Monitoring of Churn Management. Als de data engineers die dedicated binnen zo’n feature team werken niet aan een verzoek van data scientists kunnen voldoen, bijvoorbeeld omdat bronnen incompleet zijn, lossen wij dat op.”

Data pipeline technicus
Wat beschouwt Jincy als haar spannendste VodafoneZiggo project? “Dat is een interessante vraag. Ik denk dat dit een van mijn huidige projecten is; het integreren van terabytes Vodafone CDR (Call Detail Records) data binnen het Ziggo datawarehouse. We creëren frameworks om data met verschillende extensies en formats sneller te manipuleren, zodat we de ontwikkeltijd fors terugdringen. Daarvoor – en ook heel interessant – werkte ik met een data science team aan het transformeren en extraheren van data vanuit de Ziggo Mediabox Next. Ongestructureerde, streaming data die moest worden omgezet naar een gestructureerd format. Het draait in ons werk dus niet alleen om data-analyse, maar ook om het efficiënt beschikbaar maken van data. Eerder dit jaar hebben we onze SVN respository overgezet naar GitLab, zodat big data engineers en data scientist teams samen aan code kunnen werken, requests kunnen mergen en code kunnen dupliceren. Een veilige manier om nieuwe projecten op te pakken en te editen. Maar ook om nieuwe code binnen bestaande projecten toe te passen. Tegelijkertijd werk ik aan CICD pipelines om testen en ingebruikname van de codebase volledig te automatiseren. Het ontwikkelen van proposities voor een cloud-based Hadoop stack wordt ook een spannend project. Het is allemaal best tricky, maar als je de puzzel eenmaal hebt opgelost, ervaar je wel een gevoel van trots.”

Bouw, draai en hou van je frameworks
Jincy ervaart de nauwe samenwerking met data scientists en business teams als heel positief. “Bij VodafoneZiggo zie je wat er met je werk gebeurt. Als je beslissingen durft te nemen en de business kunt overtuigen van de meerwaarde van je voorstellen, kun je hier veel impact maken. Ook de vrijheid waarmee ons team werkt, vind ik super. We bouwen de oplossingen die volgens ons nodig zijn. Dat is anders dan bij organisaties waar de scope veel nauwer is, want dan is je uiteindelijke bijdrage vaak vrij minimaal. Mijn team is ‘mede-eigenaar’ van de projecten. Bovendien – en ook weer in tegenstelling tot bedrijven waar het landschap strak is afgekaderd – bouwen en draaien we onze eigen frameworks. Het fundament is van ons.”

Cloud chasers zijn welkom
Hoewel het fundament dus staat, is er nog genoeg te doen. Jincy: “De transitie naar de cloud is het volgende grote project. Uitdagend, want we moeten migratieplannen ontwikkelen en core componenten vanuit het datacenter naar de cloud brengen. Dit is dus het perfecte moment om ons team te versterken, zeker als je al ervaring hebt met cloud migraties. Waar we in ieder geval behoefte aan hebben, is iemand die ons wegwijs kan maken in cloud best practices. Bijvoorbeeld een cloud native met een achtergrond in data architecture die onze horizon kan verbreden. Iemand ook die zijn of haar cloud kennis wil inzetten in de dynamische telecom wereld. Die setting heeft meerwaarde, want je draagt direct bij aan de manier waarop we in de toekomst communiceren. En het verbinden van mensen en bedrijven, is waar het allemaal om draait.”

 

Bekijk meer verhalen van collega's