Meer dan ooit in de geschiedenis wordt data over de hele wereld in een gigantisch tempo gegenereerd. Het enorme volume aan zakelijke, persoonlijke en andere data zal naar verwachting in 2025 175 zettabytes (175.000.000.000.000.000.000.000 bytes) bereiken, tegenover 45ZB in 2019. De creatie van zoveel data wordt aangedreven door de groei in communicatie, de versnelling van digitale zaken als een gevolg van de pandemie en de ontwikkeling van aangesloten apparaten.
Hoe kunnen de samenleving en de markt het beste gebruik maken van al deze informatie, met zoveel enen en nullen die overal op servers en opslagapparaten zijn opgeslagen? En wie kan helpen om al deze ‘raw data’ te begrijpen?
Aangezien organisaties overal meer digitale workflows gebruiken, is er een groeiende vraag naar data-professionals. Deze professionals moeten ervoor zorgen dat informatie wordt verzameld en verwerkt, opgeschoond, geformatteerd en voorbereid voor gebruik door datawetenschappers. In feite zijn zowel datawetenschappers als engineers essentiële leden van hetzelfde team. Een team dat nodig is om die enen en nullen om te zetten in nuttige informatie die bedrijfsleiders nodig hebben voor intelligente besluitvorming.
De vraag naar deze hoogopgeleide werknemers zal hoog blijven aangezien bedrijven tijdens de pandemische crisis de digitalisatie versnellen. Een zoekopdracht aan het begin van het vierde kwartaal van 2020 resulteerde in meer dan 150.000 data engineering functies op LinkedIn.
Data engineers beheren en verzamelen data. Ze vormen een cruciaal onderdeel van elke data operatie. Dit doen ze door de architectuur te creëren voor het vergaren en verwerken van ‘raw data’ en deze vervolgens voor te bereiden. Data-wetenschappers kunnen deze informatie analyseren en er inzichten uit halen. Data engineers identificeren trends in datasets en ontwikkelen algoritmen als onderdeel van het voorbereidende werk. Net als veel andere IT-rollen beschikken data engineers over zeer diepgaande en specifieke technische vaardigheden, zoals het ontwerpen van SQL-databases, meerdere programmeertalen en cloudservices.
Naast de behoefte aan technische vaardigheden, maken ze deel uit van een team dat cruciale inzichten moet leveren aan leidinggevenden. Leidinggevende hebben deze inzichten nodig om hun dagelijkse en strategische doelen op lange termijn te sturen. Door hen in staat te stellen snel te reageren op onmiddellijke en opkomende trends, spelen analyseteams een belangrijke rol bij het faciliteren van resultaten voor hun organisaties.
Data engineers werken dagelijks samen met business- en IT-collega's om architectuur te ontwikkelen en interfaces (API's) te creëren die de bruikbaarheid van data verbeteren. Of ze nu de informatie voorbereiden voor gebruik in een dashboard, data importeren in een database of voor andere doeleinden exporteren, de engineer is verantwoordelijk voor het waarborgen van de integriteit van de data en data-pijpleidingen. Andere reguliere taken zijn het combineren van verschillende datasets, bepalen hoe de informatie moet worden opgeslagen en werken met data-wetenschappers en analisten om de benodigde inzichten te verkrijgen.
Data engineers vallen doorgaans in één van deze drie typen:
- generalisten: houdt toezicht op alle data binnen een organisatie, inclusief analyse.
- data pipeline: beheert alle datastromen naar het bedrijf.
- databasegericht: werkt met meerdere databases.
De grootte van de organisatie bepaalt vaak het type data engineer dat werkzaam is. Kleinere organisaties kunnen beperkt zijn tot een klein team of zelfs maar één persoon in dienst hebben die de data beheert. Bedrijven met meer middelen kunnen vaak meer technici inzetten om een groter volume en bredere analytische behoeften te ondersteunen.
taken & verantwoordelijkheden
De vaardigheden die nodig zijn om een data engineer te worden zijn:
- communicatieve vaardigheden. Je kent de noodzaak om technische concepten te vertalen naar niet-technische taal en begrijpt welke communicatie nodig is voor interne en externe stakeholders.
- data-analyse en synthese. Je weet hoe je dataprofilering en bronsysteemanalyse moet uitvoeren en kan heldere inzichten presenteren aan collega's om het eindgebruik van de data te ondersteunen.
- data ontwikkelingsproces. Je kan data producten ontwerpen, bouwen en testen op basis van feeds van meerdere systemen met behulp van een reeks verschillende opslag technologieën en/of toegangsmethoden. Je weet hoe je herhaalbare en herbruikbare producten maakt.
- data-innovatie. Je kent kansen voor innovatie met nieuwe tools en het gebruik van data.
- ontwerp van data-integratie. Je kan data-oplossingen leveren in overeenstemming met overeengekomen organisatorische normen die ervoor zorgen dat services veerkrachtig, schaalbaar en toekomstbestendig zijn.
- datamodellering. Je begrijpt de concepten en principes van datamodellering en kan relevante datamodellen produceren, onderhouden en updaten voor specifieke bedrijfsbehoeften. Je weet hoe je datamodellen kunt reverse-engineeren vanuit een live systeem.
- beheer van metadata. Je kan werken met repositories voor metadata om complexe taken uit te voeren, zoals analyse van de impact van data en systeemintegratie. Je weet hoe je een repository moet onderhouden om ervoor te zorgen dat informatie accuraat en actueel blijft.
- probleemoplossing (data). Je kent de soorten problemen in databases, dataprocessen, dataproducten en diensten.
- programmeren en bouwen (data engineering). Je kan onder leiding van anderen eenvoudige programma's of scripts ontwerpen, coderen, testen, corrigeren en documenteren.
- technisch inzicht (data engineering). Je begrijpt technische kernconcepten met betrekking tot de rol en kunt deze onder begeleiding toepassen.
- testen. Je kunt onder begeleiding testscripts uitvoeren. Je begrijpt de rol van testen en hoe het werkt.
De dagelijkse taken die nodig zijn om deze doelen te bereiken, zijn gevarieerd. Denk aan:
- data exporteren en voorbereiden als onderdeel van de ETL-processen.
- convergerende datasets.
- datasets evalueren, opslitsen en opschonen.
- coderen en uitvoeren.
- data-opslag maken en deze gebruiken voor analyse.
- frameworks gebruiken om data te leveren.
Het is de hoofdverantwoordelijkheid van de data engineer om ervoor te zorgen dat de informatie die aan wetenschappers en andere belanghebbenden wordt verstrekt, waarheidsgetrouw en bruikbaar is. Dit vereist ook een nauwe samenwerking met andere teamleden, waaronder applicatieontwikkelaars, datawetenschappers en databasebeheerders.
werkschema
Met zoveel bedrijven die enorme hoeveelheden data genereren en hun digitale activiteiten versnellen, is de behoefte aan zakelijke inzichten nog nooit zo groot geweest. Dit legt een enorme druk op datateams om sneller informatie te verzamelen en verwerken.
Voor data engineers kan dit lange dagen achter het bureau betekenen omdat ze met meer projecten te maken hebben. Van generalisten, die bij kleine en middelgrote bedrijven werken, kan worden gevraagd om lange dagen te maken. Om zo aan de groeiende vraag te voldoen. De uren worden bepaald door een aantal factoren, waaronder de bedrijfscultuur, het type bedrijf, de omvang van het personeel en het groeitraject.
werkomgeving
Data engineers werken in een team, maar kunnen hun werk vaak op een andere locatie op afstand uitvoeren. De tools en datasets die voor het werk worden gebruikt, zijn allemaal digitaal, dus er zijn geen beperkingen aan waar ze fysiek zitten. Zolang ze maar veilige toegang hebben tot hun servers. Thuiswerken wordt vaak breed geaccepteerd.
voordelen van werken via randstad als data engineer
Als grootste HR-dienstverlener ter wereld werkt Randstad samen met zeer ervaren en getalenteerde data engineers én met de toonaangevende bedrijven waar deze professionals werkzaam zijn. De ervaren wervingsteams van Randstad over de hele wereld maken gebruik van de nieuwste technologieën om de juiste match van kandidaat met beschikbare vacature te maken. Onze recruiters besteden ook veel tijd aan werkzoekenden om hun professionele wensen te begrijpen en hen in contact te brengen met de juiste werkgevers.
opleiding & kwalificaties
Om carrière te maken binnen de data engineering, heb je volgende belangrijkste vaardigheden nodig: programmeren, wiskunde, softwareontwikkeling, databasebeheer, IT en cyberbeveiliging. Het hebben van een sterke technologische achtergrond is een vereiste van alle type data engineers. De meeste organisaties die data engineers inhuren, zoeken kandidaten met de volgende diploma's:
- wiskunde
- informatietechnologie
- informatica
- software engineering
vaardigheden & competenties
Data engineers moeten goed geschoold zijn in data-architectuur, database-ontwerp en -onderhoud. Om hun werk vakkundig uit te voeren, moeten ze een grondige kennis hebben van een veel verschillende technologieën en wel 10 tot 30 talen. Dit is nodig om de beste tools te kiezen voor de projecten waaraan ze werken.
Enkele van de vaardigheden die een data engineer nodig heeft zijn:
-
Apache Spark
-
SQL
-
Hadoop
-
beam
-
Java
-
Python
-
R
-
Kafka
-
Extract/Transform/Load (ETL)
-
Amazon Web Services
-
Databases
-
Shell scripting
-
Distributed ML Platforms: MLib (Spark)
-
Parallel Computing for Deep Learning (Tensorflow, GPU Programming)
-
Development in Containers (Docker, Rkt)
-
Programming in Notebooks (Zeppelin, Jupyter)
-
Java, C++, and/or Go and functional languages (Scala, Clojure, Elixir)
Naast technische vaardigheden vereist het werken als data engineer ook veel soft skills: sterke communicatie, teamgerichte samenwerking, goed projectbeheer en efficiënt gebruik van tijd.
de meest gestelde vragen over werken als data engineer
-
doen data engineers vergelijkbaar werk als datawetenschappers?
Niet precies. Ingenieurs zorgen ervoor dat de informatie die wordt gebruikt om zakelijk inzicht te creëren, nauwkeurig, clean en klaar is voor gebruik door datawetenschappers. Deze twee rollen kunnen nauw samenwerken om ervoor te zorgen dat het analytische werk resulteert in informatie die bedrijfsleiders begrijpen en gebruiken om hun bedrijfsdoelen te bereiken.
-
kan ik meteen een baan als data engineer krijgen nadat ik ben afgestudeerd?
Veel werkgevers zoeken kandidaten met ten minste een paar jaar werkervaring in het werkveld. Maar met een tekort aan data engineers op dit moment, werven sommig bedrijven afgestudeerden met sterke programmeer- en technologische kennis en probleemoplossende vaardigheden. De beste manier om als data engineer aan de slag te gaan, is door veel van de basisvaardigheden te verwerven en daarop voort te bouwen door middel van aanvullende certificering en het werken aan data projecten.
-
zijn data engineers niet gewoon programmeurs?
Coderen is een essentiële vaardigheid die data engineers moeten bezitten, maar hun werk is veel complexer dan alleen programmeren. Kennis van data-architectuur, databases en gedistribueerde systemen is vereist. Ze moeten in staat zijn problemen met datasets te identificeren, oplossingen te ontwikkelen om deze aan te pakken en de data te integreren in de systemen die zullen worden gebruikt om de cijfers te analyseren.
-
is een masterdiploma in data engineering vereist om op dit gebied door te groeien?
Niet alle bedrijven vereisen dat hun data engineers en wetenschappers een master hebben, maar om een rol op managementniveau te verwerven, wordt het sterk aanbevolen. Er zijn veel sterke data-experts die in het veld werken zonder een masterdiploma en gebruikmaken van hun werkervaring en technologische expertise om vooruit te komen in hun vakgebied. Maar een master of PhD biedt vaak meer inzicht in theorieën en het oplossen van problemen. Bovendien kan certificering in verschillende tools en technologieën ook helpen een carrière op dit gebied vooruit te helpen.
