Michael Nohl, Data Engineer Analytics

Mein Job als Data Engineer

Als Data Engineer bin ich dafür verantwortlich aus Rohdaten Informationen zu generieren. Die Daten stammen dabei aus einer Vielzahl von Systemen: neben internen Daten aus Lägern, Märkten, dem Onlineshop oder der Tourenplanung steht die Integration externer Quellsysteme im Mittelpunkt. Von Spreadsheets über REST APIs bis hin zu Kafka Topics ist alles dabei. Unser Ziel ist es, den Bereinigungsaufwand für unsere analytischen Kollegen soweit wie möglich zu reduzieren.

Wie sieht ein Arbeitstag bei dir aus?

Ich bin Frühaufsteher. Mein Arbeitstag beginnt daher meistens gegen sieben Uhr. Mit einem Kaffee bewaffnet überprüfe ich zunächst meine Mails und Nachrichten, schaue nach, ob unsere Datenpipelines ordnungsgemäß ihre Arbeit verrichten und korrigiere bei Bedarf Fehler. Das erste Meeting des Tages ist unser teaminternes Daily, in dem wir uns gegenseitig die Pläne für den weiteren Tagesverlauf vorstellen oder Probleme gemeinsam lösen, die am Vortag aufgetreten sind. Die weitere Arbeit ist sehr vielfältig. Abhängig vom Projekt geht es mit der Anbindung neuer Schnittstellen in unseren Data Lake weiter oder es werden Daten aus diesem Lake zu informativen Data Assets veredelt, die unseren Analysten und Data Scientisten die Arbeit erleichtern. Darüber hinaus stehen in der Regel einige Abstimmungstermine mit unseren Stakeholdern oder gemeinsame Codingsessions an. Immer mit dem Ziel, die bestehenden Lösungen zu optimieren und weiterzuentwickeln.

Was sind Herausforderungen in deinem Job?

Aus einer Vielzahl von Lösungsmöglichkeiten die richtige für die vorliegende Aufgabe zu wählen und stets mit Change zu rechnen.

Wie verlief dein bisheriger Karriereweg (vor und bei der REWE Group)?

Während meines Biologiestudiums habe ich eine Leidenschaft für Daten und die Modellierung komplexer Systeme entwickelt. Programmatisch einen Haufen von Zahlen in Informationen zu verwandeln, faszinierte mich. Vor etwa vier Jahren kam ich dann als Werkstudent im Ecom Data Science Bereich zur REWE (Digital), da es für mich der nächste logische Schritt war, das Erlernte auf einem deutlich größeren Datenschatz anzuwenden. Als dann das Angebot kam, als Data Engineer fest bei der REWE anzufangen, musste ich nicht lange überlegen. Der Mehrwert, den ich in meiner Position für die Analytics und Data Science Kollegen generieren kann, gibt mir ein gutes Gefühl.

Mit welchen Technologien arbeitet ihr?

Wir arbeiten in einem Spannungsfeld aus On-Premise und Cloud Technologien. Die REWE Digital hat früh erkannt, dass die Zukunft in der Cloud liegt. Gleichzeitig besteht ein historisch gewachsenes Ökosystem aus Reporting und Analytics Lösungen im klassischen Teradata DWH. In den vergangenen Jahren habe ich hauptsächlich dabei mitgewirkt, Daten aus dem Ecom Geschäft in die klassische REWE Welt zu integrieren. Dafür nutzen wir vorrangig cloudnative Technologien wie Kafka, Kubernetes, Docker, BigQuery und dbt. Als Programmiersprachen kommen je nach Anwendungsfall Java, Python oder R zum Einsatz.

Was sollte man mitbringen, um Teil eures Teams zu werden?

Neugier, Offenheit, Empathie und ein analytisches Mindset. Unsere Stakeholder sind divers, was sich auch in der täglichen Arbeit niederschlägt. Es gibt jeden Tag etwas Neues zu lernen.

Was machst du in deiner Freizeit?

Ich spiele in mehreren Bands und veranstalte von Zeit zu Zeit Konzerte in Köln.