Berufsbild Data Engineer

Was macht man als Data Engineer?

Data Engineers sind hauptsächlich dafür zuständig, Daten in ein Format zu übertragen, welches leicht zu analysieren ist. Sie tun dies, indem sie Infrastrukturlösungen zur Erzeugung von Daten entwickeln, warten und testen. Data Engineers arbeiten eng mit Data Scientists zusammen und sind größtenteils dafür zuständig, Lösungen für Data Scientists zu entwickeln, damit diese ihre Aufgabe erledigen können.

Data Engineers haben für gewöhnlich einen Bachelor-Abschluss in Informatik, Informationstechnologie oder angewandter Mathematik sowie einige Data Engineering-Zertifikate, wie das IBM Certified Data Engineer-Zertifikat oder das Certified Professionals-Zertifikat von Google. Zusätzlich besitzen Data Engineers eine Füllen an technischen Fertigkeiten und die Fähigkeit Problemstellungen kreativ zu begegnen.

Vorlage: Stellenbeschreibung für Data Engineer

Jobübersicht

Beispielfirma gehört zu den weltweit führenden Unternehmen der Branche. Wir stehen für kollegiale Zusammenarbeit und Respekt im Umgang miteinander – das bestätigen uns auch unsere Mitarbeiterinnen und Mitarbeiter, die uns auf Glassdoor mit 4,1 Sternen bewerten. Zur Verstärkung unseres erstklassigen Teams suchen wir Sie als Data Engineer. Sie sind ehrgeizig und wollen etwas bewegen? Dann werden Sie Teil unserer Erfolgsgeschichte und bewerben Sie sich noch heute!

Aufgaben als Data Engineer

  • Erstellung und Instandhaltung einer optimalen Data-Pipeline-Architektur,
  • Zusammenstellung großer, komplexer Datensätze, die sowohl funktionale als auch nicht-funktionale Geschäftserfordernisse erfüllen.
  • Identifikation, Entwurf und Implementierung interner Prozessverbesserungen: Automatisierung manueller Prozesse, Verbesserung der Datenübertragung, Umgestaltung der Infrastruktur für eine bessere Skalierung, etc.
  • Bau einer Infrastruktur zur optimalen Gewinnung, Transformation und Ladung von Daten aus einer Vielzahl von Datenquellen unter Verwendung von SQL und AWS 'big data' Technologien.
  • Bau von Analyse-Werkzeugen, die mithilfe der Data-Pipeline umsetzbare Erkentnisse hinsichtlich der Kundenakquise, betrieblicher Effizienz und anderer betrieblicher Erfolgskennzahlen liefern.
  • Zusammenarbeit mit Stakeholdern, einschließlich dem Management, der Produktentwicklung sowie Data- und Design-Abteilungen, um bei datenbasierten technischen Sachverhalten zu unterstützen und Infrastruktur-Bedürfnisse zu bedienen.
  • Sichere und gesonderte Verwahrung unserer Daten über Landesgrenzen hinweg, durch mehrer Datenzentren und AWS-Regionen.
  • Entwicklung von Data Tools für die Kollegen aus den Analytik- und Data Science-Abteilungen, um diese beim Bau und der Verbesserung unseres Produktes zu unterstützen, sodass es zum innovativen Branchenführer wird.
  • Zusammenarbeit mit Daten- und Analytikexperten, um eine höhere Funktionalität unserer Datensysteme zu erzielen.

Qualifikationen für Data Engineer

  • Erweitertes Fachwissen in SQL und Erfahrung aus der Arbeit mit relationalen Datenbanken, Erstellung von Abfragen (SQL) sowie Vertrautheit mit verschiedenen Datenbanktypen.
  • Erfahrung im Aufbau und der Optimierung von 'Big Data'-Data-Pipelines, Architekturen und Datensätzen.
  • Erfahrung in der Durchführung von Ursachenanalysen bezüglich interner und externer Daten und Prozesse, um Antworten auf spezifische betriebliche Fragestellungen zu finden und Optimierungsmöglichkeiten zu identifizieren.
  • Ausgeprägte analytische Fähigkeiten in Bezug auf das Arbeiten mit unstrukturierten Datensätzen.
  • Prozessaufbau zur Unterstützung von Datentransformation, Datenstrukturen, Metadaten und dem Abhängigkeits- und Workload-Management.
  • Vergangene Erfolge in der Manipulation und Verarbeitung großer, unzusammenhängender Datensätzen und der Mehrwertgewinnung aus diesen.
  • Arbeitserfahrung in Bezug auf Message Queuing, Stream Processing und hoch-skalierbare ‘big data’-Datenspeicher.
  • Ausgeprägte Projektmanagementkompetenz und Organisationsfähigkeit.
  • Erfahrung in der Unterstützung von und Arbeit mit abteilungsübergreifenden Teams in einem dynamischen Umfeld.
  • Wie suchen nach einem Kandidaten/einer Kandidatin mit mindestens 5 Jahren Berufserfahrung als Data Engineer und einem Abschluss in Informatik, Statistik, Informationssystemen oder einem anderen quantitativen Bereich. Geeignete Bewerber sollten darüber hinaus Erfahrung in den folgen Softwarelösungen/Frameworks besitzen:
    • Erfahrung mit Big Data-Frameworks: Hadoop, Spark, Kafka, etc.
    • Erfahrung in der Arbeit mit relationalen SQL- und NoSQL-Datenbanken, inklusive Postgres und Cassandra.
    • Erfahrung mit Anwendungen des Data Pipeline- und Workflow-Managements: Azkaban, Luigi, Airflow, etc.
    • Erfahrung mit AWS Cloud Services: EC2, EMR, RDS, Redshift
    • Erfahrung mit Stream Processing-Anwendungen: Storm, Spark-Streaming, etc.
    • Erfahrung mit objektorientierten/funktionalen Skriptsprachen: Python, Java, C++, Scala, etc.

Bereit, die Stelle zu besetzen?

Stellenanzeigen ausprobieren

Arbeitgeber: So verfassen Sie überzeugende Stellenbeschreibungen

  • Geben Sie an, welche Ausbildung und wie viele Jahre Berufserfahrung erforderlich sind
  • Vermitteln Sie den Stellensuchenden, was das Unternehmen und den Job auszeichnet
  • Ideal sind einige wenige Absätze oder etwa 200 Wörter
  • Verwenden Sie geeignete Absatzlängen und Aufzählungszeichen, damit das Lesen einfacher wird
Ganzen Leitfaden herunterladen (Englisch)