Senior Data Engineer (m/w/d)

ida.me

2d

About The Position

Als Senior Data Engineer bist du bei ida die erste Anlaufstelle für Datenthemen. Du entwickelst zuverlässige und performante Datenarchitekturen und steuerst den gesamten Prozess von der Anbindung unterschiedlicher Datenquellen über Transformation und Modellierung bis zur Bereitstellung für Anwendungen, Dashboards und Analysen. Das Spektrum reicht von Echtzeit-Wahlergebnissen über BI-Lösungen für Redaktionen bis hin zu Metadaten, die Inhalte auffindbar und für KI nutzbar machen.

Du arbeitest eng mit Entwickler:innen und Product-Teams zusammen, integrierst datengetriebene Features und bringst deine Expertise in technische Konzepte und Aufwandsschätzungen ein. Du automatisierst Datenimporte, Deployments, Qualitätsprüfungen und Alerts. Mit Code-Reviews, Pair-Programming und kollegialer Unterstützung trägst du zur Weiterentwicklung des Teams bei. Außerdem verfolgst du den aktuellen Stand der KI, bildest dich kontinuierlich weiter und berätst sowohl das interne Team als auch Kund:innen. Die Rolle bietet die Möglichkeit, unter anderem Angebote öffentlich-rechtlicher Rundfunkanstalten mitzugestalten und zu verbessern. Du kannst Windows oder Mac sowie Remote-Arbeit oder Büro wählen.

Requirements

• Mindestens fünf Jahre praktische Erfahrung im Data Engineering.
• Erfahrung mit dem Entwurf und der Verantwortung für Datenplattformen.
• Komplexe Daten- und Architekturfragen verständlich für crossfunktionale Teams und Kund:innen erklären können.
• Sehr gute Kenntnisse in Python und SQL.
• Erfahrung mit pandas, PostgreSQL und Docker.
• Erfahrung mit der Google Cloud Platform, insbesondere Cloud Run, Pub/Sub, Scheduler, Cloud Storage und Cloud SQL; Erfahrung mit AWS oder Azure ist ebenfalls akzeptabel.
• Fähigkeit, Performance und Kosten von Cloud-Lösungen zu optimieren.
• Automatisierung als Grundprinzip: Erfahrung mit orchestrierten Pipelines, automatisierten Tests für Transformationen und Datenqualität sowie Linting und Formatting.
• Technologische Trends fundiert beurteilen und Hype von praktischem Nutzen unterscheiden können.
• KI-gestützte Workflows und Coding-Agenten in den Entwicklungsalltag integrieren können.

Nice To Haves

• Erfahrung mit der Entwicklung von APIs mittels FastAPI.
• Erfahrung mit Apache Airflow zur Orchestrierung.
• Erfahrung mit der Einbindung von KI-Modellen in Datenprozesse, beispielsweise über Vertex AI.
• Erfahrung in einer Digitalagentur und/oder einem Medienhaus.

Responsibilities

• Datenarchitekturen konzipieren und entwickeln, die zuverlässig und performant sind.
• Den gesamten Datenprozess steuern: unterschiedliche Quellen anbinden, Daten transformieren und modellieren sowie Daten für Anwendungen, Dashboards und Analysen bereitstellen.
• Eng mit Entwickler:innen und Product-Teams zusammenarbeiten, um datengetriebene Features zu integrieren.
• Technische Konzepte und Aufwandsschätzungen mit der eigenen Expertise unterstützen.
• Datenimporte, Deployments, Qualitätsprüfungen und Alerts automatisieren.
• Kolleg:innen durch Code-Reviews, Pair-Programming und fachliche Unterstützung weiterentwickeln.
• KI-Trends verfolgen, sich kontinuierlich weiterbilden und intern sowie gegenüber Kund:innen beratend tätig sein.

Benefits

• Freie Wahl zwischen Windows und Mac.
• Freie Wahl zwischen Remote-Arbeit und Büroarbeit.
• Möglichkeit, Angebote öffentlich-rechtlicher Rundfunkanstalten maßgeblich mitzugestalten und zu verbessern.

What This Job Offers

• Job Type: Full-time
• Career Level: Senior
• Education Level: No Education Listed