数据工程师(m/w/d)- 远程 - 莱茵/鲁尔或慕尼黑
Data Engineer (m/w/d) - Remote - Rhein/Ruhr oder München.
你的角色:
我们正在寻找一名(高级)数据工程师(m/w/d)加入我们的团队,即日起生效。远程办公 - 莱茵/鲁尔或慕尼黑。
作为数据工程师,你在构建和开发我们的数据平台中扮演核心角色。你负责将各种原始数据——尤其是产品数据——转化为高质量、可靠且可扩展的数据集,这些数据集是分析、报告和数据驱动决策的基础。
你将参与的工作内容:
- 设计和实现现代数据管道:你开发和优化批处理和流数据管道,确保数据能够可靠、高效且可扩展地处理。
- 构建高效的数据集成流程:你使用 Python 和 Databricks 设计、实现和维护稳健的数据集成流程——从原始数据采集到为分析提供数据支持。
- 开发未来可扩展的数据模型:你设计、管理和优化用于分析应用和后续系统的数据模型,并确保其一致性和可维护性。
- 保障数据平台的质量与稳定性:你持续监控并提升整个平台的数据质量、性能和稳定性,并建立合适的监控和测试策略。
- 与团队和业务部门紧密合作:你与开发团队密切协作,并与业务部门就数据相关需求进行沟通,以创建技术和业务上都最优的解决方案。
我们希望你具备以下条件:
- 扎实的 Python 数据工程能力:你拥有出色的 Python 技能,并能熟练用于数据管道的开发。
- 现代数据平台经验:你有使用 Databricks、Apache Airflow、Apache Spark、Google BigQuery、Microsoft Fabric 或类似平台的实际经验,并了解如何高效地使用它们。
- 熟练掌握 SQL 和数据建模:你具备高级 SQL 使用能力,并有扎实的关系型数据建模知识。
- 熟悉 ETL/ELT 架构:你了解常见的数据集成架构模式,并有复杂数据工作流编排的经验。
- 对云和存储有理解:你熟悉基于云的数据平台以及存储解决方案如 Data Lake 等。
查看英文原文
deine rolle:
Zur Verstärkung unseres Teams suchen wir ab sofort eine(n) (Senior) Data Engineer (m/w/d). Remote - Rhein/Ruhr oder München.
Als Data Engineer spielst du eine zentrale Rolle beim Aufbau und der Weiterentwicklung unserer Datenplattform. Du sorgst dafür, dass aus unterschiedlichsten Rohdaten – insbesondere Produktdaten – hochwertige, verlässliche und skalierbare Datensätze entstehen, die als Grundlage für Analytics, Reporting und datengetriebene Entscheidungen dienen.
was dich bei uns erwartet:
- Konzeption und Umsetzung moderner Datenpipelines: Du entwickelst und optimierst Batch- und Streaming-Datenpipelines und sorgst dafür, dass Daten zuverlässig, performant und skalierbar verarbeitet werden.
- Aufbau leistungsfähiger ETL-/ELT-Prozesse: Mit Python und Databricks konzipierst, implementierst und betreibst Du robuste Datenintegrationsprozesse – von der Rohdatenaufnahme bis zur Bereitstellung für Analytics.
- Entwicklung zukunftssicherer Datenmodelle: Du entwirfst, verwaltest und optimierst Datenmodelle für analytische Anwendungen und nachgelagerte Systeme und stellst deren Konsistenz und Wartbarkeit sicher.
- Qualität und Stabilität der Datenplattform: Du überwachst und verbesserst kontinuierlich Datenqualität, Performance und Stabilität über die gesamte Plattform hinweg und etablierst geeignete Monitoring- und Testing-Strategien.
- Enge Zusammenarbeit mit Team und Fachbereichen: Du arbeitest eng mit dem Entwicklungsteam zusammen und stimmst Dich mit den Fachbereichen zu datenbezogenen Anforderungen ab, um fachlich und technisch optimale Lösungen zu schaffen.
was wir uns von dir wünschen…
- Python-Kenntnisse im Data Engineering: Du verfügst über sehr gute Kenntnisse in Python und setzt diese sicher für die Entwicklung von Datenpipelines ein.
- Erfahrung mit modernen Datenplattformen: Du hast praktische Erfahrung mit Technologien wie Databricks, Apache Airflow, Apache Spark, Google BigQuery, Microsoft Fabric oder vergleichbaren Plattformen und weißt, wie man sie effizient einsetzt.
- Sicherer Umgang mit SQL und Datenmodellierung: Du beherrschst SQL auf fortgeschrittenem Niveau und bringst fundierte Kenntnisse in relationaler Datenmodellierung mit.
- Know-how in ETL-/ELT-Architekturen: Du kennst gängige Architekturmuster für Datenintegration und hast Erfahrung in der Orchestrierung komplexer Daten-Workflows.
- Cloud- und Storage-Verständnis: Du bist vertraut mit Cloud-basierten Datenplattformen sowie Speicherlösungen wie Data Lakes oder Object Storage und verstehst deren architektonische Besonderheiten.
- Erfahrung im ML/AI-Umfeld: Idealerweise hast du bereits Erfahrung mit Machine-Learning- oder AI-Projekten gesammelt, z. B. beim Aufbau und Betrieb von AI-Workflows oder auch beim Training und der Integration von Modellen in produktive Datenprozesse.
- Qualitätsbewusstsein und Performance-Fokus: Best Practices in Datenanalyse, Datenqualität, Monitoring und Performance-Optimierung sind für Dich selbstverständlicher Bestandteil deiner Arbeit.
- Versionierung und CI/CD im Datenumfeld: Du hast Erfahrung im Umgang mit Git sowie mit CI/CD-Prozessen für Daten-Workflows und trägst so zu stabilen, reproduzierbaren Deployments bei.
deine benefits bei uns:
- Flexible Arbeitszeiten
- Flexibler Arbeitsort (Homeoffice)
- Dynamisches, innovatives Team
- Viel Freiraum für eigene Ideen und Kreativität
- Attraktive Vergütung mit der Möglichkeit eigener Anteile
- Weitere Benefits
Originally posted on Himalayas