高级数据工程师
Senior Data Engineer
开发工程限定地区（需当地身份）
公司Be | Shaping the Future
薪资未公开
工作地点Romania
地域资格限定地区（需当地身份）
时区要求日间重叠约 3 小时，需偶尔早起或晚睡
用工类型Full Time
发布时间11 天前
数据来源Himalayas
注意地域限制：该职位明确限定在 Romania 招聘。如果你是位于中国大陆的求职者，通常需要当地工作身份才能投递，或需与雇主确认是否接受独立合同（Contractor）形式合作。
职位概述
我们正在寻找一位经验丰富的高级数据工程师，负责设计、构建和维护可扩展的数据管道和基于云的数据解决方案。该职位涵盖数据采集、处理、存储、编排，并将数据交付给分析和BI团队，工作环境基于AWS数据生态系统。
职责
- 设计和维护批处理和实时数据管道。
- 使用Apache Kafka和AWS服务从API、数据库、文件和外部源集成数据。
- 使用Apache Airflow开发和编排工作流，包括监控、重试机制和告警。
- 使用Apache Spark、PySpark、Spark SQL和AWS EMR构建和优化分布式数据处理解决方案。
- 使用Amazon S3和Amazon Redshift管理数据湖和数据仓库环境。
- 设计分析数据模型，包括星型和雪花型模式。
- 为分析和商业智能用例准备和优化数据集，特别是针对Qlik。
- 使用Python和SQL开发高质量解决方案，遵循Git、代码审查、测试和文档的最佳实践。
- 确保数据质量、安全、治理和合规性，包括AWS IAM、加密和访问控制。
- 监控生产数据管道，并主动解决运营和性能问题。
必备要求
- 在高级数据工程师或类似角色中有实际工作经验。
- 精通Python和SQL。
- 具备以下技术的实战经验：
- Apache Spark / PySpark
- Apache Kafka
- Apache Airflow
- 强烈的AWS经验，特别是：
- Amazon S3
- Amazon Redshift
- AWS EMR
- 具备数据湖、数据仓库、ETL/ELT流程和数据建模的经验。
- 对批处理和流式架构有深入理解。
- 具备性能优化、Git、测试实践和生产支持的经验。
技术栈
- Python
- SQL
- Apache Spark / PySpark
- Apache Kafka
- Apache Airflow
- AWS EMR
- Amazon S3
- Amazon Redshift
- Git
- Qlik
最初发布于喜马拉雅山
查看英文原文
Role Overview
We are seeking an experienced Senior Data Engineer to design, build, and maintain scalable data pipelines and cloud-based data solutions. The role covers data ingestion, processing, storage, orchestration, and delivery to Analytics and BI teams within an AWS-based data ecosystem.
Responsibilities
- Design and maintain batch and real-time data pipelines.
- Integrate data from APIs, databases, files, and external sources using Apache Kafka and AWS services.
- Develop and orchestrate workflows with Apache Airflow, including monitoring, retry mechanisms, and alerting.
- Build and optimize distributed data processing solutions using Apache Spark, PySpark, Spark SQL, and AWS EMR.
- Manage Data Lake and Data Warehouse environments using Amazon S3 and Amazon Redshift.
- Design analytical data models, including Star and Snowflake schemas.
- Prepare and optimize datasets for Analytics and Business Intelligence use cases, particularly for Qlik.
- Develop high-quality solutions using Python and SQL, following best practices for Git, code reviews, testing, and documentation.
- Ensure data quality, security, governance, and compliance, including AWS IAM, encryption, and access control.
- Monitor production data pipelines and proactively address operational and performance issues.
Mandatory Requirements
- Proven experience as a Senior Data Engineer or in a similar role.
- Advanced proficiency in Python and SQL.
- Hands-on experience with:
- Apache Spark / PySpark
- Apache Kafka
- Apache Airflow
- Strong AWS experience, particularly with:
- Amazon S3
- Amazon Redshift
- AWS EMR
- Experience with Data Lakes, Data Warehouses, ETL/ELT processes, and data modeling.
- Strong understanding of batch and streaming architectures.
- Experience with performance optimization, Git, testing practices, and production support.
Technical Stack
- Python
- SQL
- Apache Spark / PySpark
- Apache Kafka
- Apache Airflow
- AWS EMR
- Amazon S3
- Amazon Redshift
- Git
- Qlik
Originally posted on Himalayas
本页面信息整理自 Himalayas，版权归原发布方所有。职位可能随时关闭，投递请以原始页面为准。
本站只做信息聚合展示，不参与招聘流程，也不向求职者收取任何费用。
该公司其他在招职位
SAF-T日期专家
其他限定地区（需当地身份）
云数据工程师 — Snowflake BigQuery 迁移
开发工程限定地区（需当地身份）日间重叠约 2 小时，需偶尔早起或晚睡
Endur DevOps 工程师
开发工程限定地区（需当地身份）
IT运维 / 生产工程师
开发工程职能支持限定地区（需当地身份）
高级数据后端工程师
开发工程限定地区（需当地身份）