Luxoft_高级数据工程师 / 开发者（AWS）
Luxoft_Senior Data Engineer / Developer (AWS)
开发工程限定地区（需当地身份）
公司Sales Consulting
薪资未公开
工作地点United States
地域资格限定地区（需当地身份）
时区要求日间重叠约 9 小时，基本正常作息
用工类型Full Time
发布时间17 天前
数据来源Himalayas
注意地域限制：该职位明确限定在 United States 招聘。如果你是位于中国大陆的求职者，通常需要当地工作身份才能投递，或需与雇主确认是否接受独立合同（Contractor）形式合作。
高级数据工程师将设计、构建和优化大规模数据基础设施，确保高效的数据收集、处理和可用性，以支持高级分析和数据驱动的决策。
职位描述：
- 为网络遥测数据设计ETL/ELT管道
- 与本地数据收集系统进行交互
- 实现Iceberg表结构，也包括时间序列数据
- 优化数据分析处理
- 管理数据质量和血缘关系
- 实现管道可观测性
- 实现现代数据保护策略
任职要求：
- 5年以上使用AWS Glue、S3、Athena、IAM、Lakeformation、Lambda、S3 Tables的经验
- 熟悉Apache Iceberg和lakehouse架构
- 使用Java（Python、Scala）进行数据处理
- 熟悉数据格式（JSON、Avro、Parquet）
- 时间序列数据库查询
- 数据处理（Spark、DuckDB、Flink、AirFlow、Prefect）
- 图论
- 出色的SQL知识
- 英语：B1级
加分项：
· AWS认证
最初发布于喜马拉雅斯
查看英文原文
The Senior Data Engineer will design, build, and optimize large-scale data infrastructure, ensuring efficient data collection, processing, and availability to support advanced analytics and data-driven decision-making.
Role description:
- Design ETL/ELT pipelines for network telemetry data
- Interface with on-premises data collection systems
- Implement Iceberg table structures, also for time-series data
• Optimize data processing for analytics
• Manage data quality and lineage
• Implement pipeline observability
- Implement modern data protection strategies
Qualifications:
- 5+ years experience with AWS Glue, S3, Athena, IAM, Lakeformation, Lambda, S3 Tables
- Apache Iceberg and lakehouse architectures
- Java (Python, Scala) for data processing
- Familiarity with data formats (JSON, Avro, Parquet)
• Time-series database queires
- Data processing (Spark, DuckDB, Flink, AirFlow, Prefect)
• Graph Theory
• Excellent SQL Knowledge
• English: B1
Nice to have:
• AWS Certifications
Originally posted on Himalayas
本页面信息整理自 Himalayas，版权归原发布方所有。职位可能随时关闭，投递请以原始页面为准。
本站只做信息聚合展示，不参与招聘流程，也不向求职者收取任何费用。