出海雷达

高级数据工程师（AWS & Confluent 数据/AI 项目）| 远程-菲律宾

Senior Data Engineer (AWS & Confluent Data/AI Projects) | Remote - PH

AI开发工程限定地区（需当地身份）
公司TASQ Staffing Solutions
薪资未公开
工作地点United States
地域资格限定地区（需当地身份）
时区要求日间重叠约 9 小时，基本正常作息
用工类型Full Time
发布时间12 天前
数据来源Himalayas
前往 Himalayas 查看并投递 →
注意地域限制：该职位明确限定在 United States 招聘。如果你是位于中国大陆的求职者，通常需要当地工作身份才能投递，或需与雇主确认是否接受独立合同（Contractor）形式合作。

职位描述：高级数据工程师（AWS 与 Confluent 数据/AI 项目）| 远程办公
工作安排：远程
时间：上午10点至下午6点 SGT

职责：

  • 架构与设计数据解决方案：领导在 AWS 上构建可扩展、安全且高效的批量和实时数据处理数据流水线的设计与架构。包括数据采集、转换、存储和消费层。
  • Confluent Kafka 专业知识：使用 Confluent 平台（Kafka、ksqlDB、Kafka Connect、Schema Registry）设计、实现并优化高性能且可靠的实时数据流解决方案。确保实时分析和 AI 应用的数据流高效运行。
  • AWS 原生云开发：利用广泛的 AWS 服务开发和部署数据解决方案，包括但不限于：
  • 数据存储：S3（数据湖）、RDS、DynamoDB、Redshift、Lake Formation。
  • 数据处理：Glue、EMR（Spark）、Lambda、Kinesis、MSK（用于 Kafka 集成）。
  • 编排：AWS Step Functions、Airflow（在 EC2 或 MWAA 上）。
  • 分析与 ML：Athena、QuickSight、SageMaker（用于 MLOps 集成）。

所需技能与资格：

  • 计算机科学、软件工程或相关定量领域的学士或硕士学位。
  • 3 至 5 年数据工程经验，重点在基于云的解决方案。
  • 精通 AWS 数据服务（S3、Glue、EMR、Redshift、Kinesis、Lambda 等）。
  • 在 Confluent 平台/Apache Kafka 上有丰富的实战经验，用于构建实时数据流应用。
  • 精通 Python、PySpark、Scala 或 Java 等编程语言。
  • 精通 SQL，并有多种数据库系统（关系型和非关系型）的使用经验。
  • 对数据仓库、数据湖和数据建模概念（星型模式、雪花模式等）有扎实的理解。
  • 有 CI/CD 流水线和 DevOps 实践经验（Git、Terraform、Jenkins、Azure DevOps 或类似工具）。
  • AWS 认证（例如 AWS 认证数据分析 - 专业认证、AWS 认证）

优先资格（加分项）：

  • 解决方案架构师 - 初级/专业级。
  • 有其他流媒体技术的经验（如 Flink）。
  • 了解容器化技术（Docker、Kubernetes）。
  • 熟悉数据网格或数据工厂的概念。
  • 有数据可视化工具的经验（如 Tableau、Power BI 和 QuickSight）。
  • 了解 MLOps 原则和工具。
  • 候选人需配备可用的笔记本电脑
查看英文原文

About the job: Senior Data Engineer (AWS & Confluent Data/AI Projects) | Remote
Work Set-up: Remote
Schedule: 10am-6pm SGT
Responsibilities:

  • Architect and Design Data Solutions: Lead the design and architecture of scalable, secure, and efficient data pipelines for both batch and real-time data processing on AWS. This includes data ingestion, transformation, storage, and consumption layers.
  • Confluent Kafka Expertise: Design, implement, and optimize highly performant and reliable data streaming solutions using Confluent Platform (Kafka, ksqlDB, Kafka Connect, Schema Registry). Ensure efficient data flow for real-time analytics and AI applications.
  • AWS Cloud Native Development: Develop and deploy data solutions leveraging a wide range of AWS services, including but not limited to:
  • Data Storage: S3 (Data Lake), RDS, DynamoDB, Redshift, Lake Formation.
  • Data Processing: Glue, EMR (Spark), Lambda, Kinesis, MSK (for Kafka integration).
  • Orchestration: AWS Step Functions, Airflow (on EC2 or MWAA)
  • Analytics & ML: Athena, QuickSight, SageMaker (for MLOps integration).

Required Skills and Qualifications:

  • Bachelor's or master's degree in computer science, software engineering, or a related quantitative field.
  • 3 to 5 years of experience in data engineering, with a significant focus on cloud-based solutions.
  • Strong expertise in AWS data services (S3, Glue, EMR, Redshift, Kinesis, Lambda, etc.).
  • Extensive hands-on experience with Confluent Platform/Apache Kafka for building real-time data streaming applications.
  • Proficiency in programming languages such as Python, PySpark, Scala, or Java.
  • Expertise in SQL and experience with various database systems (relational and NoSQL).
  • Solid understanding of data warehousing, data lakes, and data modeling concepts (star schema, snowflake schema, etc.).
  • Experience with CI/CD pipelines and DevOps practices (Git, Terraform, Jenkins, Azure DevOps, or similar).
  • AWS Certifications (e.g., AWS Certified Data Analytics - Specialty, AWS Certified)

Preferred Qualifications (Nice to Have):

  • Solutions Architect - Associate/Professional).
  • Experience with other streaming technologies (e.g., Flink).
  • Knowledge of containerization technologies (Docker, Kubernetes).
  • Familiarity with data mesh or data fabric concepts.
  • Experience with data visualization tools (e.g., Tableau, Power BI, and QuickSight).
  • Understanding of MLOps principles and tools.
  • The candidate must have a working laptop

Originally posted on Himalayas

本页面信息整理自 Himalayas，版权归原发布方所有。职位可能随时关闭，投递请以原始页面为准。 本站只做信息聚合展示，不参与招聘流程，也不向求职者收取任何费用。

该公司其他在招职位

← 返回全部职位