出海雷达

高级数据工程师（AWS & Confluent 数据/AI 项目）| 远程

Senior Data Engineer (AWS & Confluent Data/AI Projects) | Remote

AI开发工程限定地区（需当地身份）
公司TASQ Staffing Solutions
薪资未公开
工作地点United States
地域资格限定地区（需当地身份）
时区要求日间重叠约 9 小时，基本正常作息
用工类型Full Time
发布时间12 天前
数据来源Himalayas
前往 Himalayas 查看并投递 →
注意地域限制：该职位明确限定在 United States 招聘。如果你是位于中国大陆的求职者，通常需要当地工作身份才能投递，或需与雇主确认是否接受独立合同（Contractor）形式合作。

工作方式：远程
时间：上午10点-下午6点 SGT
职责：

  • 架构与设计数据解决方案：领导在 AWS 上构建可扩展、安全且高效的批处理和实时数据处理数据管道。这包括数据采集、转换、存储和消费层。
  • Confluent Kafka 专长：使用 Confluent 平台（Kafka、ksqlDB、Kafka Connect、Schema Registry）设计、实现并优化高性能、可靠的流数据解决方案。确保实时分析和 AI 应用的数据流高效运行。
  • AWS 云原生开发：利用广泛的 AWS 服务开发和部署数据解决方案，包括但不限于：
  • 数据存储：S3（数据湖）、RDS、DynamoDB、Redshift、Lake Formation。
  • 数据处理：Glue、EMR（Spark）、Lambda、Kinesis、MSK（用于 Kafka 集成）。
  • 调度：AWS Step Functions、Airflow（在 EC2或 MWAA 上）
  • 分析与 ML：Athena、QuickSight、SageMaker（用于 MLOps 集成）。

所需技能与资格：

  • 计算机科学、软件工程或相关定量领域的学士或硕士学位。
  • 3至5年数据工程经验，重点在基于云的解决方案。
  • 对 AWS 数据服务（S3、Glue、EMR、Redshift、Kinesis、Lambda 等）有扎实的专业知识。
  • 在 Confluent 平台/Apache Kafka 上构建实时数据流应用有丰富的实战经验。
  • 精通 Python、PySpark、Scala 或 Java 等编程语言。
  • 精通 SQL，并有多种数据库系统（关系型和非关系型）的使用经验。
  • 对数据仓库、数据湖和数据建模概念（星型模式、雪花模式等）有扎实的理解。
  • 有 CI/CD 流水线和 DevOps 实践经验（Git、Terraform、Jenkins、Azure DevOps 或类似工具）。
  • AWS 认证（例如 AWS Certified Data Analytics - Specialty，AWS Certified

优先资格（加分项）：

  • 解决方案架构师-助理/专业级。
  • 其他流媒体技术经验（如 Flink）。
  • 容器化技术知识（Docker、Kubernetes）。
  • 了解数据网格或数据工厂概念。
  • 数据可视化工具经验（如 Tableau、Power BI、QuickSight）。
  • 理解 MLOps 原则和工具。

候选人需有可用笔记本电脑

最初发布于 Himalayas

查看英文原文

Work Set-up: Remote
Schedule: 10am-6pm SGT
Responsibilities:

  • Architect and Design Data Solutions: Lead the design and architecture of scalable,
  • secure, and efficient data pipelines for both batch and real-time data processing on
  • AWS. This includes data ingestion, transformation, storage, and consumption layers.
  • Confluent Kafka Expertise: Design, implement, and optimize highly performant and
  • reliable data streaming solutions using Confluent Platform (Kafka, ksqlDB, Kafka
  • Connect, Schema Registry). Ensure efficient data flow for real-time analytics and AI
  • applications.
  • AWS Cloud Native Development: Develop and deploy data solutions leveraging a wide
  • range of AWS services, including but not limited to:
  • Data Storage: S3 (Data Lake), RDS, DynamoDB, Redshift, Lake Formation.
  • Data Processing: Glue, EMR (Spark), Lambda, Kinesis, MSK (for Kafka integration).
  • Orchestration: AWS Step Functions, Airflow (on EC2 or MWAA)
  • Analytics & ML: Athena, QuickSight, SageMaker (for MLOps integration).

Required Skills and Qualifications:

  • Bachelor's or Master's degree in Computer Science, Software Engineering, or a related
  • quantitative field.
  • 3 to 5 years of experience in data engineering, with a significant focus on cloud-based
  • solutions.
  • Strong expertise in AWS data services (S3, Glue, EMR, Redshift, Kinesis, Lambda, etc.).
  • Extensive hands-on experience with Confluent Platform/Apache Kafka for building
  • real-time data streaming applications.
  • Proficiency in programming languages such as Python, PySpark, Scala, or Java.
  • Expertise in SQL and experience with various database systems (relational and NoSQL).
  • Solid understanding of data warehousing, data lakes, and data modeling concepts (star
  • schema, snowflake schema, etc.).
  • Experience with CI/CD pipelines and DevOps practices (Git, Terraform, Jenkins, Azure
  • DevOps, or similar).
  • AWS Certifications (e.g., AWS Certified Data Analytics - Specialty, AWS Certified

Preferred Qualifications (Nice to Have):

  • Solutions Architect - Associate/Professional).
  • Experience with other streaming technologies (e.g., Flink).
  • Knowledge of containerization technologies (Docker, Kubernetes).
  • Familiarity with Data Mesh or Data Fabric concepts.
  • Experience with data visualization tools (e.g., Tableau, Power BI, QuickSight).
  • Understanding of MLOps principles and tools.
  • Candidate must have a working laptop

Originally posted on Himalayas

本页面信息整理自 Himalayas，版权归原发布方所有。职位可能随时关闭，投递请以原始页面为准。 本站只做信息聚合展示，不参与招聘流程，也不向求职者收取任何费用。

该公司其他在招职位

← 返回全部职位