出海雷达

数据工程师

Data Engineer

开发工程未标注地域
公司TechBiz Global
薪资未公开
工作地点Worldwide
地域资格未标注地域
时区要求日间重叠约 9 小时，基本正常作息
用工类型Full Time
发布时间15 天前
数据来源Himalayas
前往 Himalayas 查看并投递 →

在TechBiz Global，我们为组合中的顶级客户提供建设服务。我们正在寻找一名数据工程师加入其中一家客户的团队。如果您正在寻找一个在创新环境中成长的激动人心的机会，这可能是您的理想选择

职责：

  • 使用Kafka Connect和Debezium设计、开发和维护数据摄取管道，用于实时和批量数据集成。
  • 将MySQL和PostgreSQL数据库中的数据摄取到AWS S3、Google Cloud Storage（GCS）和BigQuery中。
  • 在Bronze层中实现数据建模、模式演进和高效分区的最佳实践。
  • 确保Kafka Connect集群和连接器的可靠性、可扩展性和监控。
  • 与跨职能团队合作，了解源系统和下游数据需求。
  • 优化数据摄取流程以提高性能和成本效率。
  • 使用Python和云原生工具贡献自动化和部署脚本。
  • 关注新兴的数据湖技术，如Apache Hudi或Apache Iceberg。

所需技能和资格：

  • 5年以上作为数据工程师或类似角色的实际工作经验。
  • 熟练使用Apache Kafka和Kafka Connect（sink和source连接器）。
  • 具有使用Debezium从关系型数据库管理系统（RDBMS）进行变更数据捕获（CDC）的经验。
  • 精通MySQL和PostgreSQL。
  • 具有AWS S3、GCP BigQuery和GCS的实际经验。
  • 熟练使用Python进行自动化、数据处理和脚本编写。
  • 理解数据湖架构和数据摄取模式。
  • 熟悉ETL/ELT管道、数据质量和可观测性实践。

加分项：

  • 具有容器化（Docker、Kubernetes）经验。
  • 熟悉工作流编排工具（Airflow、Dagster等）。
  • 接触过基础设施即代码工具（Terraform、CloudFormation）。
  • 熟悉数据版本控制和表管理
查看英文原文

At TechBiz Global, we are providing recruitment service to our TOP clients from our portfolio. We are currently seeking an Data Engineer to join one of our clients' teams. If you're looking for an exciting opportunity to grow in a innovative environment, this could be the perfect fit for you.
Requirements
Key Responsibilities:

  • Design, develop, and maintain data ingestion pipelines using Kafka Connect and

Debezium for real-time and batch data integration.

  • Ingest data from MySQL and PostgreSQL databases into AWS S3, Google Cloud

Storage (GCS), and BigQuery.

  • Implement best practices for data modeling, schema evolution, and efficient partitioning

in the Bronze Layer.

  • Ensure reliability, scalability, and monitoring of Kafka Connect clusters and connectors.
  • Collaborate with cross-functional teams to understand source systems and downstream

data requirements.

  • Optimize data ingestion processes for performance and cost efficiency.
  • Contribute to automation and deployment scripts using Python and cloud-native tools.
  • Stay updated with emerging data lake technologies such as Apache Hudi or Apache

Iceberg.
Required Skills and Qualifications:

  • 5+ years of hands-on experience as a Data Engineer or similar role.
  • Strong experience with Apache Kafka and Kafka Connect (sink and source

connectors).

  • Experience with Debezium for change data capture (CDC) from RDBMS.
  • Proficiency in working with MySQL and PostgreSQL.
  • Hands-on experience with AWS S3, GCP BigQuery, and GCS.
  • Proficiency in Python for automation, data handling, and scripting.
  • Understanding of data lake architectures and ingestion patterns.
  • Solid understanding of ETL/ELT pipelines, data quality, and observability practices.

Good to Have:

  • Experience with containerization (Docker, Kubernetes).
  • Familiarity with workflow orchestration tools (Airflow, Dagster, etc.).
  • Exposure to infrastructure-as-code tools (Terraform, CloudFormation).
  • Familiarity with data versioning and table

Originally posted on Himalayas

本页面信息整理自 Himalayas，版权归原发布方所有。职位可能随时关闭，投递请以原始页面为准。 本站只做信息聚合展示，不参与招聘流程，也不向求职者收取任何费用。

该公司其他在招职位

冷呼叫生成专家

TechBiz GlobalWorldwideFull Time7 天前
市场运营全球可投（据职位描述推断）

高级形式验证工程师

TechBiz GlobalCanada, Germany, Netherlands, United KingdFull Time4 天前
开发工程限定地区（需当地身份）

← 返回全部职位