出海雷达

数据工程师（架构师）

Data Engineer (Architect)

开发工程未标注地域
公司George Bernard Consulting
薪资未公开
工作地点Sri Lanka
地域资格未标注地域
时区要求日间重叠约 6 小时，基本正常作息
用工类型Full Time
发布时间12 天前
数据来源Himalayas
前往 Himalayas 查看并投递 →

职位描述

  • 设计、管理并优化 Databricks 工作区、集群、作业和工作流。
  • 设计和开发基于 Azure 的可扩展数据工程解决方案，包括 Data Lake、Data Factory、Synapse、Key Vault 等。
  • 使用 Python 和 PySpark 构建高性能数据管道。
  • 与基于 Hadoop 的平台和分布式存储系统协作。
  • 实现并管理实时数据流解决方案和数据摄入管道。
  • 确保数据平台的正确配置、监控、治理和性能调优。
  • 在 Azure 上集成 CI/CD 管道，并使用容器化技术（Docker/K8s）。
  • 使用 MS SQL 开发和优化 SQL 查询、存储过程和数据模型。
  • 与架构师、数据科学家和工程团队协作，交付企业级解决方案。
  • 在整个组织中定义最佳实践、编码标准和数据工程框架。
  • 解决复杂的数据问题，确保关键数据系统的高可用性。

要求

  • 至少 10 年以上的 IT 经验。
  • 至少 6 年在以下领域有扎实经验：Databricks 管理、Azure 云、Python 与 PySpark、Hadoop 生态系统、数据流与数据管道工程、MS SQL
  • 有构建大规模分布式数据系统的架构经验。
  • 对数据湖、数据仓库和大数据架构模式有深入理解。

加分项

  • 有 Apache Spark 优化和调优的经验。
  • 在 Azure 上有 CI/CD 管道的实际操作经验（GitHub Actions、Azure DevOps 等）。
  • 了解容器（Docker、Kubernetes）。
  • 了解 MLOps 或高级分析集成。

最初发布于 Himalayas

查看英文原文

Job Description

  • Architect, administer, and optimize Databricks workspaces, clusters, jobs, and workflows.
  • Design and develop scalable Azure-based data engineering solutions, including Data Lake, Data Factory, Synapse, Key Vault, etc.
  • Build high-performance data pipelines using Python and PySpark.
  • Work with Hadoop-based platforms and distributed storage systems.
  • Implement and manage real-time data streaming solutions and ingestion pipelines.
  • Ensure proper configuration, monitoring, governance, and performance tuning of data platforms.
  • Integrate CI/CD pipelines on Azure and work with containerization technologies (Docker/K8s).
  • Develop and optimize SQL queries, stored procedures, and data models using MS SQL.
  • Collaborate with architects, data scientists, and engineering teams to deliver enterprise-grade solutions.
  • Define best practices, coding standards, and data engineering frameworks across the organization.
  • Troubleshoot complex data issues and ensure high availability of mission-critical data systems.

Requirements

  • Minimum 10+ years of total IT experience.
  • Minimum 6+ years strong experience in the following areas: Databricks Administration , Azure Cloud , Python & PySpark , Hadoop ecosystem , Data streaming & data pipeline engineering , MS SQL
  • Proven experience architecting large-scale distributed data systems.
  • Strong understanding of data lakes, data warehousing, and big data architecture patterns.

Nice-to-Have Skills

  • Experience with Apache Spark optimization and tuning.
  • Hands-on experience with CI/CD pipelines on Azure (GitHub Actions, Azure DevOps, etc.).
  • Knowledge of containers (Docker, Kubernetes).
  • Understanding of MLOps or advanced analytics integrations.

Originally posted on Himalayas

本页面信息整理自 Himalayas，版权归原发布方所有。职位可能随时关闭，投递请以原始页面为准。 本站只做信息聚合展示，不参与招聘流程，也不向求职者收取任何费用。

该公司其他在招职位

高级产品经理

George Bernard ConsultingUnited StatesFull Time12 天前
职能支持限定地区（需当地身份）

DevOps负责人

George Bernard ConsultingSri LankaFull Time12 天前
开发工程未标注地域

← 返回全部职位