高级数据工程师
Senior Data Engineer
构建并扩展一家快速成长、盈利的健康科技公司的数据基础设施。在此职位中，你将设计稳健的数据管道、存储架构和数据模型，确保我们的数据集准确、安全，并能够驱动关键决策，帮助数百万有保险的美国人获取他们的药物。
我们正在招聘一名高级数据工程师，负责数据平台的演进。你将负责推动客户向现代数据工程标准迈进——结构化我们的数据仓库，实施干净的数据建模实践，并通过代码管理我们的基础设施。
你将负责
· 在 Snowflake 中设计并实现可扩展的数据模型，利用如 Medallion 架构（青铜/银质/金质层）等现代框架。
· 使用 dbt 构建、维护并优化稳健的数据转换管道。
· 使用 Terraform 安全地配置、管理和扩展云基础设施。
· 在 AWS 环境中使用 Python 和 Openflow（Apache NiFi）开发高质量的数据采集和编排管道。
· 通过 Git（GitHub/Bitbucket）实施软件工程最佳实践，并通过 Microsoft Entra 管理安全访问控制。
必须具备的经验与技能
· 深入编写、测试和记录复杂 dbt 模型的经验。
· 配置、查询和优化 Snowflake 数据仓库的经验。
· 对数据仓库建模（如 Kimball、Medallion 架构）有深刻的概念理解并具备实际应用能力。
· 强大的 Python 技能，特别适用于数据操作、脚本编写和管道创建。
· 使用 AWS 云服务并通过 Terraform 管理基础设施的实际经验。
· 使用 Git（Github 或 Bitbucket）的专业经验。
加分项
· 使用 Openflow / Apache NiFi 进行数据流编排的经验。
· 熟悉通过 Microsoft Entra ID 进行身份和访问管理。
· 使用 Sigma Computing 进行商业智能和数据可视化的经验。
最初发布于 Himalayas
查看英文原文
Build and scale the data infrastructure for a fast-growing, profitable health-tech company. In this role, you will design the robust pipelines, storage architectures, and data models that ensure our datasets are accurate, secure, and ready to drive critical decisions helping millions of insured Americans access their medications.
We are hiring a Senior Data Engineer to own the evolution of the data platform. You will be responsible for moving our client toward modern data engineering standards—structuring our warehouse, enforcing clean data modeling practices, and managing our infrastructure via code.
What You’ll Do
- Design and implement scalable data models in Snowflake utilizing modern frameworks like the Medallion Architecture (Bronze/Silver/Gold layers).
- Build, maintain, and optimize robust data transformation pipelines using dbt.
- Provision, manage, and scale cloud infrastructure securely using Terraform.
- Develop high-quality data ingestion and orchestration pipelines using Python and Openflow (Apache NiFi) within an AWS environment.
- Enforce software engineering best practices with Git (GitHub/Bitbucket) and manage secure access controls via Microsoft Entra.
Must-Have Experience & Skills
- Deep experience writing, testing, and documenting complex dbt models.
- Experience configuring, querying, and optimizing Snowflake data warehouses.
- Strong conceptual understanding and practical application of data warehouse modeling (e.g., Kimball, Medallion Architecture).
- Strong Python skills specifically tailored for data manipulation, scripting, and pipeline creation.
- Hands-on experience with AWS cloud services and managing infrastructure via Terraform.
- Professional experience using Git (Github or Bitbucket).
Nice-to-Have
- Experience with Openflow / Apache NiFi for data flow orchestration.
- Familiarity with identity and access management using Microsoft Entra ID.
- Experience with Sigma Computing for business intelligence and data visualization.
Originally posted on Himalayas