数据工程师高级
Solution Data Engineer Sr.
必须技能：
英语流利
Databricks 生态系统
o 全面管理 Databricks 环境
o 环境配置和工作区管理
治理与存储
o 使用 Unity Catalog 实现数据治理
o 使用 Delta Lake 表管理结构化存储
开发
o 使用 Python、SQL 和 PySpark 编写和优化数据处理逻辑
版本控制
o 使用 Git 管理代码生命周期和协作开发
o 数据仓库与集成（重要）
重要技能：
Snowflake
o 管理 Snowflake 内的数据架构、性能和集成
Adobe 数据采集
o 处理 Adobe 数据源和 Adobe 分析
o 确保外部营销数据的正确采集和转换
加分项：
Redshift
o 监督 Amazon Redshift 中的数据仓库操作
编排
o 使用 Airflow 调度、监控和管理复杂的数据管道流程
期望技能：
Google Cloud Platform
o 在 BigQuery 中维护数据可用性和基本操作
AWS 数据服务
o 使用 Athena 进行无服务器查询
o 使用 AWS Glue 进行元数据管理
管道责任
o 负责数据管道的全流程维护
o 确保跨多个云平台的数据采集到最终交付的可靠性
远程办公
高级英语
最初发布于 喜马拉雅山
查看英文原文
Must Have Skills:
English advanced
Databricks Ecosystem
o Full management of the Databricks environment
o Environment configuration and workspace administration
Governance & Storage
o Implement data governance using Unity Catalog
o Manage structured storage with Delta Lake tables
Development
o Write and optimize data processing logic using Python, SQL, and PySpark
Version Control
o Manage code lifecycle and collaborative development using Git
o Data Warehousing & Integration (Important)
Important Skills:
Snowflake
o Manage data architecture, performance, and integrations within Snowflake
Adobe Data Ingestion
o Handle Adobe Data Feeds and Adobe Analytics
o Ensure correct ingestion and transformation of external marketing data
Nice to Have:
Redshift
o Oversee data warehousing operations in Amazon Redshift
Orchestration
o Use Airflow to schedule, monitor, and manage complex data pipeline workflows
Desirable:
Google Cloud Platform
o Maintain data availability and basic operations in BigQuery
AWS Data Services
o Manage serverless querying with Athena
o Handle metadata management with AWS Glue
Pipeline Ownership
o Own end to end maintenance of data pipelines
o Ensure reliability from data ingestion through final delivery across multiple cloud platforms
REMOTE
ADVANCED ENGLISH
Originally posted on Himalayas