高级 GCP 数据工程师/数据架构师顾问
Senior GCP Data Engineer/Data Architect Consultant
开发工程限定地区（需当地身份）
公司iScale Solutions
薪资未公开
工作地点United States
地域资格限定地区（需当地身份）
时区要求日间重叠约 9 小时，基本正常作息
用工类型Contractor
发布时间今天
数据来源Himalayas
注意地域限制：该职位明确限定在 United States 招聘。如果你是位于中国大陆的求职者，通常需要当地工作身份才能投递，或需与雇主确认是否接受独立合同（Contractor）形式合作。
类别：IT 服务
地点：
主要职责
- 评估现有的数据流水线、GCP 架构、数据源和当前的限制。
- 设计基于 BigQuery 的银盘架构：青铜层、白银层、黄金层和供应层。
- 设计和/或实现从 Cloud Storage 和 Cloud SQL / MySQL 到 BigQuery 的数据摄入流水线。
- 定义 BigQuery 数据集、表、分区、聚类和成本控制策略。
- 支持批处理、增量和按需处理模式。
- 设计为分析和报告准备的定制数据集。
- 支持数据质量检查、验证、日志记录、监控和重新处理模式。
- 定义 Elasticsearch 或其他搜索/供应层的集成模式。
- 在需要时支持 AI 增强、嵌入、语义搜索和媒体元数据的架构。
- 准备技术文档、架构图、实施路线图和交接材料。
- 与客户工程、数据、DevOps 和产品团队紧密合作。
要求
必备技能
- 在 Google Cloud 数据服务方面有丰富的实战经验。
- 在 BigQuery 方面有丰富经验，包括建模、优化、分区、聚类和成本控制。
- 有 Cloud Storage 数据摄入模式的经验。
- 有 Cloud SQL / MySQL 到 BigQuery 集成的经验。
- 有构建批处理和增量数据流水线的经验。
- 有使用 Dataform、dbt、Cloud Composer / Airflow、Dataflow、Cloud Run 或类似工具的经验。
- 强大的 SQL 和数据建模技能。
- 对湖仓/银盘架构有良好的理解。
- 有数据质量、元数据、血缘关系、日志记录和监控的经验。
- 能在模糊的咨询环境中工作，并将高层次需求转化为实际实施方案。
- 有良好的沟通能力并具备客户接触经验。
优先考虑的技能
- 有 Elasticsearch 或搜索索引发布的经验。
- 有 Power BI 准备的数据集或分析供应层的经验。
- 有 Vertex AI、Gemini、嵌入、向量搜索或语义搜索的经验。
- 有媒体、社交媒体、营销、活动、网红或受众数据的经验。
- 有 Dataplex、Data Catalog、IAM、策略标签、行级安全或列级安全的经验。
- 有数据流水线的 CI/CD 经验。
福利
远程办公或混合办公，具有竞争力的薪资
详情最初发布于 Himalayas
查看英文原文
Category: IT Services
Location:
Key Responsibilities
- Assess the existing data pipeline, GCP architecture, data sources, and current limitations.
- Design a BigQuery-based medallion architecture: Bronze, Silver, Gold, and Serving layers.
- Design and/or implement data ingestion pipelines from Cloud Storage and Cloud SQL / MySQL into BigQuery.
- Define BigQuery datasets, tables, partitioning, clustering, and cost-control strategies.
- Support batch, incremental, and on-demand processing patterns.
- Design curated and BI-ready datasets for analytics and reporting.
- Support data quality checks, validation, logging, monitoring, and reprocessing patterns.
- Define integration patterns for Elasticsearch or other search / serving layers.
- Support architecture for AI enrichment, embeddings, semantic search, and media metadata where required.
- Prepare technical documentation, architecture diagrams, implementation roadmap, and handover materials.
- Work closely with client engineering, data, DevOps, and product teams.
Requirements
Required Skills
- Strong hands-on experience with Google Cloud data services.
- Strong BigQuery experience, including modeling, optimization, partitioning, clustering, and cost control.
- Experience with Cloud Storage ingestion patterns.
- Experience with Cloud SQL / MySQL to BigQuery integration.
- Experience building batch and incremental data pipelines.
- Experience with Dataform, dbt, Cloud Composer / Airflow, Dataflow, Cloud Run, or similar tools.
- Strong SQL and data modeling skills.
- Good understanding of lakehouse / medallion architecture.
- Experience with data quality, metadata, lineage, logging, and monitoring.
- Ability to work in an ambiguous consulting environment and translate high-level requirements into practical implementation plans.
- Strong communication skills and client-facing experience.
Preferred Skills
- Experience with Elasticsearch or search index publishing.
- Experience with Power BI-ready datasets or analytical serving layers.
- Experience with Vertex AI, Gemini, embeddings, vector search, or semantic search.
- Experience with media, social media, marketing, campaign, influencer, or audience data.
- Experience with Dataplex, Data Catalog, IAM, policy tags, row-level security, or column-level security.
- Experience with CI/CD for data pipelines.
Benefits
WFH or Hybrid and competitive salary
DetailsOriginally posted on Himalayas
本页面信息整理自 Himalayas，版权归原发布方所有。职位可能随时关闭，投递请以原始页面为准。
本站只做信息聚合展示，不参与招聘流程，也不向求职者收取任何费用。
该公司其他在招职位
特性配置分析师
其他限定地区（需当地身份）
Salesforce电信实施顾问
开发工程限定地区（需当地身份）