Data Engineer Semi Senior
我们寻求一个数据工程师，在 Google 云平台生态系统中拥有丰富的经验，能够设计，开发和维护可扩展的强大数据管道。角色涉及到工作在实施项目中的质量，可追踪性和数据效率是优先考虑的。如果你热衷于将数据转化为战略资产并解决云环境中的复杂技术挑战，这就成为你这个机会。·通过使用和展示 RESTAPI,确保信息的正确摄入和可用性。·利用 BigQuery,Dataform 和云存储来管理和将云中的数据转换，确保数据模型每个功能的一致性，质量和成效。·通过 Pub/Sub 实现实时消息流动和事件处理，协调服务之间的调整。·记录过程，数据结构和技术决定以保证保持和机器人知识传输。·与分析，工程和产品团队合作以了解业务需求并将其转化为高效的数据解决方案。要求 · 数据工程领域至少3年的经验，积极参与生产环境中的管道实施项目。· Google 云平台的主导地位，包括 BigQuery,Dataform, Pub/Sub y Cloud Storage 作为数据堆的主要组成部分。· 基于 Python 开发变革脚本，流程自动化和 API 消费的管理。· 对于模型，复杂查询，对查询的优化和分析模型的构建。· 与 API 集成经验 REST:认证，页面化，错误管理和数据正常化的处理。· Conocimiento de buenas prácticas de ingeniería de datos: versionado de código, pipelines testing, gestión de dependencias y documentación técnica. 原始地发表在喜马拉雅山。
查看英文原文
Buscamos un Data Engineer con sólida experiencia en el ecosistema de Google Cloud Platform, capaz de diseñar, desarrollar y mantener pipelines de datos robustos y escalables. El rol implica trabajar en proyectos de implementación donde la calidad, trazabilidad y eficiencia del dato son prioridad. Si te apasiona transformar datos en activos estratégicos y disfrutas resolver desafíos técnicos complejos en entornos cloud, esta oportunidad es para ti.
Responsabilidades principales
- Diseñar, desarrollar y mantener pipelines de datos confiables y escalables utilizando las herramientas del ecosistema Google Cloud Platform.
- Integrar diversas fuentes de datos mediante el consumo y exposición de APIs REST, garantizando la correcta ingestión y disponibilidad de la información.
- Gestionar y transformar datos en la nube utilizando BigQuery, Dataform y Cloud Storage, asegurando consistencia, calidad y rendimiento en cada capa del modelo de datos.
- Implementar flujos de mensajería y procesamiento de eventos en tiempo real a través de Pub/Sub, coordinando la orquestación entre servicios.
- Documentar los procesos, arquitecturas de datos y decisiones técnicas para garantizar la mantenibilidad y transferencia de conocimiento en el equipo.
- Colaborar con equipos de Analytics, Ingeniería y Producto para comprender los requerimientos de negocio y traducirlos en soluciones de datos eficientes.
Requirements
- Experiencia mínima de 3 años en roles de Data Engineering, con participación activa en proyectos de implementación de pipelines en entornos productivos.
- Dominio de Google Cloud Platform, incluyendo BigQuery, Dataform, Pub/Sub y Cloud Storage como componentes principales del stack de datos.
- Sólido manejo de Python para el desarrollo de scripts de transformación, automatización de procesos y consumo de APIs.
- Capacidad avanzada en SQL para modelado, consultas complejas, optimización de queries y construcción de modelos analíticos en BigQuery.
- Experiencia en integración con APIs REST: autenticación, paginación, manejo de errores y normalización de datos provenientes de distintas fuentes.
- Conocimiento de buenas prácticas de ingeniería de datos: versionado de código, testing de pipelines, gestión de dependencias y documentación técnica.
Originally posted on Himalayas