Data Engineer Senior – ETL & Python 2976
数据工程师高级 ETL & Python 2796 - 我们在搜索一个数据工程师的远程 （墨西哥）高级经验在开发和优化数据管道，过程 ETL/ELT 和云技术。被选的人将负责设计可扩展解决方案处理和集成数据，与分析团队合作，BI y 开发。责任：· 设计，发展和维护 ETL/ELt 进程集成和变革数据。· 使用数据流，数据形式和大 Query 构建管道。· 在使用 Pandas Python 中进行编写自动化。· 集成内部和外部 API 用于信息处理。· 优化 SQL 查询和关系数据库结构。·管理和查看 PostgreSQL 和 MySQL 数据库。· 确保信息的质量，完整性和可用性。·监测数据管道的性能和效率。· 文档技术流程和数据架构。· 与多学科团队合作分析和运营倡议。最必要的要求：· 5年的数据工程师经验。· ETL/ELT 中的实力体验。· 大型数据流流，形式和更大 Query 过程。· 基于数据处理的 Python 程序。· 经验与熊猫。· 应用程序集成和使用。· SQL 先进。· PostgreSQL 和 MySQL 的经验。· 管理大量信息。· 数据工程实践的知识。· 英语中途可用的：· Google 云平台 (GCP) 的经验；· 数据仓库和数据湖中的知识。· 敏捷方法的知识。• 数据管道的 CI / CD 的知识。· 在实时或流媒体附近的过程。· 我们计划一个项目6个月的可能性扩大墨西哥，对于更多信息，请参阅本文的全职描述和应用。原始地发表在喜马拉雅山脉
查看英文原文
Data Engineer Senior – ETL & Python 2796 - Remoto (México)
Estamos en búsqueda de un Data Engineer Seniorcon experiencia sólida en desarrollo y optimización de pipelines de datos, procesos ETL/ELT y tecnologías cloud. La persona seleccionada será responsable de diseñar soluciones escalables para procesamiento e integración de datos, colaborando con equipos de Analytics, BI y Desarrollo.
Responsabilidades:
- Diseñar, desarrollar y mantener procesos ETL/ELT para integración y transformación de datos.
- Construir pipelines utilizando Data Stream, Dataform y BigQuery.
- Desarrollar automatizaciones y scripting en Python utilizando Pandas.
- Integrar APIs internas y externas para procesamiento de información.
- Optimizar consultas SQL y estructuras de bases de datos relacionales.
- Administrar y consultar bases de datos PostgreSQL y MySQL.
- Garantizar calidad, integridad y disponibilidad de la información.
- Monitorear el desempeño y eficiencia de pipelines de datos.
- Documentar procesos técnicos y arquitectura de datos.
- Colaborar con equipos multidisciplinarios en iniciativas analíticas y operativas.
Requisitos indispensables:
·
- Más de 5 años de experiencia como Data Engineer.
- Experiencia sólida en procesos ETL/ELT.
- Dominio de Data Stream, Dataform y BigQuery.
- Programación en Python orientada a procesamiento de datos.
- Experiencia con Pandas.
- Integración y consumo de APIs.
- SQL avanzado.
- Experiencia con PostgreSQL y MySQL.
- Manejo de grandes volúmenes de información.
- Conocimiento de buenas prácticas de ingeniería de datos.
- Inglés Intermedio
Deseable:
- Experiencia en Google Cloud Platform (GCP).
- Conocimientos en Data Warehouse y Data Lake.
- Experiencia en metodologías ágiles.
- Conocimientos en CI/CD para pipelines de datos.
- Experiencia en procesamiento near real-time o streaming
Ofrecemos un proyecto de 6 meses con posibilidad de extensión, modalidad remota en México
Si tienes pasión por la innovación tecnológica y deseas formar parte de un equipo dinámico, ¡queremos conocerte!
Para mayor información, revisa la descripción completa del puesto y aplica aqui.
Originally posted on Himalayas