LT Data Integration Engineer + Inglés
作为主要平台,他将负责构建,优化和管理数据管道供食品的数据湖,确保可扩展,高效和符合业务需求的解决方案。理想的人员拥有经验在 ETL/ELT 工具中,云环境 (Azure,AWS y 可选 GCP)和开发通过人工智能辅助。· 设计,开发和实施数据采集,转型和分布的管道使用云数据集成 (CDI) 和云大规模摄入 (CMI). · 建立并优化数据湖中心的 ETL/ELT 流程。·通过 PowerCenter 向信息中心发展的进程。·通过结构化方法和加速器进行迁移。·管理和维护一体化的基础设施 (Secure Agents y Runtime Environments),确保实现已确立的 SLA. · 通过云应用程序集成 (CAI) 为 API,商业流程和微服务。· 应用 CLAIRE GPT 和 CLAIRE Copilot 以加速发展,调整和自动化文件的管道。·监控信息处理单位 (IPU) 的消费并提出成本和性能改善。· 与多学科团队合作确保可用性,质量和扩展解决方案。技术知识需求 · Informatica IDMC ·云数据集成 (CDI). ·图纸设计师。·SQL ELT 与推进优化。·任务流程。·图纸分区。·动态图纸。·参数化。·听众。·智能结构模型。·绩效调节。·云大规模摄入 (CMI): · 大量摄入数据库 (CDC). · 文件。·应用程序。· 流媒体。·云应用集成 (CAI). · 安全代理和运行环境管理局。· PowerCenter 迁移 a IDMC. 数据。· IDMC 与数据湖馆的整合。· 达尔塔湖。· SQL 数据。· 数据连接器 (合作伙伴联网). · Conocimiento de Unity Catalog. · Orquestació.
查看英文原文
LT Data Integration Engineer
En Ready Buscamos un(a) LT Data Integration Engineer con experiencia en el diseño, desarrollo y operación de soluciones de integración de datos empresariales utilizando Informatica Intelligent Data Management Cloud (IDMC) como plataforma principal. Será responsable de construir, optimizar y administrar pipelines de datos para alimentar Databricks Lakehouse, garantizando soluciones escalables, eficientes y alineadas con las necesidades del negocio.
La persona ideal cuenta con experiencia en herramientas ETL/ELT, ambientes cloud (Azure, AWS y deseable GCP) y desarrollo asistido por inteligencia artificial mediante CLAIRE GPT y CLAIRE Copilot.
Responsabilidades
- Diseñar, desarrollar e implementar pipelines de ingesta, transformación y distribución de datos utilizando Cloud Data Integration (CDI) y Cloud Mass Ingestion (CMI).
- Construir y optimizar procesos ETL/ELT hacia Databricks Lakehouse utilizando IDMC for Databricks y patrones Delta Lake.
- Migrar procesos desarrollados en PowerCenter hacia Informatica IDMC mediante metodologías estructuradas y aceleradores de migración.
- Administrar y mantener la infraestructura de integración (Secure Agents y Runtime Environments), garantizando el cumplimiento de los SLA establecidos.
- Implementar integraciones mediante Cloud Application Integration (CAI) para APIs, procesos de negocio y microservicios.
- Aplicar CLAIRE GPT y CLAIRE Copilot para acelerar el desarrollo, depuración y documentación automática de pipelines.
- Monitorear el consumo de Informatica Processing Units (IPU) y proponer mejoras en costos y rendimiento.
- Colaborar con equipos multidisciplinarios para garantizar la disponibilidad, calidad y escalabilidad de las soluciones de integración.
Requirements
Conocimientos Técnicos
- Informatica IDMC
- Cloud Data Integration (CDI).
- Mapping Designer.
- SQL ELT con Pushdown Optimization.
- Taskflows.
- Mapping Partitioning.
- Dynamic Mappings.
- Parameterización.
- File Listeners.
- Intelligent Structure Models.
- Performance Tuning.
- Cloud Mass Ingestion (CMI):
- Mass Ingestion Databases (CDC).
- Files.
- Applications.
- Streaming.
- Cloud Application Integration (CAI).
- Administración de Secure Agents y Runtime Environments.
- Migración de PowerCenter a IDMC.
Databricks
- Integración de IDMC con Databricks Lakehouse.
- Delta Lake.
- Databricks SQL.
- Databricks Connector (Partner Connect).
- Conocimiento de Unity Catalog.
- Orquestación de procesos parametrizados.
Desarrollo asistido por IA
- Experiencia utilizando CLAIRE GPT y CLAIRE Copilot.
- Conocimiento de CLAIRE Agents (deseable).
Cloud
Azure
- Azure Data Factory (ADF).
- Azure Data Lake Storage Gen2.
- Azure Key Vault.
- Azure Databricks.
AWS
- Glue.
- S3.
- Step Functions.
- Redshift.
- Athena.
- EventBridge.
Deseable GCP
- BigQuery.
- Cloud Composer.
Infraestructura como Código (IaC) y CI/CD
- Terraform.
- CloudFormation.
- GitHub o Bitbucket.
- Jenkins.
Bases de datos
- SQL avanzado (Oracle, SQL Server, PostgreSQL, Redshift y Databricks SQL).
- Deseable experiencia en MongoDB y DynamoDB.
- Conocimiento de arquitecturas Data Warehouse, Data Lake y Lakehouse.
Otros Requisitos
- Inglés B2+ o C1 (indispensable).
- Experiencia en diseño, desarrollo y operación de soluciones de integración de datos utilizando Informatica IDMC.
- Experiencia implementando soluciones sobre Databricks.
- Experiencia trabajando en entornos cloud (Azure, AWS y deseable GCP).
Certificaciones
- Informatica Cloud Data Integration Developer Professional Certification (ICP).(Requerida)
- Informatica IDMC Foundation / Data Engineering Foundation. (Deseable)
- Informatica Cloud Application Integration Developer Professional Certification. )Deseable)
- Databricks Certified Data Engineer Associate.( Deseable)
- Microsoft Certified: Azure Data Engineer Associate (DP-203) . (Deseable)
- AWS Certified Data Engineer o Data Analytics Specialty . (Deseable)
Condiciones de la posición
- Modalidad de contratación: Freelance (Contractor). 100% Remoto LATAM
- Jornada laboral: Tiempo completo, de lunes a viernes, de 9:00 a.m. a 6:00 p.m (Horario Chile)
- Duración del contrato: 12 meses con posibilidad de renovación.
Highlights
Proyecto de larga duración enfocado en análisis estratégico y optimización de operaciones.
Originally posted on Himalayas