Databricks 数据工程师 | 高级

.

• Atuação na construção, migração e evolução de soluções de Engenharia de Dados em ambientes Databricks;

• Desenvolvimento e manutenção de pipelines de dados escaláveis, confiáveis e performáticos;

• Implementação de processos de ingestão, transformação e disponibilização de dados utilizando Spark e PySpark;

• Atuação em arquiteturas Data Lake e Data Lakehouse, com implementação do modelo Medallion (Bronze, Silver e Gold);

• Interpretação de regras de negócio e tradução em processos e soluções de dados;

• Participação em projetos de migração e modernização de plataformas de dados;

• Garantia de qualidade, performance, monitoramento e confiabilidade dos pipelines.

• Domínio de PySpark, Apache Spark e SQL;

• Experiência com Delta Lake, Delta Tables, Unity Catalog e Lakeflow Declarative Pipelines;

• Conhecimento em Lakeflow Connect para ingestão de dados;

• Experiência com Jobs, Workflows, orquestração e monitoramento de pipelines;

• Vivência com arquitetura Lakehouse e modelo Medallion (Bronze, Silver e Gold);

• Experiência com migração de plataformas ou desenvolvimento de projetos em Databricks;

• Conhecimento de Git, CI/CD e boas práticas de desenvolvimento e deploy;

• Conhecimento de ferramentas e tecnologias como Airflow, Kafka, dbt, AWS Glue e BigQuery;

• Experiência com bancos SQL/NoSQL, como PostgreSQL, MongoDB ou Cassandra.

• Diferencial: Experiência em projetos contábeis e financeiros, certificação Databricks Certified Data Engineer Associate.

Originally posted on Himalayas