Engenheiro(a) de Dados Pleno – Big Data / Spark
工程师 (a) 数据全体会议员 大数据/Spark 在一个机会上 我们寻求：a) 工程师 ((a) 信息全体会议员为开发，维护和优化数据处理解决方案提供服务 客户贡献。专业人员将负责建造可扩展的数据管道，确保数据质量并促进大数据体系结构在敏捷环境中发展，以良好工程实践为导向。· 支持不同系统之间的数据集成倡议；·分析和解决与数据有关的事件；·确保数据解决方案的质量，性能和可靠性；· 与多学科团队合作在敏捷环境中。· 基于 Spark 的环境；· 经验与智能化，对连续集成 (CI) 的环境进行了解；· 开发的方法和技术；· 知识与工具：· Git; · GitHub; · SonarQube; · Nexus; · 分析需求和协作工作的能力；· 英语 B2级或以上。· 西班牙文 B2级或者以上。· 需要使用开发助理来提高生产力，产品质量和分析解决方案的效率。• 在葡萄牙或西班牙，如果有必要的问题，必须提供未来变革的可用性；· 在巴西没有工作期间，该工作将完全进行远程处理；· 这些课程应以英语呈现。原始地在 Hima 上发布。
查看英文原文
Engenheiro(a) de Dados Pleno – Big Data / Spark
Sobre a oportunidade
Buscamos um(a) Engenheiro(a) de Dados Pleno para atuar no desenvolvimento, manutenção e otimização de soluções de processamento de dados na plataforma Client Contribution. O profissional será responsável por construir pipelines escaláveis, garantir a qualidade dos dados e contribuir para a evolução da arquitetura de Big Data em um ambiente ágil e orientado por boas práticas de engenharia.
Responsabilidades
- Desenvolver, manter e otimizar soluções de processamento de dados;
- Projetar e desenvolver processos de ETL e transformação de dados;
- Implementar e manter pipelines utilizando Apache Spark;
- Apoiar iniciativas de integração de dados entre diferentes sistemas;
- Analisar e solucionar incidentes relacionados a dados;
- Garantir a qualidade, performance e confiabilidade das soluções de dados;
- Trabalhar em conjunto com equipes multidisciplinares em ambiente Agile.
Requisitos obrigatórios
- Mínimo de 3 anos de experiência em Engenharia de Dados e desenvolvimento;
- Conhecimento sólido em SQL, incluindo:
- ANSI SQL;
- Hive SQL;
- Spark SQL;
- Experiência com Apache Spark;
- Conhecimento em pelo menos uma das seguintes linguagens:
- Scala;
- Python;
- Java;
- Experiência com plataformas Big Data, como:
- Azure Databricks;
- Amazon EMR;
- Hive;
- Cloudera;
- ou outro ambiente baseado em Spark;
- Experiência com Qlik Sense para desenvolvimento de relatórios e dashboards;
- Vivência em ambientes de Integração Contínua (CI), DevOps e metodologias ágeis;
- Conhecimento em ferramentas como:
- Git;
- GitHub;
- SonarQube;
- Nexus;
- Capacidade de análise de requisitos e trabalho colaborativo;
- Inglês nível B2 ou superior.
- Espanhol nível B2 ou superior.
Diferenciais
- Interesse ou experiência no uso de ferramentas de Inteligência Artificial aplicadas à Engenharia de Dados;
- Conhecimento em automação de processos utilizando IA;
- Interesse em utilizar assistentes de desenvolvimento para aumentar produtividade, qualidade do código e eficiência das soluções analíticas.
Condições da posição
- Atuação 100% remota;
- É obrigatória a disponibilidade para mudança futura para Portugal ou Espanha, caso seja necessário por questões de projeto, estratégia da empresa ou requisitos legais;
- Enquanto estiver no Brasil, o trabalho será realizado integralmente em regime remoto;
- Os currículos deverão ser apresentados em inglês.
Originally posted on Himalayas