ENGENHEIRO DADOS PL
在斯蒂芬尼，我们认为合作的力量没有。我们与客户合作创新解决方案，结合桥梁技术，人工智能和人类创造力。我们是解决商业问题的前沿，在全球范围内产生真正的影响。当你加入斯蒂芬妮时，你会成为一个全球变革之旅的一部分。我们致力于创造积极影响不仅我们的企业，而且也是我们的员工的生活。如果你寻找机会在一家重视创新的，尊重，自主权和伙伴关系的公司中专业成长，你就在这里找到！加入我们并成为改变的一部分！你希望了解：我们正在寻找一个数据工程师，为此完成云计算环境的迁移。我们在 AWS 上使用 Hadoop, 现在还可以找到一个桥梁。· 模拟数据湖 destino em Amazon S3 （原始/可靠/精炼区）e,当适用时，em Amazon Redshift. 我们需要你知道的知识：· Cloudera Hadoop 的经验，HQL,Shell Script,Amazon Athena,AWS Glue,亚马逊 EMR, AWS Step Functions,AWS Lambda,亚马 zon EventBridge,Amazon MWAA/Airflow,Amazon S3,Amazon Redshift; 差异：· 大数据迁移与不同环境之间的管道。· 大数据和其他技术的知识 e 云。额外信息 Vale-alimentação ou vale-refeição; 🏼 折扣课程，大学和语言机构；学术·斯蒂芬尼学院 平台与在线课程，免费，最新和认证；辅导；咨询专业的优势俱乐部；医疗援助；牙科协助；优势俱樂部和最好的实验室折扣；旅行俱乐部。养殖动物。原始发现在喜马拉雅山
查看英文原文
Na Stefanini, acreditamos no poder da colaboração. Co-criamos soluções inovadoras em parceria com nossos clientes, combinando tecnologia de ponta, inteligência artificial e a criatividade humana. Estamos na vanguarda da resolução de problemas de negócios, proporcionando impacto real em escala global.
Ao se juntar à Stefanini, você se torna parte de uma jornada global de transformação. Estamos empenhados em criar impacto positivo não apenas nos negócios, mas também na vida de nossos colaboradores. Se você procura uma oportunidade de crescimento profissional em uma empresa que valoriza inovação, respeito, autonomia e parceria, você encontra aqui!
Junte-se a nós e seja parte da mudança!
O que esperamos que você realize:
Estamos buscando um Engenheiro de Dados Pleno para atuar na migração de tabelas e pipelines do ambiente Cloudera Hadoop para AWS, atuando de ponta a ponta — do levantamento inicial à estabilização em produção.
Responsabilidades:
- Mapear o ambiente atual: levantar jobs, pipelines e queries em HQL no Cloudera, além de rotinas de orquestração em Shell Script.
- Converter as queries HQL para Amazon Athena, AWS Glue ou Amazon EMR, escolhendo o serviço mais adequado por caso de uso (custo, performance, padrão de acesso).
- Redesenhar as rotinas de orquestração em Shell Script para serviços gerenciados AWS como Step Functions, Lambda, EventBridge e MWAA/Airflow.
- Modelar o data lake de destino em Amazon S3 (zonas raw/trusted/refined) e, quando aplicável, em Amazon Redshift.
O que precisamos que você tenha de conhecimento:
· Experiência com Cloudera Hadoop, HQL, Shell Script, Amazon Athena, AWS Glue, Amazon EMR, AWS Step Functions, AWS Lambda, Amazon EventBridge, Amazon MWAA/Airflow, Amazon S3, Amazon Redshift.
Diferenciais:
- Experiência com migração de dados e pipelines entre diferentes ambientes.
- Conhecimento em outras tecnologias de Big Data e Cloud.
Informações adicionais
🍛 Vale-alimentação ou vale-refeição;
👨🏼🎓 Desconto em cursos, universidades e instituições de idiomas;
📚 Academia Stefanini — plataforma com cursos on-line, gratuitos, atualizados e com certificado;
🗣 Mentoring;
💉 Clube de vantagens para consultas e exames;
🏥 Assistência médica;
🦷 Assistência odontológica;
💰 Clube de vantagens e descontos nos melhores estabelecimentos;
🛫 Clube de viagens;
🐶 Convênio para pets.
Originally posted on Himalayas