数据工程师 / 开发人员
Engenheiro de Dados / Desenvolvedor
主要职责将涉及技术开发领域，特别是数据管道的实施、管理和维护，以及流程自动化的解决方案开发。您将负责确保公司现有管道正常运行，持续寻求改进，并通过实施能够提升流程质量的框架和堆栈带来潜在创新。您需要具备在不同业务领域中工作的能力，尤其是与市场营销和传播相关的领域，同时具备扎实的开发技能和良好的技术能力。
- 基于商业智能和数据科学技术的项目调研、架构设计、分析、开发和部署；
- 从云上托管的多层数据中提取、转换和存储数据，这些数据由批处理或流数据管道提供；
- 识别商业智能和数据科学解决方案的基础设施需求；
- 定义组件、集成和实现商业智能和数据科学解决方案；
- 使用API开发服务；
- 设计、开发、测试、监控、管理并验证数据仓库活动，包括数据抽取、转换、移动、加载、清洗和更新过程。
- 本科及以上学历；
- 熟练掌握Python和SQL语言；
- 熟悉数据转换管道（ETL/ELT）的创建和维护；
- 具备数据分析和建模经验；
- 有使用FastAPI、Django或Flask开发REST API的经验；
- 熟练使用Apache Airflow；
- 熟练使用Apache Spark；
- 熟练使用SQL和NoSQL数据库（至少掌握其中一种框架）；
- 熟悉Linux服务器；
- 熟练掌握Linux Shell；
- 有数据仓库（实现和维护）经验，熟悉列式模型。
- 有使用任何仪表板工具的经验（优先DataStudio或PowerBI）；
- 熟悉软件开发的最佳实践；
- 有GitHub和版本控制方法的经验；
- 有软件开发或相关经验；
- 英语技术能力熟练；
- 自我驱动且积极主动。
- 有微服务开发经验；
- 有Linode、GCP或Azure经验；
- 经验
查看英文原文
Suas principais atribuições serão ligadas a área tech de desenvolvimento, mais especificamente, implementação, gestão e manutenção de diferentes pipelines de dados e desenvolvimento de soluções de automação de processos. Você será responsável por manter os pipelines atuais da empresa em funcionamento, buscando melhorias contínuas e trazendo potenciais inovações através de implementações de frameworks e stacks que possam aprimorar a qualidade dos processos. É importante que você tenha dinâmica para navegar em áreas diferentes de negócio, principalmente áreas relacionadas a Marketing e Comunicações, e um lado de desenvolvedor apurado, com boa capacidade técnica.
- Levantamento, arquitetura, análise, desenvolvimento e implantação de projetos baseados em tecnologias de Business Intelligence e Data Science;
- Extração, transformação e armazenamentos de dados nas várias camadas de dados hospedados na nuvem e populados por batch ou streaming data pipelines;
- Identificação de requisitos de infra-estrutura para soluções de Business Intelligence e Data Science;
- Definição de componentes, integração e implementação de soluções de Business Intelligence e Data Science;
- Desenvolvimento de serviços utilizando APIs;
- Projetar, desenvolver, testar, monitorar, gerenciar e validar atividades de data warehouse, incluindo processos de extração, transformação, movimentação, carregamento, limpeza e atualização de dados.
- Ensino superior completo;
- Experiência sólida com as linguagens: Python e SQL;
- Experiência sólida na criação e manutenção de pipelines de transformação de dados (ETL/ELT);
- Experiência em análise e modelagem de dados;
- Experiência desenvolvendo APIs Rest com FastAPI, Django ou Flask;
- Experiência sólida com Apache Airflow;
- Experiência sólida com Apache Spark;
- Experiência sólida com banco de dados SQL e NoSQL (ao menos um framework de cada);
- Experiência sólida com servidores Linux;
- Sólidos conhecimentos em Linux Shell;
- Experiência com Datawarehouse (implementação e manutenção) modelo colunar.
- Experiência com alguma ferramenta de dashboard (preferência DataStudio ou PowerBI);
- Familiaridade com as melhores práticas de desenvolvimento de software;
- Experiência com GitHub e metodologias de versionamento;
- Experiência com desenvolvimento de software ou similar;
- Inglês técnico avançado;
- Motivado e autogerido.
- Experiência no desenvolvimento em micro serviços;
- Experiência com Linode, GCP ou Azure;
- Experiência com Docker;
- Conhecimento em Hashicorp Vault;
- Experiência com Pentaho;
- Conhecimentos básicos ou vivência com Mídia Digital (Google Analytics, Facebook Ads, Adwords, etc);
- Interesse e Conhecimentos em Machine Learning e Inteligência Artificial.
- Regime de Contratação: CLT.
- Formato: Remoto (100%) ou Híbrido;
- Vale refeição (Alelo);
- Vale transporte (se formato Híbrido);
- Vale cultura;
- GymPass;
- Birthday dayoff;
- Assistência médica e odontológica Amil com possibilidade da inserção de dependentes;
- Licença parental de seis meses e vinte dias, inclusive para adotantes e casais homoafetivos.
Empresa com presença global busca Engenheiro de Dados / Desenvolvedor.
Originally posted on Himalayas