高级数据工程师
Engenheiro(a) de Dados Sênior
SuperSim 是巴西最大的微金融科技公司。我们的使命是改变在线信贷市场，为 C 类和 D 类人群、历史上未被金融体系充分服务的个人和家庭提供贷款。如果这个目标让你充满热情，欢迎成为 #SUPERHERO ！
作为高级数据工程师，您的职责包括：
全程参与我们数据基础设施和数据产品的演进，确保分析和决策所需的信息在正确的时间以高质量、安全和可靠的方式可用。
我们寻找一位技术扎实、动手能力强的人，能够日常构建和维护解决方案，同时提升团队的技术水平。目前数据工程是一个精简的结构，该职位将直接负责所开发的解决方案。
- 使用 Python、SQL 和 Apache Airflow 开发、维护和优化数据摄入、转换和分发的管道；
- 结构化和优化数据表和数据模型，以满足业务分析和运营需求；
- 与我们的 Data Lake 及 Amazon S3、Apache Iceberg 和 Trino 等技术合作；
- 集成来自关系型数据库、API、文件和其他内部和外部系统的数据；
- 确保数据的质量、一致性、可追溯性、安全性和可用性；
- 开发验证、警报、指标和管道监控机制；
- 调查数据和性能问题，进行根本原因分析并实施防止复发的解决方案；
- 支持分析师、数据科学家和业务部门定义需求并构建解决方案；
- 参与架构演进、数据治理和访问控制实践的改进；
- 创建和维护关于管道、表格、业务规则和架构决策的技术文档；
- 编写可读、可测试和可持续的代码，参与代码审查并与团队分享知识；
- 识别自动化、简化和提高效率的机会；
- 监控生产环境中的解决方案，并对您所负责的数据产品可靠性负责。
- 精通 Python、SQL 和 Apache Airflow，特别是在数据管道的构建和维护方面有丰富经验；
- 有数据仓库、ETL 或大数据处理经验者优先；
- 熟悉数据建模、数据质量管理和数据治理；
- 具备良好的沟通能力和团队协作精神。
查看英文原文
A SuperSim é a maior fintech de microcrédito no Brasil. Temos como missão transformar o mercado de crédito online, dando acesso a empréstimos para as classes C e D, pessoas e famílias historicamente pouco atendidas pelo sistema financeiro. Se esse propósito faz seus olhos brilharem, venha ser #SUPERHERO também!
Como Engenheiro(a) de Dados Sênior, sua missão será:
Atuar de forma ponta a ponta na evolução da nossa infraestrutura e dos nossos produtos de dados, garantindo que as informações necessárias para análises e tomadas de decisão estejam disponíveis no tempo certo, com qualidade, segurança e confiabilidade.
Buscamos uma pessoa com bagagem técnica sólida e perfil realmente mão na massa, capaz de construir e sustentar soluções no dia a dia e, ao mesmo tempo, contribuir para elevar o nível técnico do time. Hoje, Engenharia de Dados é uma estrutura enxuta, e essa posição terá autonomia e responsabilidade direta sobre as soluções que desenvolver.
- Desenvolver, manter e evoluir pipelines de ingestão, transformação e disponibilização de dados utilizando Python, SQL e Apache Airflow;
- Estruturar e otimizar tabelas e modelos de dados para atender às necessidades analíticas e operacionais do negócio;
- Trabalhar com nosso Data Lake e tecnologias como Amazon S3, Apache Iceberg e Trino;
- Integrar dados provenientes de bancos relacionais, APIs, arquivos e outros sistemas internos e externos;
- Garantir qualidade, consistência, rastreabilidade, segurança e disponibilidade dos dados;
- Desenvolver validações, alertas, métricas e mecanismos de monitoramento dos pipelines;
- Investigar problemas de dados e performance, atuando na causa raiz e implementando soluções que evitem recorrências;
- Apoiar analistas, cientistas de dados e áreas de negócio na definição de requisitos e construção das soluções;
- Contribuir para a evolução da arquitetura, governança e práticas de controle de acesso aos dados;
- Criar e manter documentação técnica sobre pipelines, tabelas, regras de negócio e decisões de arquitetura;
- Desenvolver código legível, testável e sustentável, participando de code reviews e compartilhando conhecimento com o time;
- Identificar oportunidades de automação, simplificação e ganho de eficiência;
- Acompanhar as soluções em produção e assumir responsabilidade pela confiabilidade dos produtos de dados sob sua atuação.
- Experiência sólida com Python, SQL e Apache Airflow, especialmente na construção e manutenção de pipelines de dados;
- Vivência prática com Data Lake e arquiteturas de armazenamento e processamento distribuído;
- Experiência com tecnologias como Amazon S3, Apache Iceberg, Trino ou soluções equivalentes;
- Conhecimento sólido dos fundamentos de Engenharia de Dados, com capacidade de atuar independentemente da ferramenta utilizada;
- Perfil sênior e mão na massa, com experiência construindo, operando e sustentando pipelines no dia a dia;
- Autonomia para investigar problemas, tomar decisões técnicas e conduzir soluções do início à produção;
- Trajetória profissional consistente, com capacidade de explicar as decisões e transições realizadas ao longo da carreira.
Desejáveis:
- Experiência com PostgreSQL, Superset e Docker;
- Vivência com práticas de CI/CD;
- Experiência com monitoramento e sustentação de pipelines em produção;
- Passagem por fintechs, startups ou ambientes ágeis e com pouca burocracia;
- Interesse em arquitetura, automação e evolução contínua da infraestrutura de dados.
Informações adicionais
- Salário competitivo ao mercado;
- Bônus anual;
- SuperSim Flex: nossos benefícios são distribuídos em um programa de pontos e você pode escolher quais fazem mais sentido para você. Dentre as categorias temos Vale Refeição/Alimentação, Vale Transporte ou Vale Mobilidade, Plano de Saúde e Plano Odontológico, Seguro de Vida, Auxílio Educação e Totalpass;
- Previdência Privada;
- Programa de aquisição de ações para posições elegíveis;
- Treinamentos subsidiados pela empresa;
- Day Off no dia do seu aniversário;
- Futebol e Vôlei semanal;
- Celebrações e Happy Hours comemorativos.
Modelo de trabalho:
Contratação CLT, em modelo remoto.
Nossos valores:
- Ação e Atenção
- Consistência e Resiliência
- Análise e Profundidade
- Objetividade e Eficiência
Originally posted on Himalayas