Vaga de ENGENHEIRO DE DADOS SR - SAO PAULO

Fazer parte do nosso incrível time de dados, que explora diariamente os usos e capabilidades que 239 milhões de processos judiciais já inseridos no nosso data lake podem proporcionar. Você fará parte de um time dinâmico, colaborativo e que se propõe a solucionar grandes desafios dentro da empresa. Algumas das atividades, incluem: - Desenvolvimento e manutenção de pipelines de dados; - Criação, desenvolvimento e manutenção de um data lake, que será responsável por fornecer dados tratados para utilização pelos sistemas e áreas de negócio da empresa; - Monitoramento de processos de execução de cargas; - Monitoramento das métricas de qualidade dos dados fornecidos para os consumidores finais; - Geração de reports para os times de negócio; - Foco na proposta de soluções que geram valor e resolvem as grandes dores dos times de negócio relacionadas a dados. REQUISITOS - Experiência com ETL, Modelagem de Dados e Arquitetura de Dados; - Linguagem de Programação Python (avançado); - Experiência com tecnologias de Big Data como Spark (obrigatório); - Experiência com AirFlow; - Experiência com arquiteturas de Data Lake; - Experiência com os seguintes serviços da AWS: SNS, SQS, Lambda, EMR, Redshift, S3, Glue e Athena; - Experiência em trabalhar com metodologias ágeis (SCRUM); - Proatividade e team player. SNS, SQS, Lambda, EMR, Redshift, S3, Glue e Athena; - Experiência em trabalhar com metodologias ágeis (SCRUM); - Proatividade e team player.