Vaga de Data Engineer (Trabalho remoto)

Venha fazer parte do nosso TIME DE ELITE ! A dataRain Consulting , empresa de Computação em Nuvem, Advanced Consulting Partner da Amazon Web Services (AWS) e Public Sector Partner of the Year 2021 está com uma projeção enorme de crescimento para esse ano e vamos precisar de reforços para o nosso time. Cadastre-se e seja também um RainMaker!!!! Informações adicionais: O seu dia a dia será mais ou menos assim: Projetar, desenvolver e manter pipelines de dados eficientes e escaláveis. Realizar transformação, limpeza e integração de dados de diversas fontes, como: MySQL, SAP, Oracle, entre outros. Construção de esteiras de ingestão de dados contínuos (CDC - Change Data Capture). Utilizar tecnologias do ambiente Hadoop para construção de pipelines, como: Spark, Apache Hive, Apache Hadoop, entre outros. Manipulação de dados em formato de tabela abertos, como: Delta Lake, Iceberg e/ou Hudi. Criação e aplicação de regras de qualidade nos dados. Inglês para conversação (Diferencial). Conhecimento em ferramentas de ETL da AWS: Athena, Glue, Lambda, Redshift, EMR, S3, entre outros. Certificações oficiais AWS, como: Solutions Architect, Data Analytics, Database ou outras. Experiência com: Delta Lake, Hudi e/ou Iceberg. Experiência com ferramentas de Data Quality, como: Talend, Precisely, Great Expectations, Glue Data Quality, entre outros. Engenheiro de dados com formação em Engenharia da Computação, Análise e Desenvolvimento de Sistemas, Ciência da Computação e áreas correlatas. Inglês para leitura de materiais técnicos, documentações, artigos e outros. Conhecimento avançado em Python Conhecimento em frameworks/bibliotecas: Airflow, Pandas, Requests, SQLAlchemy, PySPark Conhecimento em SQL Conhecimento com ferramentas do banco de dados: NoSQL Databases( DynamoDB, MongoDB, Cassandra, entre outros) e bancos de dados relacionais (MySQL, PostgreSQL, Oracle, entre outros) Conhecimento básico em tecnologias de nuvem, como AWS. Experiência comprovada construindo pipelines (esteiras) que contemplam: ingestão, transformação e disponibilização dos dados. Inglês para conversação (Diferencial). Conhecimento em ferramentas de ETL da AWS: Athena, Glue, Lambda, Redshift, EMR, S3, entre outros. Certificações oficiais AWS, como: Solutions Architect, Data Analytics, Database ou outras. Experiência com: Delta Lake, Hudi e/ou Iceberg. Experiência com ferramentas de Data Quality, como: Talend, Precisely, Great Expectations, Glue Data Quality, entre outros.