RESPONSABILIDADES E ATRIBUIÇÕES
- Implementar sistemas e rotinas de monitoramento (dados, aplicações, queries etc);
- Evoluir modelos de dados, arquitetura e construção de pipeline de dados para atender novos requisitos de engenharia e negócios;
- Implementar rotinas de migração, tratamento e armazenamento de dados (ETL);
- Desenvolver integrações entre diferentes fontes de dados (RDS, APIs externas e etc) a fim de centralizar em um datalake;
- Implementar e conduzir testes de carga;
- Monitorar pipeline de dados em execução.
REQUISITOS E QUALIFICAÇÕES
- Conhecimento em Python;
- Experiência com cloud da GCP;
- Conhecimento em banco de dados SQL e NoSQL;
- Conhecimento em recurso das plataformas cloud;
- Conhecimento em arquitetura orientada a eventos;
- Experiência com integração continua e deploy em cloud;
- Experiência com Datalake, Data Warehouse e Data Marts.
Será um diferencial ter experiência em:
- Vivência em projetos de streaming;
- Experiência com Airflow;
-Processamento distribuído de dados (Spark ou similhares).