Engenheiro(a) de Dados Sênior - AWS

Junte-se à Digiage e ajude a escalar a inteligência artificial com excelência operacional.

Na Digiage, acreditamos que os dados são a base para impulsionar inovação, eficiência e decisões estratégicas. Estamos em busca de um(a) Engenheiro(a) de Dados Sênior | AWS para atuar em projetos estratégicos junto a clientes de grande porte, desenvolvendo arquiteturas modernas de dados e soluções escaláveis para Analytics, Inteligência Artificial e Data Platforms.

Você será responsável por projetar, implementar e evoluir pipelines de dados de alta performance, garantindo qualidade, confiabilidade e escalabilidade em ambientes cloud, além de contribuir para a evolução da arquitetura e das melhores práticas de engenharia de dados.

Responsabilidades:


  • Projetar, desenvolver e evoluir pipelines de dados escaláveis utilizando serviços da AWS;
  • Desenvolver processos robustos de ingestão, transformação e disponibilização de dados (ETL/ELT);
  • Implementar e otimizar soluções utilizando serviços como AWS Glue, S3, Lambda, Athena, Redshift, EMR, Step Functions e EventBridge;
  • Projetar, implementar e sustentar Data Lakes e arquiteturas modernas de dados em ambiente AWS;
  • Desenvolver soluções utilizando Python e SQL com foco em performance, escalabilidade e qualidade dos dados;
  • Trabalhar com grandes volumes de dados estruturados e não estruturados;
  • Garantir a qualidade, integridade, segurança e governança dos dados ao longo de todo o pipeline;
  • Otimizar consultas, processamento e consumo de dados, buscando redução de custos e aumento de performance;
  • Atuar em conjunto com equipes de Analytics, Ciência de Dados, Engenharia de Software e Arquitetura na construção de soluções estratégicas;
  • Implementar monitoramento, observabilidade e tratamento de falhas em pipelines de dados;
  • Participar da definição de padrões, boas práticas e evolução da arquitetura de dados da plataforma;
  • Apoiar a análise e resolução de incidentes críticos relacionados ao ambiente de dados.

Requisitos mínimos


  • Experiência sólida como Engenheiro(a) de Dados em ambientes AWS;
  • Domínio dos principais serviços de dados da AWS, como S3, Glue, Athena, Redshift, Lambda, EMR e IAM;
  • Experiência sólida no desenvolvimento de pipelines ETL/ELT;
  • Conhecimento avançado em Python e SQL;
  • Experiência com modelagem de dados para ambientes analíticos e Data Lakes;
  • Conhecimento em Apache Spark ou PySpark;
  • Experiência com versionamento utilizando Git e práticas de CI/CD;
  • Conhecimento em particionamento, otimização de consultas e processamento distribuído;
  • Experiência com monitoramento, observabilidade e troubleshooting de pipelines;
  • Conhecimento em arquitetura de dados em cloud e boas práticas de segurança e governança de dados;
  • Boa capacidade analítica, resolução de problemas e atuação em ambientes colaborativos.

Diferenciais:


  • Experiência com Databricks em ambiente AWS;
  • Conhecimento em Apache Airflow ou outras ferramentas de orquestração de workflows;
  • Experiência com arquiteturas orientadas a eventos (Event-Driven Architecture);
  • Conhecimento em Delta Lake, Apache Iceberg ou Apache Hudi;
  • Experiência com Docker e Kubernetes;
  • Conhecimento em infraestrutura como código (Terraform ou CloudFormation);
  • Vivência em projetos de Machine Learning, Inteligência Artificial e MLOps;
  • Experiência em ambientes corporativos de grande porte e projetos de missão crítica;
  • Certificações AWS voltadas para Data Analytics, Data Engineer ou Solutions Architect.