Engenheiro de Dados Sênior

Engenheiro de Dados Sênior Sobre a posição Procuramos um(a) Engenheiro(a) de Dados Sênior com experiência robusta em soluções de dados na nuvem AWS para liderar o desenvolvimento e a implementação de arquiteturas modernas e escaláveis. Você será peça-chave na construção de pipelines de dados eficientes e resilientes, na implementação de data lakes e data warehouses, além de atuar no desenvolvimento de soluções analíticas de alto impacto com o ecossistema AWS, Databricks e Trino. Principais responsabilidades Projetar e construir pipelines de dados eficientes utilizando AWS Athena, PySpark e Databricks; Implementar e gerenciar data lakes no Amazon S3 com estruturas otimizadas para alta performance e escalabilidade; Desenvolver e otimizar consultas complexas com Amazon Athena, Trino e Databricks; Planejar e executar processos de ETL/ELT, integrando múltiplas fontes de dados; Otimizar performance de queries e processamento massivo de dados; Promover code reviews e fornecer mentoria técnica para a equipe; Traduzir necessidades de negócio em soluções técnicas robustas e escaláveis; Implantar rotinas de monitoramento e observabilidade nos pipelines de dados; Agendar e orquestrar rotinas ETL com Apache Airflow. Requisitos Técnicos Essenciais Domínio avançado de Python e SQL; Sólida experiência com serviços AWS, principalmente: Amazon S3 para armazenamento de dados Amazon Athena para consultas serverless Vivência em Trino (PrestoSQL) para processamento distribuído de consultas; Proficiência em Databricks e Delta Lake para solução de dados analíticos; Experiência com PySpark para processamento em larga escala; Forte conhecimento em modelagem de dados e arquitetura de data warehousing; Prática em particionamento de dados e otimização de performance em data lakes; Domínio de versionamento Git e metodologias ágeis via Azure DevOps; Familiaridade com formatos como Parquet, Delta, Iceberg. Diferenciais Certificações AWS (Data Analytics, Solutions Architect, Data Engineer); Experiência em orquestração com Apache Airflow; Projetos com streaming de dados (Kinesis, Kafka); Conhecimento de dbt (Data Build Tool) para transformações de dados; Experiência em qualidade de dados com Great Expectations; Compreensão de CDC (Change Data Capture); Conhecimento em observabilidade e monitoramento (Elastic Search e Kibana); Implementação de APIs RESTful; Familiaridade com containerização (Docker, Kubernetes); Vivência com Infraestrutura como Código (Terraform, CloudFormation).

Location: brazil, BR

Posted Date: 7/3/2025