Databricks/Python Developer Senior | Remote

Experiência no desenvolvimento de soluções de dados utilizando Python;
Experiência em construção e manutenção de pipelines de dados com Databricks (PySpark);
Vivência com processamento, transformação e análise de grandes volumes de dados;
Experiência com manipulação e tratamento de dados utilizando Pandas;
Conhecimento em leitura, processamento e integração de dados XML utilizando Python ElementTree;
Experiência com plataformas de nuvem, especialmente Microsoft Azure;
Conhecimento em práticas de qualidade, integridade e monitoramento de dados;
Vivência na definição e implementação de boas práticas de engenharia e arquitetura de dados.

Desejáveis:

Experiência na colaboração com times de Engenharia de Dados, Analytics e Ciência de Dados;
Conhecimento em otimização de performance de pipelines e processamento distribuído;
Familiaridade com documentação técnica de processos, pipelines e soluções de dados.

Projetar e desenvolver pipelines de dados escaláveis utilizando Databricks (PySpark) para processamento e análise de grandes conjuntos de dados;
Colaborar com as equipes de engenharia e ciência de dados para entender os requisitos e fornecer soluções eficientes;
Implementar transformações de dados complexas, limpeza de dados e agregações usando PySpark e otimizar o desempenho do código;
Utilizar Python ElementTree para manipulação eficiente de dados XML e integração de dados heterogêneos;
Desenvolver scripts em Python utilizando Pandas para manipulação e análise de dados estruturados;
Garantir a qualidade e integridade dos dados, implementando práticas de teste e monitoramento;
Colaborar na definição e implementação de melhores práticas de engenharia de dados e arquitetura de dados;
Manter documentação técnica abrangente para os processos e soluções implementadas.

Benefícios

Vale-alimentação e/ou vale-refeição;
Plano de saúde e plano odontológico;
Plano de saúde para o seu pet;
Auxílio home office (para vagas remotas);
Kit de boas-vindas no onboarding;
Seguro de vida;
Zenklub, com acompanhamento psicológico e nutricional;
TotalPass;
Programa de Certificações e Capacitação Contínua com parceiros (Adobe, Anthropic, AWS, Google, Microsoft, Salesforce);
Parcerias e descontos para o seu desenvolvimento;
Acesso ao conteúdo UOL;
Kit maternidade;
Licença maternidade e paternidade estendidas;