Sobre a vaga
A EPAM Systems está recrutando um Engenheiro de Software de Dados de nível inicial para trabalhar em soluções de processamento e arquitetura de dados. Você trabalhará com tecnologias modernas de big data e cloud computing em um ambiente remoto.
Responsabilidades
- Desenvolver e manter pipelines de dados usando Apache Spark e PySpark
- Trabalhar com plataformas de data warehousing como Redshift e Databricks
- Implementar soluções de processamento de dados em larga escala
- Colaborar com equipes de dados e engenharia para otimizar arquiteturas
- Contribuir para infraestrutura de dados utilizando Hadoop, Hive e Flink
Requisitos
- Conhecimento sólido em Python, Java, Kotlin ou Scala
- Experiência com SQL e NoSQL
- Familiaridade com Apache Spark e processamento de dados distribuído
- Compreensão de conceitos de big data e arquitetura de dados
- Conhecimento em Docker e Kubernetes
- Experiência com AWS (Glue, Redshift) é um diferencial
Diferenciais
- Experiência com CI/CD e automação
- Conhecimento de Hadoop, Yarn e Hive
- Familiaridade com Databricks