Descrição de Vaga
| Código: | 15458 |
| Título da vaga: | Big Data Administrator - 10530725 |
| Local: | São Carlos, SP |
| Nível Profissional: | Analista |
| Nível Acadêmico: | Ensino Superior Completo |
| Áreas de Atuação Profissional: | TI - Projetos |
| Descrição: | 2x a week to São Carlos |
| Habilidades: | "Experiência com o ecossistema AWS EMR e Hadoop. Sólida experiência em administração Linux e programação de scripts (Bash, Python). - Familiaridade com serviços da AWS como S3, EC2, IAM e CloudWatch. - Experiência com Terraform, CloudFormation e outras ferramentas DevOps. - Certificações AWS (Arquiteto de Soluções, Big Data, Engenheiro de Dados).- Experiência com EMR Serverless, Docker ou Kubernetes. 1. Administração de Cluster EMR: - Provisionar, configurar e gerenciar clusters do Amazon EMR. - Otimizar dimensionamento, escalonamento automático e desempenho. - Gerenciar componentes do Hadoop, incluindo HDFS, YARN, Hive e Spark. 2. Operações da Plataforma de Big Data: - Instalar, configurar e atualizar ferramentas de big data. - Monitorar a integridade do cluster e solucionar problemas. - Gerenciar pipelines de ingestão de dados, incluindo Kafka, Kinesis e AWS Glue. 3. Segurança, Conformidade e IAM: - Implementar segurança do EMR com configurações de IAM, Kerberos, KMS e VPC. - Garantir a conformidade com os padrões organizacionais. 4. Automação e DevOps: - Automatizar o provisionamento do EMR usando CloudFormation, CDK ou Terraform. - Criar pipelines de CI/CD usando ferramentas da AWS ou Jenkins. - Implementar estratégias de otimização de custos. 5. Monitoramento e Solução de Problemas: - Utilize CloudWatch, CloudTrail e o Console do EMR para diagnósticos. - Otimize os jobs do Spark e do Hive para melhor desempenho. 6. Colaboração e Suporte: - Trabalhe em estreita colaboração com engenheiros de dados e equipes de nuvem. - Forneça suporte à produção e assistência de plantão." |