GRCS

Emprego - Engenheiro(a) de Dados - Estadão

Descrição

Se você é uma pessoa que além de gostar de Tecnologia, preza por um ambiente de colaboração, tem habilidade para propor soluções, ideias inovadoras e tem interesse por aprendizado contínuo. Então aqui é o seu lugar! Venha para o Estadão!

Responsabilidades:

Responsável pelo design, desenvolvimento e implementação das tarefas de ETL para ingestão, validação e transformação de dados. Deve ter capacidade de trabalhar como parte de uma equipe ágil (responsável pelo produto, desenvolvedores, engenheiros, etc.), na interface com a TI tradicional, na qual interage com os administradores do sistema para extrair dados de diversos sistemas de origem e executar o pipeline de ingestão de dados 

As principais atividades que você irá realizar são:

  • Trabalhar com os responsáveis pelos produtos para entender os requisitos, fornecer orientação sobre opções adequadas e ajudá-los a impulsionar as soluções de engenharia de dados em seus produtos;
  • Criar cargas ETL com base em requisitos definidos em conjunto ao longo do pipeline de dados, incluindo ingestão, validação, transformação e armazenamento dos dados de vários sistemas de origem no data lake de acordo com a finalidade do uso.
  • Trabalhar em estreita colaboração com os desenvolvedores de back end, grupo de arquitetura e cientista de dados e TI;
  • Definir e criar pipelines de dados para produtos de analytics de dados – usar estruturas padronizadas (Apache Airflow) para essa finalidade;
  • Auxiliar na correção de bug e análise de performance ao longo do pipeline de dados;
  • Fornecer expertise em SQL, data Warehouses e data Lakes à equipe de desenvolvimento;
  • Seguir uma metodologia de desenvolvimento ágil.

Esperamos que você tenha:

  • Formação em ciência da computação, engenharia, matemática, estatística ou área relacionada;
  • Experiência em ingestão de dados;
  • Sólidas habilidades analíticas, comunicação, documentação e atitude prática;
  • Experiência em ferramentas de ETL (Pandas, NumPy);
  • Experiência na linguagem de programação Python;
  • Manipulação de arquivos com extensões do tipo Parquet, AVRO, ORC e etc.
  • Experiência com computação distribuída e Cloud Computing (Hadoop, Dask, Hive, Spark, EMR etc.

Além disso, será incrível se você tiver:

  • Experiência em linguagens de programação: Shell Script, R, Terraform;
  • Ferramentas de data pipeline como NIFi, Sqoop e etc.
  • Tecnologias em nuvem (Google, Azure, AWS).
  • Conhecimento em arquitetura Lambda.

Local de Trabalho: Zona Norte/São Paulo (100% home office até o final da quarentena)

 

Informação e inscrição aqui

 

Observações
1- O salário não foi informado pela empresa;
2- O piso salarial dos profissionais de engenharia é definido pela Lei 4.950-A/66.

agenda