Ingeniero Líder de Datos

Descripción

Resumen: Buscamos un experimentado Ingeniero Líder de Datos para diseñar y entregar rápidamente un prototipo de procesamiento de datos para el sector del petróleo y el gas, aprovechando Azure Databricks, ADLS Gen2 y la arquitectura Delta Lakehouse. Aspectos destacados: 1. Diseñar y construir un prototipo escalable de procesamiento de datos para el sector del petróleo y el gas 2. Aprovechar Azure Databricks, ADLS Gen2 y la arquitectura Delta Lakehouse 3. Centrarse en la maestría de datos con coincidencia exacta y cálculos geoespaciales Buscamos un experimentado **Ingeniero Líder de Datos** para construir un prototipo de procesamiento de datos para el sector del petróleo y el gas, aprovechando la arquitectura Delta Lakehouse en forma de medallón (medallion architecture), Azure Databricks y ADLS Gen2. Este puesto se centra en la maestría de datos mediante coincidencia exacta y cálculos geoespaciales. El prototipo debe entregarse rápidamente para permitir su ampliación hacia una solución completa. **Responsabilidades** * Diseñar y construir un prototipo de procesamiento de datos para el dominio del petróleo y el gas * Desarrollar canalizaciones de datos escalables mediante Azure Databricks y PySpark * Implementar la arquitectura Delta Lakehouse en forma de medallón para el flujo estructurado de datos * Gestionar y organizar el almacenamiento de datos en ADLS Gen2, trabajando con formatos Parquet y JSON * Realizar la maestría de datos mediante coincidencia exacta y cálculos geoespaciales * Escribir y optimizar consultas mediante Spark SQL para una transformación eficiente de los datos * Colaborar con las partes interesadas para garantizar que el prototipo cumpla los requisitos empresariales * Entregar el prototipo rápidamente para apoyar su ampliación hacia una solución a escala completa **Requisitos** * 5\+ años de experiencia en ingeniería de datos * Al menos 1 año de experiencia relevante en liderazgo * Conocimientos expertos en Azure Databricks, Azure Data Lake Storage y ADLS Gen2 (formatos Parquet y JSON) * Competencia en PySpark y Spark SQL * Experiencia previa en la construcción de canalizaciones de datos mediante la arquitectura Delta Lakehouse en forma de medallón * Capacidad para entregar prototipos rápidamente bajo plazos ajustados * Excelentes habilidades de comunicación escrita y verbal en inglés (nivel B2\+) **Deseable** * Habilidades en coincidencia y desduplicación de datos mediante cálculos geoespaciales * Familiaridad con Databricks DLT, Databricks Unity Catalog y Databricks Asset Bundles * Experiencia en el sector del petróleo y el gas