Data Engineer Sr

Descripción

Resumen del Puesto: Diseñar, desarrollar y mantener procesos de integración, preparación y transformación de datos para soluciones de Business Intelligence y Analítica Avanzada en entornos Big Data y Cloud. Puntos Destacados: 1. Diseño y automatización de pipelines ETL/ELT 2. Creación de infraestructuras de datos escalables con Spark y Cloud 3. Colaboración con científicos de datos y arquitectos de información DESCRIPCIóN El objetivo del puesto es diseñar, desarrollar y mantener procesos de integración, preparación y transformación de datos para soluciones de Business Intelligence y Analítica Avanzada, asegurando consistencia, trazabilidad y rendimiento en entornos Big Data y Cloud. El Ingeniero de Datos es responsable de construir las rutas de datos de extremo a extremo (ETL/ELT), implementar procesos automatizados y optimizar la movilidad de la información entre fuentes y destinos analíticos. Su misión es crear infraestructuras de datos escalables usando Spark, Hadoop, Hive, Databricks y plataformas en la nube (Azure/GCP), garantizando que la información esté lista para su uso en modelos predictivos, BI y machine learning . REQUISITOS * Formación Académica: Ingeniería en Sistemas, Computación, Ciencia de Datos, Informática o afines * Experiencia Profesional: Mínimo 6 años en implementación de procesos ETL y 2 años en entornos Big Data * Idiomas: Inglés técnico (intermedio) **Actividades** * Diseñar y mantener procesos ETL y ELT para integrar, limpiar y transformar datos en entornos Big Data. * Desarrollar transformaciones de datos en Spark (SQL, Scala o Python) para procesamiento batch y streaming. * Realizar modelado de datos columnar orientado a consumo, optimización y desempeño. * Elegir y optimizar tecnologías Big Data (Hadoop, Hive, Databricks) según el volumen y tipo de fuente. * Diseñar modelos dimensionales (esquema estrella y copo de nieve) para almacenes de datos y analítica BI. * Comprender los requerimientos y flujos de negocio para proponer soluciones de integración de datos . * Implementar flujos de trabajo de orquestación y automatización (Airflow, Oozie, etc.). * Desarrollar procesos para la extracción desde sistemas OLTP y la carga en repositorios OLAP/DWH * Asegurar el rendimiento y la escalabilidad, optimizando consultas SQL y operaciones en discos distribuidos. * Integrar servicios mediante APIs REST y otros mecanismos * Garantizar la calidad, seguridad y consistencia de los datos en todas las etapas * Colaborar con Científicos de Datos, Analistas BI y Arquitectos de Información * Documentar procesos, diccionarios de datos y metodologías de transformación **Habilidades técnicas indispensables** * Conocimientos Requeridos: Spark, Hadoop, Hive, Databricks, Azure Data Factory, **GCP, Airflow,** DataFlow, ETL, SQL, OLTP/OLAP, Python, Scala, Java, modelado dimensional (estrella/copo de nieve), APIs * Competencias Clave:Procesos ETL / ELT: Diseño y automatización de pipelines * Ecosistemas Big Data: Spark (SQL, Scala, Python), Hadoop, Hive, Databricks * Cloud Data Platforms: Azure Data Factory, Azure Databricks, Google Cloud Dataproc/Dataflow, BigQuery * Bases de Datos y SQL: SQL avanzado y optimización de consultas * Modelado de Datos: Modelos dimensionales (estrella/copo de nieve) * Integración y APIs: Conexión a sistemas OLTP/OLAP y exposición vía APIs REST * Automatización y Orquestación: Apache Airflow, Oozie, ADF, CI/CD 034 Integración...gineer.pdf. * Lenguajes de Programación: Python, Scala, Java, R * Data Quality y Monitoreo: Validación de datasets y control de errores * Metodologías Ágiles: Scrum/SAFe **Habilidades técnicas deseables** * Certificaciones Deseables: Azure Data Engineer Associate, Google Cloud Data Engineer, Databricks Certified Data Engineer, Scrum Fundamentals