**Descripción de la empresa** En KMS Technology, nos dedicamos a ofrecer soluciones y servicios de vanguardia que permiten a las empresas alcanzar sus objetivos. Nuestro equipo está compuesto por profesionales altamente calificados apasionados por la tecnología y la innovación. Ofrecemos un entorno de trabajo dinámico y colaborativo donde puedes desarrollar tu carrera y generar un impacto significativo. **Descripción del puesto** Buscamos un **Desarrollador Senior de Software** altamente calificado y motivado para unirse a nuestro equipo de Ingeniería de Datos. Este puesto se encarga de diseñar e implementar soluciones complejas y de alto rendimiento para la integración de datos mediante **Apache Spark**. El candidato ideal contará con una profunda experiencia en los aspectos internos de Spark, el desarrollo con PySpark y la optimización del rendimiento, además de poseer la capacidad de liderar la creación de conectores personalizados para Spark y optimizar a gran escala la lógica central de transformación de datos. Trabajarás con grandes conjuntos de datos heterogéneos, contribuirás a las estrategias de arquitectura e ingesta, y garantizarás que las canalizaciones de Spark operen de forma fiable, eficiente y rentable. **Responsabilidades:** * Diseñar, implementar y optimizar **canalizaciones de ingesta de datos de alto volumen** mediante **Apache Spark**, integrando fuentes de datos internas y externas a través de conectores estándar y personalizados. * Liderar el desarrollo de **estrategias de integración de datos** para mover, transformar y cargar conjuntos de datos diversos y a gran escala mediante **Spark (PySpark)** en entornos en la nube como **AWS, Azure o GCP.** * Traducir requisitos empresariales y técnicos complejos en **cuadernos y trabajos escalables de PySpark**, con una estructura clara y mantenible. * Aplicar técnicas avanzadas de **optimización del rendimiento** para aplicaciones Spark, incluida la optimización de la configuración del clúster, las estrategias de particionamiento y la asignación de recursos. * Migrar la lógica existente de ETL/ELT y los procesos de transformación desde sistemas heredados hacia implementaciones optimizadas **basadas en PySpark.** * Implementar mecanismos de **pruebas, monitoreo y manejo robusto de errores** dentro de las canalizaciones de Spark para garantizar la integridad de los datos y la confiabilidad operativa. **Requisitos:*** 5 o más años de experiencia profesional en desarrollo de software, con al menos 3 años centrados en ingeniería de datos a gran escala. * Competencia experta en Apache Spark (PySpark), incluidos RDD, DataFrames, Spark SQL y una comprensión profunda de los aspectos internos de Spark (por ejemplo, planes de ejecución, DAG, gestión de memoria). * Experiencia comprobada en el diseño e implementación de canalizaciones de ingesta basadas en Spark a gran escala y alto rendimiento, utilizando tanto patrones de integración de datos personalizados como estándar. * Amplia experiencia práctica con canalizaciones ETL/ELT y conceptos de almacenamiento de datos. * Habilidades avanzadas de programación en Python, especialmente en procesamiento de datos con PySpark y Pandas. * Experiencia práctica identificando y resolviendo cuellos de botella de rendimiento de Spark en entornos de computación distribuida. * Conocimiento práctico de servicios basados en Spark, tales como Databricks, AWS EMR, Azure Synapse Analytics o GCP Dataproc. * Experiencia con cargas de trabajo Spark en Microsoft Fabric. * Amplios conocimientos de SQL y experiencia con bases de datos relacionales y NoSQL. **Información adicional** ***Beneficios que disfrutarás en KMS******México*** * Prestaciones conforme a la ley mexicana. * 15 días de vacaciones pagadas (en el año cero; a partir del primer año, son 3 días por año). * 5 días de licencia por fallecimiento de familiares directos, negociables. * Seguro de gastos médicos mayores con cobertura para familiares directos (cónyuge e hijos). * Bono anual por desempeño (10 % del salario anualizado). * Ajuste salarial anual. * Bono por referencias de empleados. * Certificaciones y cursos pagados. * Licencia de Coursera. * Fondo de ahorro del 5 %. * Vales de despensa del 5 %.