En KMS Technology, nos dedicamos a ofrecer soluciones y servicios de vanguardia que permiten a las empresas alcanzar sus objetivos. Nuestro equipo está compuesto por profesionales altamente calificados apasionados por la tecnología y la innovación. Ofrecemos un entorno de trabajo dinámico y colaborativo donde puedes desarrollar tu carrera y generar un impacto significativo. ### **Responsabilidades** Buscamos un **Desarrollador Senior de Software** altamente calificado y motivado para unirse a nuestro equipo de Ingeniería de Datos. Este puesto se encarga de diseñar e implementar soluciones complejas y de alto rendimiento para la integración de datos mediante **Apache Spark**. El candidato ideal contará con una profunda experiencia en los aspectos internos de Spark, el desarrollo con PySpark y la optimización del rendimiento, además de la capacidad de liderar la creación de conectores personalizados para Spark y optimizar a gran escala la lógica central de transformación de datos. Trabajarás con grandes conjuntos de datos heterogéneos, contribuirás a las estrategias de arquitectura e ingesta y garantizarás que las canalizaciones de Spark funcionen de forma fiable, eficiente y rentable. **Responsabilidades:** * Diseñar, implementar y optimizar **canalizaciones de ingesta de datos de alto volumen** mediante **Apache Spark**, integrando fuentes de datos internas y externas mediante conectores estándar y personalizados. * Liderar el desarrollo de **estrategias de integración de datos** para mover, transformar y cargar grandes volúmenes y variedades de datos mediante **Spark (PySpark)** en entornos en la nube como **AWS, Azure o GCP.** * Traducir requisitos empresariales y técnicos complejos en **cuadernos y trabajos escalables de PySpark**, con una estructura clara y mantenible. * Aplicar técnicas avanzadas de **ajuste de rendimiento** para aplicaciones Spark, incluida la optimización de la configuración del clúster, las estrategias de particionamiento y la asignación de recursos. * Migrar la lógica y los procesos de transformación ETL/ELT existentes desde sistemas heredados hacia implementaciones optimizadas basadas en **PySpark.** * Implementar mecanismos de **pruebas, supervisión y control robusto de errores** dentro de las canalizaciones Spark para garantizar la integridad de los datos y la fiabilidad operativa. ### **Requisitos** * 5 o más años de experiencia profesional en desarrollo de software, con al menos 3 años centrados en ingeniería de datos a gran escala. * Competencia experta en Apache Spark (PySpark), incluidos RDD, DataFrames, Spark SQL y una comprensión profunda de los aspectos internos de Spark (por ejemplo, planes de ejecución, DAG y gestión de memoria). * Experiencia comprobada en el diseño e implementación de canalizaciones de ingesta basadas en Spark a gran escala y alto rendimiento, utilizando tanto patrones de integración de datos personalizados como estándar. * Amplia experiencia práctica con canalizaciones ETL/ELT y conceptos de almacenamiento de datos. * Habilidades avanzadas de programación en Python, especialmente en procesamiento de datos con PySpark y Pandas. * Experiencia práctica identificando y resolviendo cuellos de botella de rendimiento de Spark en entornos de computación distribuida. * Conocimiento práctico de servicios basados en Spark, como Databricks, AWS EMR, Azure Synapse Analytics o GCP Dataproc. * Experiencia con cargas de trabajo Spark en Microsoft Fabric. * Amplios conocimientos de SQL y experiencia con bases de datos relacionales y NoSQL. ### **Beneficios y ventajas** ***Ventajas que disfrutarás en KMS******México*** * Beneficios conforme a la ley mexicana. * 15 días de vacaciones pagadas (en el año cero; a partir del primer año, se otorgan 3 días adicionales por año). * 5 días de licencia por fallecimiento de familiares directos (negociable). * Seguro de gastos médicos mayores con cobertura para familiares dependientes directos (cónyuge e hijos). Bonificación anual por desempeño (* 10 % del salario anualizado). * Ajuste salarial anual. * Bonificación por referencias de empleados. * Certificaciones y cursos pagados. * Licencia de Coursera. * Fondo de ahorro del 5 %. * Vales de despensa del 5 %.