Resumen: Buscamos expertos técnicamente hábiles para evaluar y mejorar asistentes de IA para la programación, analizando transcripciones de conversaciones entre usuarios e IA y evaluando el razonamiento, las acciones y la comunicación de la IA. Aspectos destacados: 1. Dar forma al futuro de los sistemas de IA que asisten a los desarrolladores 2. Colaboración flexible basada en tareas 3. Puesto completamente remoto con horario de trabajo autogestionado Colaboramos con una organización líder en investigación de IA para evaluar y mejorar cómo razonan, actúan y comunican los asistentes para la programación durante los flujos de trabajo de desarrollo. Buscamos expertos técnicamente hábiles (especialmente aquellos con experiencia en revisiones de código, pruebas o documentación) para evaluar transcripciones completas de conversaciones entre usuarios y asistentes de IA para la programación. Esta colaboración a corto plazo contribuye a dar forma al futuro de los sistemas de IA que asisten a los desarrolladores. Principales responsabilidades * Revisar transcripciones extensas entre usuarios y asistentes de IA para la programación * Analizar detalladamente la lógica, la ejecución y las acciones declaradas por la IA * Calificar cada transcripción mediante una rúbrica de 10 puntos aplicada a múltiples criterios * Escribir, de forma opcional, breves justificaciones citando ejemplos extraídos del diálogo * Detectar discrepancias entre las afirmaciones y las acciones (por ejemplo, decir «Ejecutaré las pruebas» sin hacerlo) Cualificaciones ideales Mejores candidatos: * Ingenieros senior o staff con amplia experiencia en revisiones de código y conocimiento práctico de su ejecución * Ingenieros de QA con sólidos hábitos de verificación y comprobación de coherencia * Escritores técnicos o especialistas en documentación con habilidad para comparar instrucciones frente a su implementación También son candidatos muy adecuados: * Desarrolladores backend o full-stack cómodos con llamadas a funciones, APIs y flujos de pruebas * Profesionales DevOps o SRE familiarizados con la orquestación de herramientas y el análisis del comportamiento de los sistemas Lenguajes y herramientas: * Conocimientos avanzados de Python son útiles (la mayoría de las transcripciones están basadas en Python) * Familiaridad con otros lenguajes como JavaScript, TypeScript, Java, C\+\+, Go, Ruby, Rust o Bash es un plus * Resulta valiosa la comodidad con flujos de trabajo Git, frameworks de pruebas y herramientas de depuración Más información sobre la oportunidad * Debe completar cada lote de transcripciones dentro de las 5 horas siguientes al inicio (no hay límite en la cantidad de tareas a realizar) * Colaboración flexible basada en tareas, con posibilidad de recibir lotes recurrentes Proceso de solicitud * Envíe su currículum para comenzar * Si es seleccionado, recibirá la documentación de la rúbrica y acceso a la plataforma de evaluación * La mayoría de los solicitantes reciben una respuesta en pocos días hábiles Valoramos a todos los candidatos calificados sin tener en cuenta sus características legalmente protegidas y ofrecemos adaptaciones razonables bajo solicitud. **Términos contractuales y de pago** ------------------------------ * Será contratado como contratista independiente. * Se trata de un puesto completamente remoto que puede realizarse según su propio horario. * Los proyectos pueden extenderse, acortarse o finalizarse anticipadamente según las necesidades y el desempeño. * Su trabajo no implicará acceso a información confidencial ni propiedad intelectual de ningún empleador, cliente o institución. * Los pagos se realizan semanalmente mediante Stripe o Wise, según los servicios prestados.