Resumen: Buscamos expertos técnicamente capacitados para evaluar y mejorar asistentes de inteligencia artificial para programación mediante el análisis de transcripciones de conversaciones entre usuarios e IA, y la evaluación de su razonamiento, acciones y comunicación. Aspectos destacados: 1. Dar forma al futuro de los sistemas de inteligencia artificial que asisten a los desarrolladores 2. Colaboración flexible basada en tareas, con posibilidad de lotes recurrentes 3. Puesto completamente remoto que puede realizarse según su propio horario Colaboramos con una organización líder en investigación de IA para evaluar y mejorar cómo razonan, actúan y se comunican los asistentes de programación durante los flujos de trabajo de desarrollo. Buscamos expertos técnicamente capacitados (especialmente aquellos con experiencia en revisión de código, pruebas o documentación) para evaluar transcripciones completas de conversaciones entre usuarios y asistentes de programación con IA. Esta colaboración a corto plazo contribuye a dar forma al futuro de los sistemas de inteligencia artificial que asisten a los desarrolladores. Responsabilidades clave * Revisar transcripciones extensas de conversaciones entre usuarios y asistentes de programación con IA * Analizar detalladamente la lógica, ejecución y acciones declaradas por la IA * Calificar cada transcripción mediante una rúbrica de 10 puntos aplicada a múltiples criterios * Redactar, de forma opcional, breves justificaciones citando ejemplos extraídos del diálogo * Detectar discrepancias entre afirmaciones y acciones (por ejemplo, decir «Ejecutaré las pruebas» sin hacerlo) Cualificaciones ideales Principales candidatos: * Ingenieros Senior o Staff con amplia experiencia en revisión de código y conocimientos profundos sobre su ejecución * Ingenieros de QA con sólidos hábitos de verificación y comprobación de coherencia * Escritores técnicos o especialistas en documentación con habilidad para comparar instrucciones frente a su implementación También son muy adecuados: * Desarrolladores backend o full-stack cómodos con llamadas a funciones, APIs y flujos de pruebas * Profesionales DevOps o SRE familiarizados con la orquestación de herramientas y el análisis del comportamiento de los sistemas Lenguajes y herramientas: * Conocimientos prácticos de Python son útiles (la mayoría de las transcripciones están basadas en Python) * Conocimientos de otros lenguajes como JavaScript, TypeScript, Java, C++, Go, Ruby, Rust o Bash son un plus * Resulta valioso sentirse cómodo con flujos de trabajo Git, frameworks de pruebas y herramientas de depuración Más información sobre la oportunidad * Debe completar cada lote de transcripciones dentro de las 5 horas siguientes al inicio (no hay límite de tareas a realizar) * Colaboración flexible basada en tareas, con posibilidad de lotes recurrentes Proceso de solicitud * Envíe su currículum para comenzar * Si es seleccionado, recibirá la documentación de la rúbrica y acceso a la plataforma de evaluación * La mayoría de los solicitantes reciben respuesta en pocos días hábiles Valoramos a todos los candidatos calificados sin tener en cuenta sus características legalmente protegidas y ofrecemos adaptaciones razonables bajo solicitud. **Términos contractuales y de pago** ------------------------------ * Se le contratará como contratista independiente. * Se trata de un puesto completamente remoto que puede realizarse según su propio horario. * Los proyectos pueden ampliarse, acortarse o finalizarse anticipadamente según las necesidades y el desempeño. * Su trabajo no implicará acceso a información confidencial ni propiedad intelectual de ningún empleador, cliente o institución. * Los pagos se realizan semanalmente mediante Stripe o Wise, según los servicios prestados.