Entrenador/a de inglés e italiano - Teletrabajo

Descripción

Resumen: Evaluar y mejorar el comportamiento general de chat en modelos de lenguaje grande mediante la evaluación de respuestas, la verificación de hechos y la provisión de comentarios humanos de alta calidad. Aspectos destacados: 1. Colaborar con equipos líderes de IA para mejorar los sistemas de IA conversacional 2. Evaluar las respuestas generadas por modelos de lenguaje grande (LLM) y proporcionar comentarios de calidad 3. Oportunidad de influir en la comunicación y la fiabilidad de los sistemas de IA **Modalidad de trabajo:** Teletrabajo **Tipo de vinculación:** Contratista independiente **Horario:** Contrato a tiempo completo o a tiempo parcial **Función:** Colabora con equipos líderes de IA para mejorar la calidad, utilidad y fiabilidad de los sistemas de IA conversacional de propósito general. Estos sistemas se utilizan en una amplia gama de escenarios cotidianos y profesionales, y su eficacia depende de la claridad, precisión y utilidad con que responden a las preguntas reales de los usuarios. Este proyecto se centra en evaluar y **mejorar el comportamiento general de chat** en modelos de lenguaje grande (LLM). Evaluará las respuestas generadas por el modelo sobre diversos temas, proporcionará comentarios humanos de alta calidad y ayudará a garantizar que los sistemas de IA se comuniquen de forma precisa, bien razonada y alineada con las expectativas humanas. **Sus responsabilidades** * Evaluar las respuestas generadas por LLM en cuanto a su capacidad para responder eficazmente a las consultas de los usuarios * Realizar verificaciones de hechos utilizando fuentes públicas confiables y herramientas externas * Generar datos de evaluación humana de alta calidad mediante la anotación de los puntos fuertes de las respuestas, las áreas que requieren mejora y las inexactitudes factuales * Evaluar la calidad del razonamiento, la claridad, el tono y la integridad de las respuestas * Asegurar que las respuestas del modelo se alineen con el comportamiento conversacional esperado y con las directrices del sistema * Aplicar anotaciones consistentes siguiendo taxonomías claras, referencias comparativas y pautas detalladas de evaluación **Perfil requerido** * Posee un **título universitario de licenciatura** * Es **hablante nativo** o tiene **fluidez primaria de nivel ILR 5 (C2 según la escala CEFR)** en **italiano** * Tiene **experiencia significativa en el uso de modelos de lenguaje grande (LLM)** y comprende cómo y por qué las personas los utilizan * Cuenta con **excelentes habilidades de redacción**, capaz de formular comentarios matizados con claridad * Tiene una **gran atención al detalle**, identificando sistemáticamente problemas sutiles que otros podrían pasar por alto * Es **adaptable**, cómodo trabajando en distintos temas, dominios y requisitos de clientes * Tiene formación o experiencia en ámbitos que exigen **pensamiento analítico estructurado** (por ejemplo, investigación, política, análisis de datos, lingüística, ingeniería) * Posee **excelentes competencias matemáticas a nivel universitario** **Competencias deseables (no excluyentes)** * Experiencia previa en **retroalimentación humana reforzada (RLHF), evaluación de modelos o trabajo de anotación de datos** * Experiencia redactando o editando **contenidos escritos de alta calidad** * Experiencia comparando múltiples salidas y realizando **juicios cualitativos finos** * **Conocimiento de rúbricas de evaluación**, referencias comparativas o sistemas de calificación de calidad **Indicadores de éxito** * Identifica inexactitudes factuales, errores de razonamiento y brechas comunicativas en las respuestas del modelo * Produce artefactos de evaluación claros, consistentes y reproducibles * Sus comentarios conducen a mejoras medibles en la calidad de las respuestas y en la experiencia del usuario