LLM - Analista de Calidad de IA (Personalización) - Español

Descripción

Resumen: Como analista de calidad de IA, usted evaluará una nueva función de personalización para Gemini, valorando hasta qué punto el modelo utiliza información personal para hacer sus respuestas relevantes y útiles. Aspectos destacados: 1. Evaluar respuestas ambiguas y matizadas de inteligencia artificial para evaluar la calidad de la personalización 2. Diseñar y ejecutar indicaciones conversacionales de múltiples turnos 3. Analizar las respuestas para detectar problemas de fundamentación y evaluar la calidad de la integración **Sobre nosotros** Con sede en San Francisco, California, Turing es el principal acelerador mundial de investigación para laboratorios pioneros en IA y un socio de confianza para empresas globales que implementan sistemas avanzados de IA. Turing apoya a sus clientes de dos maneras: primero, acelerando la investigación pionera mediante datos de alta calidad, tuberías avanzadas de entrenamiento y los mejores investigadores en IA especializados en programación, razonamiento, STEM, multilingüismo, multimodalidad y agentes; y segundo, aplicando dicha experiencia para ayudar a las empresas a transformar la IA desde una prueba de concepto hasta una inteligencia propia mediante sistemas que funcionan de forma fiable, generan un impacto cuantificable y producen resultados duraderos en el estado de resultados. **Sobre el puesto** Como analista de calidad de IA, usted evaluará una nueva función de personalización para Gemini. Evaluará hasta qué punto el modelo utiliza información obtenida de conversaciones previas con Gemini, Gmail, búsquedas en Google y actividad en YouTube para hacer sus respuestas más relevantes y útiles. Requisitos especiales * **1 año de experiencia** * **Dominio del inglés:** Capacidad para leer y escribir en inglés con un alto grado de comprensión, ya que el inglés es el idioma principal de este proyecto. * **Uso de cuenta personal:** Disposición para utilizar su cuenta personal principal de Google (no una cuenta de pruebas) y habilitar fuentes de datos personales para realizar una evaluación genuina. * **Flexibilidad horaria:** Se requiere disponibilidad a tiempo completo en su huso horario local. Estamos conformando un equipo operativo global disponible las 24 horas del día. * **Capacidad analítica excepcional:** Demostrar la capacidad de evaluar respuestas ambiguas y matizadas de inteligencia artificial, centrándose específicamente en la evaluación de la calidad de la personalización. **Responsabilidades** * Diseñar y ejecutar indicaciones conversacionales de múltiples turnos (normalmente de 1 a 5 turnos) que exijan que la IA utilice su información personal y sus experiencias. * Evaluar las respuestas del modelo según su intención expresada en la indicación inicial, verificando si la personalización se aplicó adecuadamente. * Analizar las respuestas para detectar problemas de fundamentación, asegurando que las afirmaciones sobre usted estén respaldadas por evidencia y no por inferencias erróneas ni alucinaciones. * Evaluar la calidad de la integración para garantizar que los datos personales se incorporen de forma natural en la respuesta, sin una narración excesiva o robótica. * Evaluar rigurosamente y clasificar comparativamente dos respuestas del modelo lado a lado (SxS) para determinar cuál es, en conjunto, más útil, fácil de usar y placentera. * Redactar razonamientos claros y sustentables para sus comparaciones, haciendo referencia explícita a los lugares donde ocurrieron los problemas o los aspectos positivos en la conversación. * Extraer y verificar la «información de depuración» del modelo para confirmar que los resúmenes de chat y las fuentes de datos se utilizaron correctamente. * Mantener una estricta higiene de datos eliminando las conversaciones evaluadas para evitar que contaminen su historial futuro de chats. **Habilidades y experiencia** * Título universitario (licenciatura) o experiencia equivalente en un campo relevante (por ejemplo, política, derecho, ética, lingüística, periodismo, ciencias de la computación u otro campo analítico relacionado). * Se prefiere fuertemente contar con experiencia en anotación de datos, evaluación de la calidad de la IA, moderación de contenidos o funciones similares. * Excelentes habilidades de comunicación escrita en inglés. * Capacidad de autogestión y trabajo independiente en entornos remotos. * Computadora de escritorio o portátil con una buena conexión a Internet. **Proceso de evaluación** * A los candidatos seleccionados se les enviará un formulario de interés laboral. * Se compartirá una evaluación que deberá completarse dentro de las 24 horas. * En función de los resultados de la evaluación, se contactará a los candidatos seleccionados para tratar los requisitos previos a la incorporación. **salary** $150 MXN/hr (\~$24,000 MXN/mes basado en 160 hrs) **availability** Tiempo completo (8 hrs/día), mínimo 30 hrs/semana, 4 hrs de solapamiento con el horario estándar del Pacífico (PST) **Contrato a corto plazo (2 meses)** Tipos de empleo: Tiempo completo, temporal Duración del contrato: 2 meses Remuneración: $24,000.00 por mes Preguntas de la solicitud: * ¿Tiene habilitado el uso de su cuenta personal de Google para activar fuentes de datos personales y realizar una evaluación genuina? * ¿Tiene disponibilidad a tiempo completo en su huso horario local? * ¿Tiene experiencia evaluando respuestas ambiguas y matizadas de inteligencia artificial, especialmente para evaluar la calidad de la personalización? Si es así, ¿cuántos años de experiencia tiene? * ¿Tiene experiencia extrayendo y verificando información de depuración del modelo para confirmar que los resúmenes de chat y las fuentes de datos se utilizaron correctamente? Si es así, ¿cuántos años de experiencia tiene? * ¿Tiene experiencia manteniendo una estricta higiene de datos eliminando las conversaciones de evaluación para evitar que contaminen su historial futuro de chats? Educación: * Licenciatura (obligatoria) Experiencia: * Anotación de datos, evaluación de la calidad de la IA, moderación de contenidos: 1 año (obligatorio) Idioma: * Inglés (nivel avanzado) (obligatorio) Ubicación laboral: Remota