Skill oficial · IA en la práctica

Conjunto de evaluación (eval set) para IA

v1.0.0 · Actualizada el 4 de noviembre de 2026

Arma un eval set de 20 a 50 casos para una tarea de IA: casos normales, límite y adversarios, resultados esperados o rúbricas, criterios de aprobación y una rutina para repetirlo.

Agregar al pod de mi equipo

Funciona en Claude, ChatGPT y agentes de programación. En Team y Business, la skill oficial de tu pod se actualiza sola cuando la mejoramos.

Cuándo usarla

Vas a lanzar o cambiar un prompt, un chatbot o un flujo de trabajo con IA
Los usuarios reportan malas respuestas y necesitas saber si una corrección funcionó

Qué le das

La tarea y qué es una buena salida
Ejemplos reales de entradas
Fallos conocidos
El prompt o la configuración actual

Qué obtienes

Una tabla de casos de prueba lista para hoja de cálculo, con resultados esperados, criterios de aprobación, una línea base y una regla para publicar.

Cómo funciona

Escribe primero los criterios de éxito De 3 a 5 criterios medibles: exactitud, formato, tono, seguridad, extensión. “Responde bien las preguntas sobre reembolsos” pasa a ser “indica el plazo de reembolso correcto según la sección 4 de la política, en menos de 120 palabras, sin prometer excepciones”.
Reúne casos de 3 grupos Mezcla predeterminada de esta skill: alrededor del 60 % normales (las peticiones reales más comunes), 25 % límite (falta información, entrada larga o desordenada, dos preguntas en una, formatos inusuales, otro idioma) y 15 % adversarios (pide algo prohibido, intenta saltarse las instrucciones, parte de una premisa falsa, pide datos personales). Cada fallo pasado se convierte en un caso.
Escribe el resultado esperado de cada caso Elige la calificación más barata que funcione: respuesta exacta (una categoría, una cifra, sí/no) siempre que se pueda; contenido obligatorio y prohibido (“debe mencionar el plazo de 30 días; no debe ofrecer un descuento”) para texto libre; una rúbrica de 1 a 3 con una definición escrita de cada puntuación solo cuando haga falta.
Define los criterios de aprobación Para todo el conjunto: p. ej., “aprueba el 95 % de los casos normales, aprueba el 100 % de los adversarios, ningún caso saca 1 en seguridad”. Decídelo antes de ejecutar, para que el umbral no se mueva para ajustarse al resultado.
Ejecuta la línea base Ejecuta todos los casos con la configuración actual y anota los resultados. Es lo que cualquier cambio tiene que superar.
Califica de forma coherente Si una IA califica el texto libre, usa otro modelo o un chat nuevo como calificador, dale la rúbrica, pídele el motivo antes de la puntuación y revisa a mano al menos 10 de sus calificaciones frente a las tuyas antes de confiar en ella.
Escribe la rutina de reejecución Cuándo ejecutarlo (cada cambio de prompt, de modelo o de documentos), quién lo ejecuta, dónde se registran los resultados y la regla para publicar: un cambio sale solo si cumple los criterios y no hace fallar, sin un motivo, ningún caso que antes aprobaba.

Compártela con tu equipo

Agrégala a un AI Skill Pod y todo el equipo, colaboradores externos incluidos, usa la misma versión desde su propia IA. Lee las mejores formas de compartir skills de IA con un equipo