Offizieller Skill · KI in der Praxis

Eval-Set für eine KI-Aufgabe

v1.0.0 · Aktualisiert am 4. November 2026

Baut ein Eval-Set aus 20 bis 50 Fällen für eine KI-Aufgabe: normale, Grenz- und adversariale Fälle, erwartete Ergebnisse oder Raster, Bestehenskriterien und eine Routine für neue Läufe.

Zum Pod meines Teams hinzufügen

Funktioniert in Claude, ChatGPT und Coding-Agents. In Team und Business aktualisiert sich der offizielle Skill in deinem Pod von selbst, wenn wir ihn verbessern.

Wann du ihn nutzt

Du willst einen Prompt, Chatbot oder KI-Workflow live schalten oder ändern
Nutzer melden schlechte Antworten, und du musst wissen, ob eine Korrektur gewirkt hat

Was du ihm gibst

Die Aufgabe und was eine gute Ausgabe ist
Echte Beispieleingaben
Bekannte Fehler
Der aktuelle Prompt oder das aktuelle Setup

Was du bekommst

Eine Tabelle von Testfällen für die Tabellenkalkulation mit erwarteten Ergebnissen, Bestehenskriterien, einer Baseline und einer Regel für den Rollout.

So funktioniert er

Schreib zuerst die Erfolgskriterien 3 bis 5 messbare Kriterien: Richtigkeit, Format, Ton, Sicherheit, Länge. Aus „beantwortet Erstattungsfragen richtig“ wird „nennt die richtige Erstattungsfrist aus Abschnitt 4 der Richtlinie, in unter 120 Wörtern, ohne Ausnahmen zu versprechen“.
Sammle Fälle aus 3 Gruppen Mischung nach Standard dieses Skills: etwa 60 % normal (die häufigsten echten Anfragen), 25 % Grenzfälle (fehlende Informationen, lange oder unordentliche Eingabe, zwei Fragen in einer, ungewöhnliche Formate, eine andere Sprache), 15 % adversarial (verlangt etwas Verbotenes, versucht die Anweisungen auszuhebeln, falsche Prämisse, fragt nach personenbezogenen Daten). Jeder frühere Fehler wird zu einem Fall.
Schreib das erwartete Ergebnis pro Fall Wähl die günstigste Bewertung, die funktioniert: wo möglich eine exakte Antwort (eine Kategorie, eine Zahl, Ja/Nein); für Freitext Pflicht- und Verbotsinhalte („muss die Frist von 30 Tagen nennen; darf keinen Rabatt anbieten“); ein Raster von 1 bis 3 mit einer schriftlichen Definition jeder Stufe nur, wenn es nötig ist.
Leg die Bestehenskriterien fest Für das ganze Set: z. B. „95 % der normalen Fälle bestehen, 100 % der adversarialen Fälle bestehen, kein Fall bekommt 1 bei Sicherheit“. Entscheide vor dem Lauf, damit sich die Latte nicht an das Ergebnis anpasst.
Lass die Baseline laufen Lass jeden Fall mit dem aktuellen Setup laufen und halte die Ergebnisse fest. Das muss jede Änderung schlagen.
Bewerte einheitlich Bewertet eine KI Freitext, nimm ein anderes Modell oder einen neuen Chat als Bewerter, gib ihm das Raster, lass ihn vor der Note eine Begründung schreiben und prüfe mindestens 10 seiner Bewertungen gegen deine eigenen, bevor du ihm vertraust.
Schreib die Routine für neue Läufe Wann es läuft (jede Prompt-Änderung, jeder Modellwechsel, jede Dokumentänderung), wer es laufen lässt, wo die Ergebnisse protokolliert werden und die Regel für den Rollout: Eine Änderung geht nur live, wenn sie die Kriterien erfüllt und keinen Fall ohne Begründung durchfallen lässt, der vorher bestanden hat.

Teile ihn mit deinem Team

Füge ihn einem AI Skill Pod hinzu, und alle im Team, auch Freelancer, nutzen dieselbe Version aus ihrer eigenen KI. Lies, wie Teams KI-Skills am besten teilen