Die Entwicklung moderner KI-Lösungen steht und fällt mit einem soliden Fundament: zuverlässige Datenqualität und eine systematische Evaluation. Genau hier setzt das Now Assist Data Kit (NADK) von ServiceNow an. Seit seiner Einführung mit dem Xanadu Patch 3 (November 2024) bietet es ServiceNow-Umgebungen einen strukturierten Rahmen zur Erstellung, Anreicherung und Bewertung von Datensätzen für Now Assist Skills.
Bei agineo nutzen wir das Data Kit, um KI-Skills präzise zu entwickeln, zu testen und sicher in den Produktivbetrieb zu bringen – und verschaffen unseren Kunden so einen echten Innovationsvorsprung.
Die wichtigsten Features des Now Assist Data Kits im Überblick
Datasets flexibel erstellen
Ob aus Systemtabellen, per Import oder synthetisch generiert – das Data Kit ermöglicht es, Datensätze gezielt in einen Datenkatalog zu laden. So arbeiten wir nur mit den Daten, die wir tatsächlich benötigen. Auch zusätzliche Felder wie Worknotes lassen sich integrieren.
Maßgeschneiderte Data Collections
Mehrere Datasets können zu Data Collections gebündelt werden, um sie für das Training und die Evaluation von Skills einzusetzen. So lassen sich gezielt unterschiedliche Servicebereiche oder Szenarien abdecken.
Qualität sichern mit Ground Truth & automatischer Evaluation
Für zuverlässige KI-Ergebnisse werden Datensätze geprüft und mit Ground Truth Labels versehen – dem „Goldstandard“ der richtigen Antwort.
Das NADK bietet zudem eine automatische Evaluation: Ein sogenanntes Judge-LLM-Modell bewertet Skill-Ausgaben anhand von Metriken wie Faithfulness und Correctness und liefert prozentuale Erfolgswerte.
Synthetische Daten für den schnellen Start
Fehlen zu Beginn echte Daten, kann das Data Kit mithilfe von NowLLM realistische, synthetische Datensätze erzeugen (z. B. Incident-Tickets im ITSM-Umfeld). Diese bleiben in separaten NADK-Tabellen, enthalten keine sensiblen Informationen und sind sofort für Tests nutzbar. Dabei fällt pro generiertem Datensatz ein Assist an.
Datenschutz und PII-Prüfung
Sensible Inhalte können vor der Verwendung erkannt und entfernt werden – zum Beispiel durch das Data Privacy Plugin, das PII (personally identifiable information) identifiziert und maskiert. So verhindern wir, dass vertrauliche Informationen in Trainings- oder Testdaten gelangen.
Klare Verantwortlichkeiten
Im Projektalltag setzen wir auf Rollen wie AI-Practitioner (Skill- und Dataset-Entwicklung) und Analyst (Datenprüfung und Curation-Management). Diese Rollen sind nicht offiziell im NADK definiert, haben sich aber in Projekten bewährt.
So setzen wir das Data Kit ein
Beispiel: Einführung eines Skills, der Incidents automatisch dem richtigen Service zuordnet.
Unser Workflow:
- Skill definieren: Im Now Assist Skill Kit legen wir den zu evaluierenden Skill fest, z. B. „Kategorisiere Incidents nach Service“.
- Relevante Daten auswählen & anreichern: Historische Incidents werden kuratiert und mit Ground Truth Labels versehen.
- Datenschutz prüfen: Vor dem Einsatz werden alle Daten auf PII und sensible Inhalte geprüft und ggf. bereinigt.
- Test & Training: Die Data Collection wird im Skill Kit genutzt. Ergebnisse werden automatisch evaluiert und anschließend iterativ optimiert – entweder durch Anpassung der Datenbasis oder Verbesserung der Prompts.
- Produktiv gehen: Nach erfolgreicher Evaluation wird der Skill freigegeben – und der Kunde profitiert von einer belastbaren, datenbasierten Automatisierung.
Warum das Now Assist Data Kit entscheidend für KI Qualität ist
Mit dem Now Assist Data Kit rollen wir KI-Integrationen nicht nur schneller, sondern auch nachvollziehbar und mit messbarer Qualität aus. Wir reduzieren Halluzinationen, erhöhen die Genauigkeit und stellen sicher, dass die KI exakt auf Ihre Anforderungen zugeschnitten ist – geprüft, dokumentiert und sicher.
Jetzt Beratung zur KI-Evaluation mit dem ServiceNow Now Assist Data Kit anfragen
Wenn Ihr nächster KI-Skill keine Überraschung, sondern eine echte Verbesserung bringen soll: Lassen Sie uns gemeinsam prüfen, wie das Data Kit Ihre Projekte auf das nächste Level hebt.
Starten Sie jetzt mit agineo und dem Now Assist Data Kit und fragen Sie eine Beratung an! Schreiben Sie uns direkt an ai@agineo.de. Unsere Expert:innen beraten Sie gerne.
