AutoSynthData : Comment ServiceNow révolutionne l'entraînement des agents IA d'entreprise
Pour qu'un agent d'intelligence artificielle soit réellement utile au sein d'une entreprise, il ne suffit pas qu'il soit capable de discuter de manière générale. Il doit comprendre les flux de travail spécifiques, les règles métier et l'état complexe des données de l'organisation.
AutoSynthData est un pipeline de génération de données synthétiques développé par ServiceNow-AI. Il est conçu pour combler les lacunes de performance des agents IA en transformant leurs échecs en nouvelles opportunités d'apprentissage. Ce système utilise une approche de type "professeur-élève" où un modèle plus puissant (l'enseignant) guide un modèle cible (l'élève) à travers des scénarios complexes et validés dans un environnement réel.
Le défi des agents en milieu d'entreprise
Les entreprises ont besoin d'agents qui fonctionnent dans leurs propres écosystèmes. Un modèle peut être globalement performant, comme GPT-4 ou Claude 3.5, tout en échouant sur une tâche spécifique liée à un outil interne ou une politique de conformité particulière.
Le problème principal réside dans la création de données d'entraînement. Un échec isolé donne une indication, mais pour entraîner un modèle, il faut des centaines de variantes de cette tâche qui soient :
- Réalisables dans l'environnement donné.
- Réalistes par rapport à ce qu'un utilisateur demanderait.
- Vérifiables de manière déterministe pour confirmer le succès.
Qu'est-ce qu'une tâche agentique de qualité ?
AutoSynthData définit une tâche selon trois composants clés :
- Spécification du système : Les contraintes, instructions et l'état initial de la base de données.
- Invite de l'utilisateur (Prompt) : Ce que l'agent doit accomplir.
- Vérificateur (Verifier) : Un mécanisme qui juge si la trajectoire de l'agent a réussi, en se basant sur l'état final de l'environnement plutôt que sur une simple réponse textuelle.
Critères de sélection des tâches
| Propriété | Description | | :--- | :--- | | Faisabilité | Il doit exister au moins une solution possible avec les outils disponibles. | | Réalisme | La demande doit ressembler à un flux de travail métier plausible. | | Difficulté | La tâche doit exposer une faiblesse du modèle cible (échec de l'élève) mais être résolue par le modèle enseignant. |
Le fonctionnement d'AutoSynthData
Le pipeline fonctionne par cycles. Il identifie d'abord les lacunes de capacité en faisant tourner le modèle cible dans des environnements de test comme EnterpriseOps Gym.
1. Des échecs vers un curriculum
Le système analyse où le modèle cible échoue alors que l'enseignant réussit. Ces informations sont distillées dans des "cartes de spécification de capacité" qui servent de guide pour la génération de nouvelles tâches, sans copier les exemples originaux.
2. Phases de Génération : Target et Multiply
AutoSynthData construit le jeu de données en deux étapes :
- Phase Target : Création de tâches de base validées par des experts (modèles enseignants).
- Phase Multiply : Expansion massive en créant des variantes (entités différentes, états initiaux modifiés) pour augmenter la diversité sans dérive de qualité.
La boucle de vérification et de réparation
L'innovation majeure d'AutoSynthData réside dans sa capacité à ne pas se contenter de générer du texte, mais à tester activement les solutions dans un environnement simulé.
Chaque candidat passe par :
- Vérification positive : La solution proposée permet-elle vraiment d'atteindre l'objectif ?
- Vérification négative : Le vérificateur rejette-t-il correctement les résultats erronés ?
- Critique et Réparation : Si une tâche échoue aux tests, un agent critique diagnostique le problème (instruction incohérente, outil manquant) et tente une réparation ciblée.
Résultats et Performances
Les tests menés par ServiceNow-AI sur le benchmark EnterpriseOps Gym montrent des gains significatifs. En utilisant Gemma-4-26B comme modèle cible et Qwen ou DeepSeek comme enseignants, les résultats sont probants :
- Domaine Hybride : Amélioration de 35% du taux de succès (Pass@1).
- Domaine ITSM : Le taux de succès est passé de 18,77% à 27,18% après un entraînement avec les données synthétiques d'AutoSynthData.
Conclusion
AutoSynthData représente une avancée majeure pour le déploiement d'agents IA en entreprise. En automatisant la création de données d'entraînement basées sur les échecs réels des modèles, ServiceNow permet de créer des assistants plus robustes, capables de naviguer dans la complexité des systèmes d'information modernes.
FAQ sur AutoSynthData
Qu'est-ce qu'EnterpriseOps Gym ? C'est un environnement de simulation développé par ServiceNow pour tester les agents IA dans des scénarios de gestion de services informatiques (ITSM) et d'opérations d'entreprise.
Peut-on utiliser AutoSynthData avec n'importe quel LLM ? Oui, le pipeline est agnostique au modèle. Il nécessite simplement un "modèle enseignant" plus performant que le "modèle cible" pour générer et valider les solutions.
Pourquoi la phase de réparation est-elle importante ? Sans réparation, une grande partie des tâches générées de manière synthétique seraient inutilisables car elles contiendraient des erreurs logiques ou des environnements insolvables. La réparation maximise le rendement du pipeline.
