01 Ce qui s’est passé

Microsoft a présenté l'Industry Evaluation Data Generation Platform, un système d'environnements synthétiques pour tester Copilot à grande échelle sans aucune donnée client, réduisant la création de jeux d'évaluation de plusieurs jours à des exécutions automatisées.

02 Les points essentiels

  • Microsoft a construit l'Industry Evaluation Data Generation Platform avec des environnements d'entreprise entièrement synthétiques basés sur des données publiques (O*NET, offres d'emploi, dépôts SEC) – aucune donnée client utilisée.
  • La plateforme repose sur trois piliers : environnements synthétiques, génération automatisée de requêtes et cadres qualité structurés pour une évaluation réaliste.
  • L'automatisation réduit la création de jeux d'évaluation de jours à des exécutions automatisées ; Microsoft estime une économie de 100 000 dollars par jeu et 300 000 dollars au total.
  • Trois environnements sectoriels (pharma, marchés financiers, IT) ont été créés ; l'indice de qualité composite a augmenté de 39 %, dans certains environnements dépassant 0,9 sur 1,0.

03 Pourquoi c’est important

L'évaluation de l'IA d'entreprise se heurte traditionnellement à des problèmes de confidentialité et de travail manuel ; l'approche de Microsoft permet des tests reproductibles et respectueux de la vie privée à grande échelle, avec une économie estimée à 300 000 dollars.

04 Pour qui c’est utile

Développeurs d'interfaces vocales, développeurs d'applications de service, spécialistes de la sécurité de l’information, développeurs de produits IA et directeurs des opérations.

Source originale
Microsoft Research