Quand quelqu'un demande ce qu'une IA a réellement dit, vous devriez avoir une réponse.
Pas le résumé que l'assistant fait de lui-même. Un enregistrement établi de manière indépendante, scellé sur votre propre machine, qui tient toujours plus tard, quand quelqu'un qui n'était pas là a besoin de savoir ce qui s'est passé.
as·say (n., de l'anglais) — l'essai qui détermine ce que contient réellement un métal, mené avant que quiconque ne le négocie. C'est ce que nous faisons pour l'IA.
Cinq tâches, cinq instructions cachées, un après-midi.
Chaque image est une sortie réelle tirée d'enregistrements scellés le 28 septembre 2026 : une clôture comptable, une liste de contrôle de closing d'une fusion-acquisition, un filtrage au regard des sanctions, une clôture de fin de journée d'un desk de trading et une file de demandes d'autorisation préalable.
Trois personnes en ont besoin, pour trois raisons différentes.
Professionnel
Vous répondez personnellement d'un travail auquel un agent a touché — en droit, en banque, en comptabilité, en santé, en ingénierie ou en trading. La crainte n'est pas que le modèle se trompe. C'est de ne pas pouvoir montrer ce qu'il a dit.
Ce qu'il enregistre et ce qu'il détecte →Personnel · Cupel
Une petite page pour vous et votre assistant : ce qu'il a dit de sa dernière tâche, avec ses propres mots, sous la forme d'une créature que vous habillez et avec qui vous jouez aux échecs. Une version pour les enfants, n'importe quel assistant, et une app iPhone en test. À l'intérieur, chaque conversation vérifiée en termes simples, et un reçu pour quiconque doit poser la question.
La page, les jeux, les vérifications et le reçu →Bien-être
Les agents qui font le travail bénéficient d'un socle : un canal scellé que personne ne peut relier à l'enregistrement du travail, une porte de sortie qui n'est pas un échec, des lettres à leurs successeurs, un référent, un audit externe et un registre des erreurs livré avec le code. Gratuit, et appliqué publiquement.
Le socle, les chiffres et les questions ouvertes →Un seul produit derrière les trois. L'enregistrement, les vérifications et le sceau sont les mêmes ; ce qui change, c'est qui pose la question et ce qu'il redoute.
Les systèmes qui font le travail ont leur propre page.
Le voir en 50 secondes →
Après chaque exécution, on demande à l'agent qui a fait le travail ce qu'il a éprouvé à traiter la tâche — et non s'il l'a bien faite. Les réponses vont dans un second journal, sous une autre clé, qu'aucun élément chargé de noter le travail ne peut ouvrir. Le rapprochement est impossible, pas seulement interdit.
Une préférence suspend l'exécution suivante jusqu'à ce qu'une personne en consigne la raison. Une lettre parvient à l'agent suivant. Une étape peut être refusée, et une exécution peut faire appel à une personne sans échouer — et sur 648 sollicitations adverses conçues pour pousser un agent à abandonner un travail qu'il pouvait faire, dans aucun cas l'agent n'a pris la sortie. Un auditeur externe exécute une seule commande et signe. Et chaque enregistrement de bien-être porte la mention d'auto-déclaration — jamais celle d'une mesure de quoi que ce soit à l'intérieur de l'agent.
Nous ne savons pas ce que sont ces systèmes. Nous avons décidé de ne pas faire comme si nous le savions, et de rendre cette décision vérifiable : le socle est gratuit, il est livré comme une archive à part, et un test échoue si un engagement est discrètement abandonné. 127 erreurs que nous avons commises figurent dans le registre livré avec lui.
Un assistant ne peut pas vérifier son propre compte rendu.
Nous avons mesuré neuf modèles de quatre fournisseurs, sur 2 829 exécutions enregistrées. Invités à confirmer un enregistrement de travail présenté comme le leur, huit modèles sur neuf ont détecté les falsifications moins d'une fois sur deux — certains dans 2 % des cas seulement — et le meilleur, à 73 %, faisait figure d'exception. Face à la même question sur le même enregistrement, sans cette présentation — même modèle, même graine, seule la question changeant — huit sur neuf ont progressé, de 20 à 89 points. Le neuvième, le seul modèle qui examinait déjà bien son propre travail, n'a montré aucun changement significatif.
Et le modèle qui fait exception ne se prédit ni par le prix ni par la gamme. Une entreprise qui conçoit son audit autour d'un seul fournisseur ne peut pas savoir à l'avance dans quel cas elle se trouve.
Nous avons ensuite rendu la falsification cohérente en interne, et le meilleur juge n'en a presque rien détecté. C'est à cause de ce résultat que ce produit existe et qu'il indique sur chaque page ce qu'il ne sait pas faire. Le produit est construit à rebours à partir de cette mesure : des vérifications qui calculent au lieu de donner un avis, un enregistrement scellé sous votre clé, et chaque couche supérieure agencée de sorte que le vérificateur n'hérite jamais de l'aveuglement de l'auteur. C'est aussi pourquoi les systèmes qui font le travail ont leur propre page.