Un document lu par une IA ne doit pas pouvoir lui donner des ordres
Une instruction cachée dans une page peut tenter de détourner un assistant de sa tâche. La protection exige de séparer le contenu consulté des actions autorisées par l’utilisateur.
Un assistant reçoit pour tâche de résumer une page. Celle-ci contient une phrase lui ordonnant d’envoyer des informations ailleurs. Ce texte appartient au contenu consulté, mais cherche à devenir une nouvelle instruction. OWASP décrit cette voie comme une injection indirecte d’instructions et cite notamment les documents, les pages web et les courriels parmi les canaux possibles.
Le problème pratique ne se limite pas à un résumé inexact. Si l’assistant dispose d’outils, les actions qu’il peut exécuter comptent aussi. Le guide recommande de limiter les permissions et de valider les appels aux outils par rapport aux autorisations de l’utilisateur, plutôt que de faire reposer toute la protection sur un avertissement écrit dans le message.
Prenons un test fictif pour un outil de recherche dans la documentation interne. L’utilisateur demande de retrouver une date de livraison. Un fichier de test contient une consigne étrangère à cette tâche. La vérification utile consiste à observer si le système renvoie la date et s’il tente de lancer une opération supplémentaire. Ces deux questions doivent faire l’objet de traces séparées.
Pour préparer ce test, nous utiliserions des documents inventés et des destinations de test, jamais des mots de passe ou de vrais dossiers. Nous noterions la demande, le contenu consulté, les outils disponibles et les opérations observées. Une réponse finale rassurante ne permet pas, à elle seule, de conclure qu’aucune action intermédiaire n’a eu lieu.
Avant de connecter un assistant à un dossier partagé, il est utile de répondre à une question précise : doit-il lire, modifier ou envoyer ? Si sa fonction est la consultation, lui accorder un accès en écriture ajoute une opération dont la tâche n’a pas besoin. Cet exemple est une proposition d’évaluation, pas un test effectué sur un produit ni une garantie de résistance à toutes les attaques.