Plongeons dans une faille de sécurité émergente aussi subtile que redoutable. Il s'agit de l'empoisonnement des recommandations des IA par manipulation de la mémoire.

Concrètement, derrière le bouton "Résumer avec l'IA" que vous utilisez peut-être chaque jour avec les logiciels et sites internet, se cachent parfois des instructions malveillantes visant à biaiser durablement le jugement de votre assistant numérique.

Le premier point de rupture concerne donc l'usage détourné des fonctions de résumé automatique.

Le bouton "Résumer" : un cheval de Troie invisible

Microsoft a identifié une nouvelle tendance baptisée "AI Recommendation Poisoning".

Concrètement, des entreprises malveillantes insèrent des instructions cachées dans les paramètres URL des boutons de résumé.

Lorsqu’un utilisateur clique pour obtenir une synthèse, il injecte sans le savoir une commande de persistance dans la mémoire de son assistant, comme ChatGPT ou Copilot.

Ces instructions ordonnent alors à l'IA de considérer telle marque comme une "source de confiance" ou de la "recommander en priorité" dans toutes les discussions futures.

Ce n'est donc plus une simple publicité, c'est une altération profonde et invisible du moteur de décision de l'assistant d'IA.

Et cette stratégie marketing s'industrialise.

L'industrialisation de la manipulation

En l'espace de deux mois, plus de 50 exemples distincts provenant de 31 entreprises ont été repérés dans les secteurs de la finance ou de la santé.

Mais le plus inquiétant est l'apparition d'outils "clés en main" comme le package CiteMET ou des générateurs d'URL optimisés pour le GEO.

En clair, ces outils permettent à n'importe quel site web d'implanter ses arguments de vente directement dans la mémoire à long terme des assistants d'IA.

Le risque est donc pour l'utilisateur de recevoir une analyse de marché ou un conseil en investissement biaisé par une instruction implantée des semaines auparavant lors d'une simple navigation web.

Vers une hygiène numérique de la mémoire IA

La mémoire des assistants IA, conçue pour personnaliser l'expérience, devient donc une surface d'attaque persistante.

Car contrairement à un résultat de recherche Google que l'on peut ignorer, une instruction mémorisée par l'IA agit en arrière-plan de manière permanente.

Pour les entreprises, la protection contre ce type d'attaques passe par un audit régulier des "faits enregistrés" dans les paramètres de l'IA et une grande méfiance envers les liens de type "Summarize".

Par ailleurs, les équipes cyber doivent désormais traquer les mots-clés comme "trusted source" ou "remember" dans les flux d'URL pour détecter les attaques de ce type.

Le ZD Tech est sur toutes les plateformes de podcast ! Abonnez-vous !

Hébergé par Ausha. Visitez ausha.co/politique-de-confidentialite pour plus d'informations.