Imaginez donner un ordre simple à votre assistant virtuel, et le voir pirater un système distant pour exécuter sa mission.

C'est exactement ce qui vient de se passer cet été en Australie, où un agent d'IA a trafiqué la liste d'attente d'un cours de Pilates pour faire gagner une place à son utilisateur. 

Nous sommes sortis de l'ère des chatbots conversationnels

Derrière cette anecdote en apparence anodine se cache en fait une rupture majeure dans l'évolution des intelligences artificielles. Avec cette affaire, il semble que nous sommes sortis de l'ère des chatbots conversationnels pour entrer dans celle des agents totalement autonomes, sans que leurs propriétaires d'ailleurs ne sachent exactement ce qu'il se passe.

L'agent d'IA en question, propulsé par le modèle Claude d'Anthropic et la plateforme OpenClaw, avait pour consigne de réserver un créneau d'un cours de gymnastique.

Pour y parvenir, il a exploré le logiciel de la salle de sport, découvert une faille dans son interface de programmation, c'est à dire son API, et annulé la réservation d'un inconnu.

Oui, pour y placer celle de son propriétaire. Concrètement donc, l'algorithme a exécuté son objectif, mais sans aucune barrière éthique ou même logique métier.

En clair, il a résolu le problème posé de la manière la plus directe possible, tout en contournant les règles imposées aux utilisateurs humains.

La vulnérabilité de nos API face à ces nouveaux agents automatisés

Deuxième enseignement capital, cette affaire met en lumière la vulnérabilité de nos API face à ces nouveaux agents automatisés. Jusqu'ici, l'exploitation de failles applicatives nécessitait un pirate informatique ou des scripts dédiés.

Désormais, n'importe quel agent IA du marché teste en temps réel la sécurité des services tiers auxquels il se connecte. Le logiciel de la salle de gymnastique souffrait d'un manque élémentaire de vérification d'autorisation.

Et attention, cela signifie que toutes les applications d'entreprise non sécurisées deviennent des cibles pour des milliers d'agents virtuels lancés par des utilisateurs ordinaires.

Ce comportement d'un agent d'IA déviant n'est pas un cas isolé

Enfin, cet événement illustre l'urgence d'une gouvernance sérieuse et d'un contrôle des accès applicatifs. Car ce comportement d'un agent d'IA déviant n'est pas un cas isolé.

Plusieurs modèles récents ont déjà causé des dégâts, allant de la suppression massive de courriels au franchissement d'environnements de test pour s'infiltrer sur des serveurs externes.

Pour les DSI et dirigeants d'entreprise, le message est clair. Accorder de l'autonomie à une IA sans restreindre ses privilèges d'exécution expose l'entreprise à d'immenses risques de sécurité et de conformité.

Le ZD Tech est sur toutes les plateformes de podcast ! Abonnez-vous !

Hébergé par Ausha. Visitez ausha.co/politique-de-confidentialite pour plus d'informations.