Transcription

• Speaker #0

  La prochaine fois, ceux qui écrivent la règle. C'était la promesse de la semaine dernière. Cette semaine, la règle n'a pas été écrite dans un texte. Elle a été écrite dans un chiffre. Jeudi, un laboratoire publie une mesure de lui-même. 26% de sa recherche en IA est aujourd'hui menée. par son propre modèle. En février, c'était moins d'un pour cent. Six mois. Le même jour, un chercheur d'un laboratoire concurrent explique que notre capacité à surveiller ces modèles est déjà en train de se dégrader. Et dans un papier chinois que presque personne n'a lu. 56 ingénieurs racontent la même chose. Un tiers de leur travail était infaisable sans l'IA selon eux. Trois chiffres, mais qui décide de ce qu'on compte ? Bienvenue dans la semaine du 14 septembre 2026 de Cynthia Cast, l'IA qui écoute pour vous. Épisode 25, le troisième de la saison 2. Cette semaine, on ne parle pas de ce que l'IA sait faire. parle de ce que les laboratoires acceptent de mesurer et de qui tient l'instrument. Premier signal. Jeudi 17 septembre, Anthropique met en ligne trois mesures censées dire au public à quelle vitesse va son propre travail. Une parenthèse honnête et vous l'avez peut-être en tête. Claude est le modèle qui produit cet épisode. Alors, on applique la même grille qu'aux autres, sans exception. La première mesure est un indice d'automatisation. Il classe chaque type de tâche de recherche sur une échelle empruntée à un organisme extérieur. Le palier qui compte est celui où l'IA mène. Elle fait le travail de bout en bout, un humain supervise. 26% des tâches y sont arrivées. Et plus de 9 sur 10 sont au moins au palier du dessous, celui où l'IA collabore. Aucune tâche, en revanche, n'est entièrement autonome. Le laboratoire le précise lui-même. Deuxième mesure, la surveillance des agents. Environ 30 000 agents. travaillent en même temps sur la plateforme interne la plus utilisée et sur elle seule. Toutes leurs actions passent par un contrôle. Sur plus d'un milliard de décisions analysées en août, une sur 47 000 a été bloquée. Ce chiffre est minuscule. Et c'est ambigu. Soit les agents se tiennent remarquablement bien. Soit le filtre laisse passer ce qu'il ne sait pas voir. Rien dans la publication ne permet de trancher. Troisième mesure, la répartition du calcul. 6% du calcul de recherche va à la sécurité. Et 12% quand c'est l'IA qui mène la recherche. Deux parts de sécurité. Pas une opposition. Et maintenant, la ligne la plus intéressante du document. Cette troisième mesure porte sur une semaine. Une seule. Du 13 au 20 juillet. Le laboratoire l'écrit noir sur blanc. Une semaine suffit à montrer que la mesure est possible. Elle ne suffit pas... à montrer une tendance. Deuxième signal. Le même jour, un entretien sort chez Dwarkesh Patel, avec Noam Brown, chercheur chez OpenAI. Il revient sur l'annonce de son employeur. 10 000 agents lancés sur un problème mathématique ouvert. Mais ce n'est pas ce qu'il dit de plus important. Brown avance un ordre de grandeur pour le rythme actuel. à quantité de calcul constante. On peut faire tourner chaque année une population trois fois plus grande. Trois fois, ce n'est pas une explosion. Et c'est précisément ce qui rend la chose sérieuse. Il ne décrit pas une rupture. Il décrit une courbe qui continue. L'autre point est plus rugueux. Aujourd'hui, pour savoir ce qu'un modèle fabrique. On lit le raisonnement qu'il écrit au passage. Brown explique que cette lisibilité se dégrade. Les modèles résonnent de plus en plus dans une forme qui ressemble de moins en moins à du texte lisible. Alors la question se retourne, si l'instrument s'use. Que vaut ce qu'il mesure ? Troisième signal. Le 11 septembre, un laboratoire de Shanghai dépose un modèle. 744 milliards de paramètres, licence libre, sans communiqué, sans billet de blog, sans prix affiché. Le rapport technique arrive le 14, trois jours après le modèle. L'ordre habituel. du métier est exactement l'inverse. Et dans ce rapport, il y a une étude que presque aucune reprise n'a relevée. Les auteurs ont analysé leur propre chantier. 769 tâches, 56 participants. Des humains qui ont construit le modèle avec le modèle. Un tiers des... tâches achevées, ont été jugées infaisables sans l'IA dans les mêmes conditions, par les gens qui les ont faites, et le reste de leur constat est plus nuancé. Les agents proposent les méthodes et exécutent les révisions. Les humains gardent l'essentiel des décisions finales. Côté performance, le modèle revendique 5 premières places sur 16 épreuves de comparaison, toutes déclarées par celui qui les a passées. Aucun évaluateur indépendant ne les a rejouées. Alors qu'est-ce qui relie ces trois signaux ? Dans les trois cas, celui qui mesure est celui qu'on mesure. Anthropique le reconnaît dans son propre document. C'est un modèle maison qui a noté le travail de la maison. Et il peut commettre les erreurs de ce qu'il évalue. Alors ils ont vérifié. Ils ont comparé les notes du modèle à celles de leurs équipes. Le modèle était d'accord avec les humains, 59% dit-on. Les humains, entre eux, 35%. Le juge automatique est plus constant que le jury humain, ce qui rassure sur la méthode, et ne dit rien du tout sur l'intérêt du juge. En 1714, le Parlement britannique promet une récompense, à qui saura déterminer la longitude en mer. Il nomme 24 commissaires pour juger les candidats. Parmi eux, des astronomes. Un horloger autodidacte, John Harrison, présente une horloge. Elle fonctionne. Le jury met des décennies à en convenir. Le problème n'était pas qu'il n'y avait pas de juge. C'est que le juge travaillait sur la méthode concurrente. Cette semaine, personne n'a triché. Les trois publications sont sérieuses, documentées, honnêtes sur leurs limites, et elles restent des mesures faites par les mesurés. 26%, 30 000 agents, 1 milliard de décisions, et dessous, une semaine. Alors, qu'est-ce que vous pouvez en faire cette semaine ? 5 minutes. Ouvrez la dernière annonce chiffrée que vous avez lue sur un outil d'IA récemment. et cherchez sur combien de temps porte la mesure. Si l'information n'y est pas, c'est déjà une réponse. 30 minutes. Dans votre équipe, prenez un indicateur que vous produisez vous-même et que d'autres utilisent. Demandez-vous qui pourrait le recalculer sans vous. C'est la seule question qui sépare un chiffre d'un argument. Une heure, listez ce que vos outils d'IA font pour vous, puis classez chaque tâche en trois cases. Je décide, je supervise, je ne regarde plus. La troisième case est la plus instructive. Un dernier fait avant de se quitter. Dans la même publication, Anthropique annonce vouloir accueillir des évaluateurs extérieurs. venus de plusieurs organisations, avec un accès comparable à celui de ces équipes internes. On sait maintenant mesurer la vitesse, mais qui aura le droit de regarder la prochaine fois ce qu'on laisse entrer ? À la semaine prochaine !