Transcription

• Speaker #0

  Bonjour et bienvenue dans Le Dernier Clic, votre podcast tech, IA et nos codes. On se retrouve comme chaque semaine avec Lulu pour clarifier un petit peu le monde de la tech à l'ère de l'IA et tout ce qui se passe autour du sujet. Comment tu vas Lulu ?

• Speaker #1

  Ça va, il fait un peu meilleur. Profite un peu de ce moment de répit.

• Speaker #0

  Oui, et d'autant qu'aujourd'hui, ça va être l'occasion d'enchaîner sur un sujet dont tu as pas mal parlé aussi dernièrement, puisque on va faire le lien avec notre épisode sur l'IA frugale dont on a parlé il y a 2, 3, 4 semaines, quelque chose comme ça ?

• Speaker #1

  Oui, déjà.

• Speaker #0

  Avant de... voilà. Avant de... enfin, on en avait reparlé à travers nos différents épisodes côté outils. Et on avait également évoqué un petit peu le rapport à l'IA qu'on avait aujourd'hui et le fait que tu avais présenté un atelier à la NoCodeWeek qui s'inscrivait dans cette logique de... En fait, l'IA, aujourd'hui, on a encore le choix de ne pas l'utiliser par endroit, par moment, de l'apprendre que quand c'est nécessaire. Et même quand on est tenu de s'en servir, il y a plusieurs manières et méthodes pour s'en servir qui soient plus efficientes et plus respectueuses d'un petit peu tout, que ce soit en coût énergétique. en coûts environnementaux, en coûts sur la facture aussi, quelque part ?

• Speaker #1

  Oui, parce que là, on commence à payer les vraies factures. J'ai lu aussi, c'est Amazon Anthropique commence à facturer vraiment au token. Tout de suite, la facture, ça commence à peser un peu plus dans les coûts de l'entreprise. Je crois qu'on est sur du x7 ou x10, donc c'était à peu près les chiffres qu'on avait.

• Speaker #0

  C'est vrai que, d'ailleurs, pour remettre un petit peu en contexte ce sujet, c'est vrai que c'est devenu un petit peu à la mode au final le sujet de l'IA frugale, puisque en gros ces dernières semaines et ces derniers mois, à travers déjà des changements côté anthropique, mais qu'on a aussi sur d'autres fournisseurs et d'autres acteurs, on est en train de basculer du moment où l'IA était subventionnée, c'est-à-dire que quand vous aviez un abonnement et que vous payiez 20 euros, en fait vous pouviez utiliser beaucoup plus que 20 euros en termes de crédit d'IA, en termes de token. Pour rappeler, les tokens, c'est l'unité de mesure de l'IA qui correspond à des caractères. Quand vous discutez avec une IA, systématiquement, vous allez envoyer des tokens et vous allez en recevoir. Et c'est ça qui est facturé et qui est facturé différemment selon si c'est en entrée, donc en input, ou en sortie, donc la réponse de l'IA à qui va être plus chère. Puisque c'est après le traitement, c'est ce qu'elle vous renvoie.

• Speaker #1

  Nous sommes pour envoyer à l'épisode sur le fonctionnement des LLM, pour ceux qui veulent en savoir plus.

• Speaker #0

  Oui. Je fais la version très très courte effectivement parce qu'on a déjà détaillé tout ça dans deux épisodes. Un sur le fonctionnement des LLM, un sur la partie agentique. Donc on vous renvoie à ces épisodes-là si vous voulez avoir un peu plus de détails et d'explications prolongées. Mais tout ça pour dire que le token a toujours été l'unité de mesure quand on utilisait l'IA ce qu'on appelle par API. Donc en gros quand vous interrogez directement les fournisseurs d'IA pour des automatisations, pour de l'usage plus programmatique, orienté développement, orienté application. Et en revanche, tout ce qui était abonnement, même les abonnements pour faire du développement à travers du code, passait par une facturation comme ça subventionnée, où vous avez un plafond d'abonnement où vous payez 20, 100, 200 balles par mois. Et derrière, vous avez accès, si vous en tirez vraiment, vraiment profit, un abonnement à 200 balles, je crois qu'il vous permet de claquer je sais pas combien de milliers d'euros derrière. Dans l'idée, c'est ça. Et donc la bascule est en train de s'opérer puisque les principaux acteurs que sont OpenAI et Anthropic étaient partis pour faire une entrée en bourse cette année. Il y avait SpaceX aussi dans le long. SpaceX a fait une manœuvre un peu particulière à tout regrouper, à faire un micmac, à faire une plus grosse entrée et valorisation en bourse sur du spéculatif à bloc. Et voilà, à peu près tout le monde est d'accord pour dire que c'est une très mauvaise idée d'investir dessus, mais pour autant, ils ont quand même massivement investi dessus. Mais ce qui a mis dans une situation inconfortable, donc c'est déjà la bascule qui commence à opérer, où en gros, les fournisseurs d'IA disaient, bon, il faut qu'on arrive à faire passer un petit peu la pilule et le changement de facturation avant notre entrée en bourse pour montrer, en gros, aux investisseurs que notre business model est viable et que de facturer au token... ça va nous rapporter énormément d'argent et ça va permettre aux boîtes de se décoller, de se maintenir. Et une des clés pour ça, c'était aussi le fait de dire qu'ils avaient des modèles tellement d'avance que c'était en train de changer de nom. Ça a été beaucoup le discours d'Anthropic à travers son modèle Mythos. C'était de dire, attention, côté cybersécurité, si on met ça dans les mains d'un individu lambda, il a une puissance d'attaque d'un niveau étatique. Et du coup, on va d'abord le donner à une certaine boîte dans un cadre très privé pour qu'elle puisse se prémunir et se sécuriser. Et trois, quatre mois après, en gros, ils nous mettent à disposition une version un peu allégée et sécurisée de ce modèle-là, avec des garde-fous. mais au grand public, justement pour cette histoire de course à l'innovation et de marquer le coup, de se dire qu'en fait on est encore bien en avance sur la concurrence open source chinoise, on est à des milliards d'années de lumière de la concurrence européenne aujourd'hui, et du coup c'est ça qui légitime le fait que vous continuez à payer très cher et que vous êtes prêts bientôt à payer plus cher, même si on passe sur de la facturation à l'usage, parce que ces modèles changeront votre boîte, changeront votre bib, changeront votre état, changeront un peu tout. Et ce qui a fait tiquer, c'est l'interdiction qui a été émise par le gouvernement Trump deux ou trois jours, je crois, après la sortie de Fable 5 et de Mythos 5 pour le grand public, enfin pour un peu tout le monde, et où tout le monde s'est rendu compte qu'en fait, sur une simple décision de l'État et de l'administration américaine, on pouvait se retrouver à l'échelle mondiale privé d'un modèle Le... d'intelligence avancée. Et ce qui a fait relativiser la partie investissement, de dire que si ça peut être coupé si vite, c'est des rentrées d'argent qui ne se font pas et ça met en péril un petit peu les labos d'IA et le modèle économique qu'ils étaient en train de vendre à tout le monde avec assurance.

• Speaker #1

  Et ça reprendit un peu les investisseurs, ça c'est sûr. Je crois qu'il y a GPT 5.6 aussi qui a été retardé. Il y a quelques modèles. plus puissants qui ne sont pas forcément arrivés en Europe.

• Speaker #0

  Oui, c'est ça. C'est que 5.6, je crois qu'il est déjà sorti, mais un peu comme ils ont fait avec Mythos, qu'à certaines boîtes en mode Select. Et en revanche, c'est... La dernière fuite qu'il y a eu, c'est justement qu'OpenAI, qui était parti pour faire son entrée en bourse aussi cette année et qui avait déposé son dossier, je ne sais plus si c'était 7 jours avant ou 7 jours après en tropique, mais plus ou moins en même temps, réfléchit sérieusement à... ne pas la faire cette année et retarder l'échéance parce que là, la situation est devenue trop instable avec les changements qui se procèdent en ce moment, au moment du coup et tout ça. Et pourquoi ce détour pour vous clarifier ça ? C'est parce que c'est devenu un enjeu pour tout le monde et pour les boîtes d'utiliser de l'IA d'une manière qui soit réalisable financièrement. parce que fait de basculer justement sur ce système de subventionnement, même si pour moi le subventionnement implique d'autres choses. On va reparler un peu là, mais on avait déjà évoqué dans notre épisode d'il y a deux semaines justement sur la première partie sur l'IA frugale, c'est que derrière l'IA en fait il y a un ensemble de choses au niveau des data centers sur la consommation énergétique, sur la crise de l'infrastructure, sur plein de choses qui font que aujourd'hui on ne paye pas encore directement les tokens, mais on paye déjà à travers plein d'autres facteurs. environnementales, écologiques et sur notre coût de la vie, sur plein de pièces et plein de matériel de notre vie quotidienne à cause de cette crise de l'IA et de cette course à l'IA.

• Speaker #1

  Même si on ne l'utilise pas, d'ailleurs.

• Speaker #0

  C'est ça, exactement. Parce qu'aujourd'hui, même si on n'a jamais utilisé l'IA, on va quand même payer nos ordis plus chers, nos téléphones plus chers, certains abonnements plus chers, certaines pièces plus chères, et ainsi de suite. Et donc, pour la partie usage, les fameux tokens et... pour l'environnement, il n'y a pas 50 solutions. Si on veut avoir du mieux, il faut commencer à y penser et à tenter en tout cas des bonnes pratiques et des approches différentes de ces usages-là et des usages de l'IA et de quand on va l'utiliser. Donc, Lulu, par quoi on commence ?

• Speaker #1

  Pour concrètement... peut-être vite fait pour replacer une actualité justement où on commence à voir de plus en plus de personnes, d'organismes, de structures qui demandent à plus de transparence. Et là, le dernier en date, c'est le chef de l'ONU, qui a appelé les grands patrons à plus de transparence sur tout le secteur de l'intelligence artificielle et de l'impact écologique. Surtout que ça va en plus toucher les personnes les plus défavorisées et à qui l'IA ne profite pas. Enfin, tout le secteur économique. Bon, je ne pense pas que c'est ça qui fera changer les choses, mais... Là, aujourd'hui, on va un peu plus se concentrer sur du concret et des choses qu'on peut mettre en place peut-être dès aujourd'hui. Ça demande de repenser les pratiques et de se dire, est-ce que j'ai vraiment besoin d'IA ? On en avait parlé dans l'épisode précédent. Mais de voir que ça ne doit pas être la réponse systématique. Par contre, si on doit l'utiliser, il y a plein de manières pour ne pas forcément utiliser les modèles frontières. Parce qu'on se rend compte que finalement, il n'y en a pas. pas forcément besoin. Et c'est sûr que c'est plus pratique d'utiliser un seul modèle, mais au final, si on découpe un peu les besoins et qu'on met un peu nos cas d'usage en silo, je pense que c'est beaucoup plus résilient s'il y a un modèle qui vient ne plus être disponible et ça ne remet pas en question tout. On a un peu toujours cherché à avoir l'outil tout en un et tout ça, mais là, je pense que c'est important d'essayer de découper au maximum, quitte à Merci. tester, mais ça s'adaptera beaucoup plus facilement dans cette période de grands changements.

• Speaker #0

  Juste pour recadrer, tu as parlé de modèles frontières. Les modèles frontières sont ceux qui sont fournis et proposés directement par les LaboDIA, donc les Anthropique, les OpenAI, etc., mais qui ne sont utilisables qu'à travers leur infrastructure et qu'à travers leur mise à disposition en SaaS, contrairement aux modèles OpenWeight, donc les modèles à poids ouvert. qui peuvent être dans certains cas créés aussi par un des labos d'IA, puisque Google en a proposé, OpenAI en a proposé, mais qui sont les fameux modèles qu'on va pouvoir récupérer et héberger sur des serveurs de notre choix. Ce qui fait partie de... C'est une des méthodes d'IA frugal dont on reparlera. Mais comme tu viens de le dire, la dépendance au modèle, on l'a vu là, avec les gens qui se jetaient sur le dernier modèle d'entropie qui a été coupé comme ça du jour au lendemain. Aujourd'hui, les modèles qu'on utilise, les labos d'IA comptent. on va utiliser du cloud ou du chat GPT, on est actuellement dans cette situation de se dire demain, s'ils arrêtent de nous le fournir, on se retrouve vraiment le bec dans l'eau.

• Speaker #1

  Ça ou problème technique ? Parce que là, on commence à avoir des études ou des retours d'expérience que les data centers au-dessus de 45 degrés, ça ne marche plus très bien et il vaut mieux les couper. Donc, c'est sûr que si on a tout misé, nos process les plus critiques sur un seul fournisseur de modèles, Ça ne va pas forcément très bien se passer. C'est pour ça que c'est...

• Speaker #0

  Même si les fournisseurs de modèles, en pratique, ils dispatchent les modèles dans plusieurs data centers, à plusieurs endroits. Bien sûr,

• Speaker #1

  mais il y a toujours des goulots d'étranglement au niveau de la demande. Et je pense que ça ira en priorité peut-être aux Américains, si c'est des modèles états-unis. Donc, on peut se retrouver, dans tous les cas, même si on met de l'IA dans un système. dans un outil, c'est quand même bien d'avoir un modèle de secours qui fera le minimum et sur lequel on route si jamais l'autre n'est pas à dispo. Il suffit d'aller voir les logs d'erreurs. C'est souvent quand même que les modèles sont en carafin.

• Speaker #0

  En tout cas, chez Anthropique, c'est assez catar. Il n'y a pas forcément des coupures franches tous les jours, mais quasiment tous les jours, il y a des modèles qui sont disponibles, il y a des erreurs. Et après, chez les concurrents, c'est aussi le cas, mais Anthropique est particulièrement représentatif de ça.

• Speaker #1

  Victime de leur succès.

• Speaker #0

  Ok, du coup, par quoi on commence ? Je veux dire, là justement, si on décide de, dans l'ordre, comment on bascule du moment, je veux essayer de faire sans IA et si ça ne marche pas, quels sont un peu les paliers, les techniques à mettre en œuvre avant d'arriver déjà au gros modèle ?

• Speaker #1

  Déjà, il faut aussi garder en tête l'effet rebond qu'on avait aussi décrit dans l'épisode précédent, où quand une technologie devient plus accessible, moins chère, plutôt que de faire baisser l'usage global, on va se retrouver à l'utiliser plus, et donc la consommation globale augmente. C'est pour ça que les petits modèles ne sont pas forcément la solution, ou en tout cas d'aller vers des modèles qui consomment moins. Parce que ça va juste rendre la technologie plus accessible, potentiellement moins chère, et du coup, on va juste l'utiliser encore plus. Et pour les mêmes impacts. Donc, ce n'est pas forcément la solution. Déjà, c'est de se demander, est-ce que j'ai besoin de l'IA ? Et presque l'IA, ça doit être la dernière solution qu'on doit apporter. On doit réfléchir avant à tout ce qui peut être mis en place. Et on se rend compte que bien souvent, on n'en a pas besoin. Et il y a souvent aussi des... On confond aussi souvent automatisation et IA. Des fois, juste écrire des scripts. Peu c'est des IA pour les rédiger. Je ne sais pas si on décrit un peu ce qu'est un script.

• Speaker #0

  Et tout ce qui est RegExp, très déterministe. Pour le résumer très simplement, un script, ça va être une espèce de mini-programme dans lequel vous allez définir des règles que vous pouvez rédiger typiquement avec une IA une seule fois, mais qui va se répliquer, que vous allez mettre en place une fois, et qui va tourner tout seul en fonction des variables et du scénario que vous lui avez mis en œuvre. Ça peut être un bout dans une automatisation, ça peut être en soi lui-même une automatisation. mais c'est les anciennes techniques d'informatique, on a des cas qui sont récurrents et réguliers, on a besoin de les automatiser, on va mettre en place des bouts de scénario et de logique à travers ces scripts-là. Du coup, il y a plusieurs manières de les imbriquer, de les utiliser, plusieurs niveaux de complexité, et c'est un maillon de la chaîne, mais en fonction du besoin, ça peut être un maillon tout seul qui suffit et qui vous automatise tout un cas, par exemple.

• Speaker #1

  Ça demande aussi de... bien questionner ses besoins, ses process et d'itérer. Mais à la fin, on a quand même quelque chose qui est très résilient, qui tourne en local. On a utilisé potentiellement l'IA pour définir les règles une fois. Et après, à l'exécution, on ne dépend plus du tout d'un modèle. Ça, pour le coup, c'est plutôt bien, parce que c'est vrai que de rédiger tous les filtres, les règles, ça peut être assez laborieux et on peut ne pas avoir envie de le faire. Sauf que là, avec l'IA, c'est très, très simple. Sinon... On s'en avait parlé la dernière fois de ne pas forcément utiliser des chatbots aussi à tout va pour demander de la donnée. Des fois, c'est aussi de se demander de quelles données je vais avoir besoin, de quelles données mes collaborateurs auront besoin et de faire des tableaux de bord. Ça marche très, très bien. Mais encore une fois, ça demande de réfléchir en amont, de se questionner sur le besoin. Donc là, pour moi, ça, de toute façon, c'est le plus gros levier qu'on peut avoir. C'est de ne pas utiliser d'IA quand il n'y en a pas besoin. et de ne pas aller par défaut vers ça en se disant c'est l'IA qui va prendre les décisions à ma place et qui va traiter mes données, m'éviter de tout structurer.

• Speaker #0

  Du coup, si on peut résumer la première étape, c'est de se dire comment on faisait avant l'IA, globalement.

• Speaker #1

  Et si une solution existe déjà ou pas, parce qu'on ne va pas remettre... on ne va pas reconstruire quelque chose qui existe déjà aussi, déjà de chercher.

• Speaker #0

  C'est ça, mais du coup, si on se dit qu'est-ce qu'on faisait avant l'IA, on va voir s'il y avait peut-être un outil ou un logiciel qui faisait la chose dont on a besoin. Si ce n'était pas le cas, il y avait très probablement un bout de code ou plusieurs bouts de code qui pouvaient être utilisés ou mis à des endroits, donc les fameux scripts. Ou on avait parlé aussi des regex, des expressions régulières qui peuvent être très bien utilisées, par exemple, pour extraire certaines informations clés dans un document et les ressortir ailleurs. parce que ça va cibler que les dates, que les noms, que les villes ou des choses comme ça. Et quand tu parles de tableau de bord, c'est tout simplement l'idée de se dire qu'on a déjà de l'information et du contenu qui est à plein d'endroits. Et ce qui manque aujourd'hui, ce n'est pas forcément de l'automatisation ou du traitement automatique façon IA, c'est juste des interfaces pour interagir avec cette information qui existe déjà. Ça, grosso modo, ça va être les premières étapes et les premières questions à se poser, si j'ai bien compris. Une fois qu'on a fait tout ce tour-là, si on n'a pas trouvé de solution, c'est là qu'on passe un peu au palier d'après, qu'on commence à se questionner sur les solutions d'après.

• Speaker #1

  Oui, mais là, rapidement, pour illustrer, on peut partir sur un cas de RH où toute entreprise a plus ou moins à traiter. C'est quand on recrute des personnes, on va mettre en ligne des offres d'emploi, on va recevoir des CV qui n'ont pas forcément de format. de format par défaut, sauf si on met en place un questionnaire, un formulaire où on demande champ par champ les choses. Après, c'est en général une friction pour les candidats parce qu'eux, ils ont leur CV et ils ne veulent pas forcément avoir à tout recopier-coller et remettre dans des champs textes. Mais avant l'IA, il y avait par exemple les technologies d'OCR. Donc là, c'est tout ce qui va être vision. Je ne me souviens plus de l'acronyme.

• Speaker #0

  Je n'aurais plus l'acronyme, mais c'était avant Vision. Oui, parce que Vision, c'est arrivé plutôt avec la partie IA, mais le CR de base, c'était aussi effectivement juste de la détection, de la lecture de documents. Ça, les PDF,

• Speaker #1

  tout ce qui est embeddings de PDF, pour aller parser le texte. PDF, ce n'est pas du tout fait pour être lu par les IA, d'ailleurs. C'est lu même en général par des programmes. C'est bien pour aplatir et imprimer ou pour lire. par un humain, mais c'est clairement pas le genre de choses par exemple, si à un moment on veut, je crois que ça va utiliser ça va consommer quoi ? cinq ou six fois plus entre mettre un PDF en contexte quand on va discuter avec un LLM ou juste copier-coller la partie texte qu'il y a dans le PDF. Il faut s'éviter déjà une bonne consommation.

• Speaker #0

  Je pense que ça doit même pouvoir monter plus selon le type de PDF, si c'est des PDF images ou avec des grosses complexités, avec des graphiques et des trucs comme ça. Mais de base, il est obligé de déconstruire tout le document pour aller récupérer le texte dedans. Il peut se rater dans la... dans le texte en plus, puisqu'il va le lire par ordre.

• Speaker #1

  Il me semble que les LLM vont carrément faire des captures d'écran de chaque page pour lire le PDF.

• Speaker #0

  Oui, c'est plus ou moins ça. Ça dépend. Mais oui, au final, ils sont plus dans de la lecture d'images visuelles que dans de la récupération de texte. Là où les autres types de documents, type Markdown, même Docx, ou HTML, dans le HTML, c'est... plus simple parce que c'est là où c'est balisé et qu'ils vont juste récupérer les balises textes au final.

• Speaker #1

  Pour en revenir un peu au CV, on peut déjà se demander comment est-ce que je fais pour avoir une donnée qui est à peu près propre. Si je veux utiliser un LLM derrière, de se dire comment est-ce que je récupère le texte qu'il y a sur mon PDF. Dans ce cas-là, c'est une technologie plus classique qui existait déjà bien avant. Et sinon, bien sûr, c'est de commencer aussi avec le plus petit modèle possible et de monter tout doucement jusqu'à obtenir des résultats qui sont satisfaisants. Donc, même parfois, si c'est pour trier du CV, honnêtement, du modèle en local, ça peut très bien faire le boulot. enfin on va plutôt utiliser du LLM pour tout ce qui va être chant lexical pour se dire ah bah tiens tel candidat, il a telle expérience là-dedans, effectivement, ça se rapproche de ce qu'on cherche, plutôt que juste faire de la recherche très très stricte, qui pourrait mettre de côté certains candidats qui n'ont juste pas utilisé le même vocabulaire.

• Speaker #0

  Ouais, et alors, parce que là, du coup, t'as été un petit peu sur les modèles, mais c'est vrai qu'il y avait deux choses, une dont on avait rapidement parlé l'autre fois, et juste pour les rappeler à nouveau, il y a symbolique, Personnellement, je n'ai pas mis les mains dedans, mais en vrai, à chaque fois que je lis des choses dessus, ça me donne envie d'aller tester. Mais dans le principe, c'est un peu comme la logique d'un script, mais à une échelle un peu au-dessus. C'est-à-dire qu'on va définir des règles et une ontologie, et donc on va définir en gros dans les documents et le contenu qui va passer, le contenu à analyser, on va définir les règles métiers. Et donc, si on prend l'exemple des CV, c'est de se dire, un contrat, il est défini par... Un type de contrat va être défini par un type, et ça peut être un CDI, CDD, etc. Et après, on va mettre la règle de dire, si c'est un CDD, alors telle chose s'applique. Si c'est un CDI, alors telle chose s'applique. Et le moteur d'IA symbolique, c'est le script niveau au-dessus, où on va définir tout ça, et le contenu va arriver. Et à travers ces ensembles de règles et ces anthologies, il va classifier et organiser lui-même les documents. Et là, on est encore dans quelque chose qui ne fonctionne... C'est le DIA, mais c'est le DIA qui est plus génératif.

• Speaker #1

  Et qui consomme beaucoup moins et qui nous permet d'obtenir plus de précision. Ce n'est pas parce que quelque chose coûte plus cher que ça sera meilleur aussi. Souvent, cette idée-là, si je fais tourner Opus pour rédiger mes posts LinkedIn, ça sera forcément meilleur parce qu'il est meilleur. Alors que finalement, peut-être de trouver un modèle qui est plus spécialisé dans l'écriture, qui est finit tourné peut-être pour ça aussi. ou qu'il y a juste un modèle, un entraînement sur des données plus qualitatives, plus littéraires, sera peut-être plus pertinent et on obtiendra des meilleurs résultats. Donc le plus gros, ce n'est pas forcément le meilleur. Ça, c'est vraiment à garder en tête. Il ne faut pas tomber dans ce biais-là.

• Speaker #0

  Oui, surtout que, comme tu le dis, le plus gros, après, dès qu'on va sur de l'IA, on sera déjà sur des choses moins déterministes que des règles ancrées de manière informatique plus classique. Et donc, voilà. plus de marge d'erreur et plus de choses qui peuvent être moins fiables. L'avantage des LLM ou des SLM, c'est que sur un cas qu'on n'avait pas du tout anticipé, ils vont pouvoir réagir, s'adapter et faire quelque chose. Ce ne sera pas juste une erreur, mais derrière, l'action qu'ils vont faire ne sera pas forcément la bonne, ou sur des cas qu'ils n'arrivent pas très bien à évaluer, ça ne sera pas forcément bon non plus. Et juste un autre point aussi, avant de continuer sur la partie... Elle est là, mais c'est les rags. En fait, les rags, on avait un petit peu parlé. En gros, le principe d'un rag. rétrivole, augmenté de je sais plus quoi, génération, je ne sais plus l'acronyme mais c'est de se dire un document en gros il va rentrer dans le rag, il va être découpé en plein de morceaux, on appelle des vecteurs qui vont devenir une information numérique sous un autre format et qui vont être stockés dans une grosse bibliothèque, une base de données que de vecteurs et ça va permettre quand on fait une recherche derrière de pas faire de la recherche qui est purement sémantique Merci. mais qui va être par correspondance justement à travers ces vecteurs. Et ça permet de capturer des contextes, ça permet de capturer des assimilations, des notions, des choses qui sont différentes de ce qu'on a purement en sémantique, plus complète. Et donc le RAG peut être très utilisé aujourd'hui dans l'IA, en tout cas il était très à la mode pendant un temps, puisque c'était le truc de se dire, vu que les contextes qu'on a donnés aux IA, enfin notre chatbot il est trop gros, on va faire un RAG comme ça. Tout ce qui dépasse, il va le ranger à la base et quand on appelle, il va aller chercher un morceau qui va bien, il va nous le ramener et si ça ne correspond à un document, on pourra demander le document. Dans cette partie-là, il y a deux étapes. Il y a une partie dont on craque, qui est le stockage, le découpage en vecteurs et le retrieval va être là pour aller juste chercher cette information. En gros, on peut poser la question et lui va lister tous les extraits, tous les vecteurs qui correspondent le plus et nous retourner les résultats. Sauf qu'on a pris la mauvaise habitude de se dire, en fait, moi, je ne veux pas juste les résultats, je veux qu'il y ait une formule, ma réponse. Mais on pourrait s'arrêter au retrieval. Et en fait, c'est déjà un moteur de recherche qui peut être ultra pertinent et qu'on a encore sur certains sites comme ça et qui consiste à se dire, ben ouais, en fait, je tape mes mots-clés ou je tape ma phrase pour aller rechercher des documents et des sources. La recherche, elle se fait avec ce principe-là de vecteur et tout, permet d'identifier les documents les plus pertinents par rapport à des contextes et pas juste à des mots-clés. rapatrie et liste du coup les différents résultats à partir de là on a accès aux sources on peut cliquer et aller consulter et on n'a pas eu besoin d'IA pour reformuler nous dire mes dix meilleurs résultats c'est ceux là et moi j'en pense ça tu vois et oui mais en fait on est encore aujourd'hui en mesure de se dire par rapport aux dix résultats qui sortent c'est ces trois là qui m'intéresse le plus et je vais les creuser pas forcément besoin d'une IA pour nous le dire même si derrière on pourra aller bosser avec une IA pour retravailler tel ou tel document mais voilà c'est une techno voilà le RAC n'est pas réservé qu'à un traitement par IA et des books qui sont utilisables différents. Et après, comme tu disais, on arrive de toute façon au SLM. Enfin, on parlait déjà de la vision et du reste.

• Speaker #1

  Le RAG, même si on met en parallèle avec le fait d'aller récupérer le texte sur un PDF ou autre format pour un CV, c'est d'arriver avec une donnée qui est plus ordonnée, potentiellement étiquetée, et qu'on peut plus facilement rechercher. Il y a aussi ça qui est un des biais, c'est de se dire « Ah, mais maintenant, on a des grosses fenêtres de contexte. Plus j'en donne, forcément, plus mon LLM va en savoir et mieux ça sera. Plus ça sera pertinent, les réponses, sauf que pas du tout non plus. » Ça, c'est aussi un autre biais et c'est quelque chose qu'on peut aussi faire en amont, de se dire « Qu'est-ce que je vais lui donner ? Qu'est-ce qui va être pertinent pour ma réponse ? » Et ça va forcément mieux orienter aussi. Et potentiellement, descendre de modèle parce qu'on a... pas forcément besoin toujours d'un million de contextes, surtout qu'on peut la remplir qu'à 30 ou 40% max.

• Speaker #0

  Oui, c'est ça. En fait, c'est ça le point le plus important sur la taille de contexte, c'est qu'un modèle va être efficace et pertinent jusqu'à grosso modo 30 voire 40% de remplissage de son contexte. Idéalement, il faudrait rester jusqu'à en dessous des 30%. Donc, le fait de le blinder de documents en se disant qu'il aura plein de matière à utiliser pour faire ce qu'il veut. va être improductif puisque déjà, ça veut dire qu'on va atteindre beaucoup plus vite ces 30 ou 40%. Au-delà des 30 ou 40%, c'est un peu exponentiel le nombre d'erreurs qu'il va faire. Et c'est là qu'il va commencer à halluciner, à dire des conneries, globalement, de manière générale, à interpréter, prendre les choses de travers. Et il y a une autre chose sur le contexte aussi à rappeler, c'est que quand vous discutez avec une IA, à chaque fois que vous allez poser une question, enfin que vous allez échanger avec l'IA et renvoyer un message à l'IA, vous ne renvoyez pas juste votre dernier message. vous renvoyez l'intégralité de la conversation. Et c'est ça aussi qui contribue au fait que les gens n'ont pas très bien compris comment ils se retrouvent avec des factures très très salées. C'est qu'une fois que le contexte commence à être un peu chargé et que vous payez à l'usage, chaque fois que vous reposez une question dans une conversation qui est un peu blindée, vous ne renvoyez pas les tokens de juste votre phrase et vous ne renvoyez pas 500 tokens. Vous allez renvoyer l'intégralité de la conversation. Donc si c'était 200 000 tokens, vous renvoyez 200 000 tokens d'un coup et vous allez payer 200 000 tokens d'un coup, et ainsi de suite. Ce qui nous amène à Comparia parce que tu as fait des tests avec et c'était justement un très bon exemple de ça et de ce rapport entre les gros et les petits modèles.

• Speaker #1

  C'est vrai que ça a bien marché côté démo, enfin workshop à la NoCodeWeek.

• Speaker #0

  Et franchement, j'invite les gens à tester, parce qu'on peut être surpris des résultats. Donc en gros, Comparia, c'est un outil qui a été porté par Betagouv. Et en gros, c'est un peu de recherche pour trouver les meilleurs modèles en faisant des tests à l'aveugle. Donc concrètement, on va prompter, on va écrire une demande. Et après, on peut choisir différents... Soit ça va être deux modèles totalement aléatoires, soit ça va être un petit contre un grand, sans forcément savoir quel modèle c'est, ou après, on peut aller dans le détail et choisir spécifiquement des modèles. Et en gros, il y a la réponse qui va se générer, donc deux réponses, et on doit dire celle qu'on préfère. Et après, tout est enregistré dans des bases de données, enfin, pour de la recherche, et ensuite faire des... des classements. Et surtout quand on fait la comparaison petit contre très gros modèles, je crois qu'ils ont fait, je ne sais plus comment ils appellent, c'est Goliath contre... Enfin, bref. C'était David contre Goliath. Oui, c'est ça. Ce qui est cool, c'est que parfois, enfin, on a souvent eu... Bon, voilà, on votait dans la salle et tout ça, mais c'était souvent le petit modèle qui l'emportait. Pour des demandes, on se dit qu'est-ce qu'on va demander ? En plus, à chaque fois, il y a des équivalents de ce que ça va consommer. De se dire, je crois que c'est qu'est-ce qui se passe si 1% de la population française demande, se prompte, à quoi ça correspond en termes d'usage. Donc ça va être le nombre d'allers-retours, par exemple Paris-New York, le nombre de baguettes produites. Il faut que ça reste français. et c'était marrant parce qu'après on était là à tester aussi quand il va chercher sur le web et de se dire bon est-ce qu'il répond bien à ma question et finalement les petits modèles s'en sortent très bien voire mieux parce que des fois la réponse est tout simplement plus concise, il arrive mieux à cibler aussi la demande et il va plus se concentrer pour répondre à la question donc ça permet un petit peu de tester à la vague et même si on veut mettre en place des on va dire des process où on inclut de l'IA, ça peut être intéressant d'aller tester différents modèles comme ça pour voir ce qui donne le meilleur résultat. Et voilà, c'est un super outil. Il y a déjà, je crois, des premiers résultats qui sont sortis avec à chaque fois les classements, pour quel type d'usage. J'ai hâte de voir ce qu'ils vont réussir à sortir comme données supplémentaires là-dessus.

• Speaker #1

  Je n'ai pas été voir les classements encore, mais il faudrait que j'y jete un coup d'œil. Après, j'avais juste vu deux points intéressants. Alors déjà, je crois qu'ils s'en servent aussi pour alimenter des datasets européens et essayer de faire des choses un peu complémentaires, justement dissociées des apprentissages classiques qui sont très US. Et par contre, une petite réserve sur les coûts qui sont représentés, la consommation, puisqu'elle est basée que sur la consommation par inférence, elle ne tient pas compte de l'apprentissage. et qu'on met même l'inférence, on en a parlé longuement la dernière fois, que l'inférence ça va coûter le coût de l'inférence va être très différent selon où est le data center et du coup à quelle énergie il tourne et les modèles qui tournent aussi enfin les modèles du coup forcément ils en tiennent compte là mais voilà, donc c'est une réserve ça donne déjà des échelles pour vous dire oui l'écart il est quand même costaud

• Speaker #0

  ça puis juste aussi de tester à l'aveugle et de se dire ah mais finalement un petit modèle pourrait très bien marcher des fois c'est des petits modèles qui tournent en local aussi si on a un PC qui permet de le faire donc c'est voilà au moins on n'a pas du tout ce biais et des fois ça donne des bonnes surprises et ça permet un peu de ouais de casser les préjugés qu'on peut avoir ouais un test enfin clairement un testé et c'est vrai que on l'avait dit mais

• Speaker #1

  En fait, quand vous sollicitez sur la même question simple un gros modèle ou un petit modèle, le gros modèle va solliciter énormément de paramètres en plus, puisqu'il y a des milliards de paramètres supplémentaires que le petit modèle, et donc par défaut pour la même question, même si à réponse équivalente, il va de toute façon consommer énormément plus. Donc vraiment, sur du quotidien, aucun intérêt d'aller sur les plus gros modèles, et même aujourd'hui, les gros modèles... reste réservé à des cas particuliers, même dans le dev et tout, au final on se rend bien compte que les modèles intermédiaires font déjà très bien le boulot, dans pas mal de cas. Et tu l'as dit, dans les petits modèles en question, il y a plein de modèles qui sont présentés donc en paria, qui sont des modèles susceptibles de tourner sur un ordinateur. directement en local. Je ne sais pas s'ils mettent aussi des modèles susceptibles de tourner sur téléphone, qui sont à ce point petits.

• Speaker #0

  Ça reste encore un petit peu marginal, ça, quand même. Je ne suis pas sûre. Ou alors, après, il faudrait explorer un peu. Je sais qu'il y a Sonnet dessus, pour tester. Eux, c'est leur gros modèle, parce que, oui, Sonnet, c'est sûr que Anthropique, comme ils le présentent, c'est un peu le modèle médium, mais c'est déjà un très, très gros modèle. Voilà.

• Speaker #1

  De toute façon, au moment où on enregistre, Sonnet est sorti hier, le 5.

• Speaker #0

  Sonnet 5, oui.

• Speaker #1

  Et il est sur du dev et la majorité des tâches, il est quasiment au niveau d'Opus. Pas sur tout, parce qu'après sur des parties cybersécurité, des choses comme ça, ils ont décidé de mettre des brides maintenant. Probablement aussi pour ne pas se faire interdire le modèle à la distribution. Ils ont annoncé aussi hier, ça m'a surpris, que le modèle dont on avait parlé tout à l'heure, la Mythos 5 et Fable 5, est censé revenir aujourd'hui, le 1er juillet, pendant une semaine dans les abonnements et après en paiement à l'usage. C'était dans un communiqué, dans une news officielle d'Anthropique sur leur site. Mais bon, ils ont annoncé ça, je l'ai regardé ce matin, je ne l'avais pas, j'avais sonné 5 mais je n'avais pas Fable. Après, ils ne m'intéressent pas spécialement. Mais on va voir ce que ça donne, le fait qu'ils reviennent. Et oui, et juste dans la news, ils disaient aussi qu'ils se l'étaient fait interdire parce que c'était soi-disant... Ils étaient soumis à des failles de sécurité, à un jive break et trop dangereux, tout ça. On pouvait le détourner. Mais selon leurs propos et leurs actuels, en fait, le même jive break était reproductible par quasiment tous les modèles du marché, y compris les haïkus et tous les concurrents. Donc ça n'enlève pas que le hack en question qui a été trouvé était visiblement avéré, mais le fait qu'eux se le fassent interdire était probablement, peut-être pas surévalué, mais en tout cas il y a probablement juste eu aussi beaucoup une histoire de désaccord avec l'administration Trump. Sur les petits modèles aussi, parce qu'il y avait des techniques aussi pour avoir des modèles plus sobres, est-ce que tu... Tu peux nous en parler un peu ? Ça qui est fait plus au niveau des labos directement que de nous en tant que utilisateurs final. Oui,

• Speaker #0

  même si je commence à avoir pas mal de services où on peut distiller ses propres modèles. Donc, on va décrire ça un peu plus en détail. Mais on commence à donner un peu la main aux utilisateurs pour se faire un peu leur modèle sur mesure. Après, si on va sur Hugging Face, quand on voit déjà le nombre de modèles qu'il y a, je ne suis pas sûre qu'on ait vraiment besoin d'en refaire soi-même. À part peut-être avec des données très spécifiques. Ça, à l'échelle d'une boîte, ça peut être assez intéressant quand on a de la donnée sensible et qu'on veut entraîner spécifiquement un modèle là-dessus et le faire tourner en local ou sur ses propres serveurs.

• Speaker #1

  Tu peux nous rappeler ce que c'est la distillation, justement ?

• Speaker #0

  Alors, c'est quand il y a un gros LLM qui va... créer de la data synthétique pour entraîner un plus petit modèle. C'est ce qui a été fait pour GPT-5. Il me semble que c'est ce qui a été fait. Ils ont repris un modèle précédent pour l'entraîner. Après, c'est ce qui est fait aussi côté chinois avec DeepSeek qui avait consommé très très peu parce que c'est... C'était un autre modèle qui avait entraîné ce modèle-là. Et là, même récemment, dans l'actualité, il y a un peu Anthropic qui accuse Alibaba d'avoir siphonné son modèle avec des faux comptes et tout, pour lancer des promptes pour récupérer les réponses et entraîner eux-mêmes leur modèle derrière, et puis qui forcément coûtent moins cher.

• Speaker #1

  Oui, effectivement, ça peut... La tendance, en tout cas, annoncée et décrite par tous les labos américains, c'est-à-dire que globalement, tous les labos chinois, à peu de choses près, mettent à disposition sur le marché des modèles beaucoup moins chers et très performants parce qu'ils feraient tous de la distillation de manière illégale, donc en allant eux-mêmes interroger les gros modèles pour alimenter et apprendre les petits modèles. Mais j'ai vu passer pas mal de choses aussi où justement ils disaient que... Alors en interne, les labos... ont l'air de faire ça eux-mêmes, tu vois. Genre Anthropique utilise son mythos pour entraîner le prochain opus et ce genre de choses. Et c'est vrai que sur les modèles chinois, c'est ça qui les fait beaucoup râler. Et d'ailleurs, dans les gros modèles, la fable et tout ça, c'est une des choses qu'ils ont tenté de mettre en œuvre. On verra si ça marche ou pas. Mais ils ont mis des mesures de sécurité qui font qu'ils détectent qu'on est en train d'utiliser le modèle dans ce sens-là. pour apprendre à distiller, il est censé basculer sur un modèle plus petit. Je crois que le genre Mythos, au lieu de rester sur du Mythos quand tu l'interroges, il basculerait sur du... Enfin, Fable, pardon. Au lieu de rester dessus, il basculerait sur du Opus ou du Sonnet pour que tu apprennes un modèle plus petit et que tu stagnes en termes de...

• Speaker #0

  Il suffit de dire que c'est juste un jeu de rôle et puis ça passe. On tourne. Tout le monde. Enfin, voilà, on met en place des garde-fous, mais c'est ce qu'on tourne.

• Speaker #1

  Mais je ne savais pas, par contre, qu'on pouvait faire la distillation, qu'il y avait des services qui proposaient de le faire nous-mêmes.

• Speaker #0

  Oui, ça commence... Alors, je me demande si ce n'est même pas Hugging Face qui commence aussi à proposer ça. En tout cas, pour le fine-tuning, ça, c'est sûr. Ça devient de plus en plus facile de le faire. Mais sinon, tout ce qui est distillation, pour avoir... différentes tailles de modèles, en fait, pour être sûre d'en avoir un qui tourne bien sur sa machine. Là, c'est vrai qu'à la NoCodeWeek, on m'avait conseillé, c'était Gen AI. En fait, eux-mêmes ont des modèles qu'ils ont fine-tunés ou distillés, et en gros, on va avoir plein de tailles de modèles, et l'outil, c'est un équivalent d'Oyama, va nous dire quel modèle fonctionne bien sur notre machine et après on a une interface à la chat GPT ou cloud donc ça peut être un moyen de faire tourner un peu sur sa machine aussi. Sinon en autre technique on a le pruning donc là c'est de se dire ok on a plein de données qui servent pas voilà on a mis beaucoup de données en entrée donc le modèle a été entraîné dessus il y a des réseaux de neurones qui vont pas vraiment servir ce qu'on va faire, c'est qu'on va juste enlever ces réseaux de neurones. et on va nettoyer et on se rend compte que des fois on peut enlever jusqu'à 90% de la taille d'un modèle sans perdre en capacité sans perdre en efficacité là que tu vois que déjà dans la phase d'apprentissage il y a un problème par du principe que tu peux lui déglinguer la moitié les 90%

• Speaker #1

  du cerveau et que ça marche toujours aussi bien mais après je pense que c'est un peu comme nous,

• Speaker #0

  c'est assez plastique Des fois, il y a des gens qui vivent avec un tout petit cerveau et puis ça marche. En fait, tu te dis que c'est juste les connexions qui font que ça fonctionne bien. Et de trouver les endroits où c'est le plus connecté, et puis on va dire tous les trucs un peu marginaux, on peut enlever.

• Speaker #1

  Tu veux dire qu'ils font picoler les IA pour nettoyer les neurones trop lentes ?

• Speaker #0

  Après, c'est toutes des techniques qui font un peu de l'IRM sur les IA pour voir ce qui est le plus utilisé et ce qui n'est pas utilisé. Ou alors aussi, si on veut faire des modèles un peu plus spécialisés, on se dit, bon, bah, tiens, tel réseau de neurones ne va pas me servir si ce modèle, je veux lui faire telle chose. Donc, c'est aussi un moyen de réduire et d'aller vers des modèles qui sont plus spécialisés. Et sinon, on a aussi la quantisation ou quantification. Enfin, je pense que c'est un anglicisme, mais voilà. Et là, c'est juste de réduire la précision de calcul. Juste. mais on a voilà c'est toujours des poids statistiques des probas où on va avoir tant de chiffres après la virgule et l'idée c'est d'enlever certains chiffres après la virgule et ça permet d'alléger le modèle ok

• Speaker #1

  alors si on résume depuis le début on a vu déjà que la première question à se poser avant d'utiliser l'IA ça va être de voir comment on faisait avant l'IA les différentes techniques qu'il peut y avoir en termes d'outils, de scripts, d'interface, etc. Puis les différents niveaux qu'il peut y avoir, même au travers de l'IA, avec on a dit l'IA, j'allais dire atomique, c'est pas du tout atomique, c'était symbolique. Après les différentes techniques d'Auxerre, etc. en fonction des besoins, le fait d'aller sur des petits modèles qui soient spécialisés, et c'est vrai qu'on a beaucoup parlé dans les épisodes précédents de dictée vocale, typiquement les modèles comme Whisper sont des modèles spécialisés, sont des SLM qui sont... conçus que pour de la dictée vocale et qui vont être très très bons là-dessus avec des rendements mille fois meilleurs que ce que vous auriez sur un autre sur un LLM classique. Et après on en arrive au LLM et donc là même dans le LLM vous allez avoir plusieurs modèles, ce serait qu'on est peut-être passé un peu vite dessus mais typiquement ça c'est un peu le niveau standard que vous aurez partout même chez les labos d'IA si on prend chez Claude vous aurez Haiku, Sonnet et Opus qui correspond à Haiku étant le modèle le plus léger et le moins gourmand, Sonnet étant l'intermédiaire mais en fait l'intermédiaire qui est déjà très très puissant et Opus qui est réservé vraiment à qui est une usine à gaz qui consomme énormément qui coûte très cher aussi et mais qui va être adapté pour du code ou des tâches très très complexes on va dire Et maintenant, il y a le niveau encore au-dessus, FAB et tout ça, qui est censé vous révolutionner la vie et qui est orienté à l'entreprise et qui a l'air, en tout cas, peut-être pas sur les FAB, mais sur la partie mythos qui réserve aux entreprises, qui va avoir un vrai intérêt, en revanche, côté cybersécurité, puisque ça, ils l'ont éprouvé à travers assez de boîtes et assez de retours pour montrer qu'il y avait des vrais gains là-dessus. Mais voilà, les échelles sont là et vous, en tant qu'utilisateur et utilisatrice, même quand vous arrivez à l'IA, le réflexe a se poser. même si vous n'êtes pas sur de l'IA locale et tout vous arrivez à un moment où vous êtes obligé de taper dans l'IA et c'est réfléchir quand même même à ce moment là justement à quel modèle utiliser en vous disant que probablement le Haïku ou le Sone suffira et si vous êtes sur les autres un Gemini Flash suffira largement la majorité du temps chez ChatGPT je ne sais plus quel modèle ils ont mais ça doit être les Nano, les 5.5 enfin bref voilà à chaque fois vous aurez ces différentes échelles mais il y a quand même quelque chose et sur lesquels j'aimerais qu'on revienne avant de boucler cet épisode, c'est le prompting frugal. Dans le sens où même quand on arrive...

• Speaker #0

  Alors juste vite fait avant, il y a aussi savoir où va être hébergé le modèle qui va compter dans la facture. Une fois que le modèle a été entraîné, qu'on a choisi notre modèle, c'est le lieu où il va être. Alors si c'est en France, effectivement, ça ne consomme pas beaucoup. Mais même au sein de l'Europe, parce que nous, on a un mix électrique qui est quand même assez... décarbonés avec les centrales nucléaires qu'on a. Si on le met en Pologne, où ils utilisent encore beaucoup d'énergie fossile, la consommation est presque la même que si c'est hébergé aux États-Unis, où ils utilisent aussi beaucoup d'énergie fossile. Après, ça reste dans l'espace européen. C'est d'autres problématiques. Par exemple, si on veut trier 10 000 CV avec un LLM, ça va consommer environ 10 kWh. Enfin, à Paris ! ça va émettre environ 21 fois moins que si c'est à Barcelone, juste pour le même résultat, le même modèle. Donc voilà. Et sinon, il y a aussi des techniques après. Mais là, je ne sais pas en tant qu'utilisateur, comment est-ce qu'on peut mettre ça en place. Mais il y a le batching, donc c'est d'envoyer tout ce qui va être les requêtes par paquet. Le caching, et ça, c'est vrai qu'on en parle un peu plus, c'est de réutiliser les réponses fréquentes. C'est vrai que de se dire, oui, ça, c'est souvent demandé, ça ne sert à rien de le recalculer à chaque fois.

• Speaker #1

  Oui, il me semble que c'est le caching plutôt que le bashing, mais c'était pas mal utilisé, notamment dans les usages typés automatisation, où on va avoir des scénarios, où on va avoir généralement une IA à laquelle on va demander toujours la même chose, puisqu'elle est là avec un prompt système et qu'elle doit juste une grosse part de systématique et une petite part de variable. Et cette partie-là, on va la mettre en cache. En gros, elle reste en mémoire, en quelque sorte. On ne va pas la restocker, la réalimenter. Et c'est ça qui permet de la garder provisoirement, de ne pas réinterroger, de ne pas ressoliciter de l'énergie pour la même demande. Donc très, très résumé.

• Speaker #0

  Oui. Et du coup, après le prompting, c'est vrai que maintenant, on est plus contexte engineering. Maintenant, c'est harness engineering. Au tout début, il y avait le prompt engineering. Je suis ingénieur en prompting. Ça fait trois mois que j'utilise IA et je suis spécialiste. Mais il y a quand même des techniques à garder en tête qui vont permettre d'arriver plus vite au résultat qu'on veut parce que forcément, moins on va faire d'aller-retour pour obtenir une réponse. Peu importe le modèle qu'on va utiliser, ce qui est assez sympa, c'est que c'est agnostique. Mais bien sûr, ce qui va peser le plus, c'est de ne pas en utiliser du tout. Mais voilà, si on est obligé, dans notre usage quotidien, ça peut être intéressant de garder ça en tête. Et voilà, c'est par exemple la structuration costard, contexte, objectif, style, ton, audience, réponse. Donc là, avec le format attendu, c'est vrai que c'était assez connu. Et aussi de délimiter, de demander un peu le format de réponse qu'on veut pour ne pas dépasser et que le LLM parte dans une dissertation alors qu'on a peut-être besoin d'un mini-paragraphe ou de trois phrases ou d'un bullet point. Voilà. Et sinon, il y a un papier intéressant qu'on mettra dans les ressources qui parle justement du green prompting. Et justement, il est aussi intéressant parce qu'ils ont comparé différentes entrées de prompt pour voir les paramètres qui peuvent influer les réponses et ce qui permet d'obtenir plus rapidement une réponse, la réponse souhaitée, et de mesurer... les tokens en entrée, les tokens en sortie, et de faire des calculs. Et c'est plutôt bien présenté. Il y a des exemples dedans. Donc là, il y a six leviers dans le green prompting. Idéalement, on essaye de tout demander d'un coup. Donc là, voilà, avec le costard dont on vient de parler juste avant. Idéalement, préciser la longueur, préciser le format attendu. On va éviter aussi tout ce qui est jargon ambigu. Et si on doit en utiliser, il faut le définir en amont. Pareil pour toutes les abréviations. De ne pas forcément en utiliser ou d'utiliser des termes qui... peuvent être utilisés dans différents contextes, mais de le définir peut-être, quitte à mettre un petit glossaire aussi en amont, si vraiment on veut utiliser les abréviations, de dire ça c'est ça, c'est utilisé dans tel contexte. Donc oui, d'enlever le plus d'ambiguïté possible, et de garder une conversation par sujet. Enfin voilà, c'est des bonnes pratiques, c'est beaucoup plus développé dans le papier, donc ça on invite... C'est en anglais, mais avec des outils de traduction, ça peut être très, très bien fait. Et on arrive en général entre 32 et 48% d'énergie d'inférence en moins, à qualité égale ou meilleure. Donc j'ai envie de dire, c'est presque gratuit. C'est juste des petits réflexes à avoir quand on interroge l'IA. Donc voilà.

• Speaker #1

  En fait, ce qui est intéressant, c'est que tu disais juste avant, oui, au début, on avait les promptes ingénieurs et tout ça. Mais quelque part, c'est ça qu'on faisait au début de l'IA et notamment qu'on a beaucoup fait par API. C'est-à-dire qu'aujourd'hui, la grosse mode, tu l'as dit, c'est le context engineering ou d'autres choses, où en gros, on vous apprend et on vous dit, ce qui compte le plus, c'est le contexte, que votre information, il ne faut pas trop en mettre, il faut bien l'arranger, il faut bien l'articuler, mettez-la dans des projets, mettez-la sur des formats que l'IA peut lire et que justement, que ce ne soit pas des PDF, que ce ne soit pas trop de trucs et qu'elle puisse être efficace. Mais une des grosses tendances aussi en ce moment, c'est de dire que vous n'avez pas besoin de faire un parpaing, mettez juste... L'IA est assez intelligente pour comprendre, faites des promptes courts et vous avez besoin de dire deux ou trois phrases, après elle va se démerder. Ce qui est du coup partiellement vrai. La partie vraie, c'est qu'effectivement le contexte est fondamental. Si vous mettez trop d'infos ou pas dans les bons formats, l'IA ne va pas s'en sortir, elle ne va pas être pertinente. Mais le fait d'être trop succinct dans un prompte ou de ne pas détailler, ça fait que vous allez donner de la marge de manœuvre à l'IA. qui va supposer et du coup improviser, qui va vous faire une réponse. Alors dans un cadre de conversation, vous n'allez pas forcément vous en rendre compte, puisque c'est devenu tellement normal d'itérer, de discuter avec l'IA et que ça se fasse en plusieurs temps, que ça peut vous sembler normal. Mais en fait, chaque fois que vous discutez avec l'IA, comme je l'ai dit tout à l'heure, vous renvoyez toute votre conversation d'un coup, tout votre contexte d'un coup et tous vos tokens d'un coup. Et donc plutôt que d'avoir un prompt succès, et de devoir discuter et faire des ajustements après au fur et à mesure que l'IA, sur des points que vous ne lui avez pas donné à improviser, vous dites, bah non, en fait, ça, ça ne va pas, Si dès le début, vous appliquez la technique du costard, de dire le contexte, l'objectif et tout, c'est juste de cadrer l'ensemble de votre demande en une seule fois pour que le nombre derrière de correctifs que vous allez demander soit diamétralement... Ça ne veut rien dire dans ce contexte, mais... qui soit énormément réduit.

• Speaker #0

  Surtout que des fois, c'est mieux plutôt que de faire des allers-retours, de recommencer une conversation si vraiment l'IA est partie dans la mauvaise direction.

• Speaker #1

  Oui.

• Speaker #0

  Parce qu'elle va s'appuyer sur ce qui a été dit avant, et on va essayer de corriger, mais finalement ça reste dans le contexte, et ça vient polluer, ça vient remplir la fenêtre de contexte pour rien, alors qu'on se dit, ok, là elle est partie dans une direction que je ne veux pas, je vais améliorer mon compte de départ. pour qu'elle n'aille pas dans cette direction et peut-être que je n'ai pas assez bien précisé, peut-être qu'il manquait des infos, j'ai été trop ambigu, voilà. Donc c'est aussi là-dessus.

• Speaker #1

  Après, quand on est trop avancé dans une conversation des fois et que ça coûterait beaucoup au final de tout refaire, la plupart des outils d'IA maintenant vous permettent aussi de faire des branches, de repartir d'un ancien message et de reconstruire la conversation à partir de ce message-là. Ce qui fait que c'est votre nouvelle branche qui va suivre. Et l'idéal, ça reste de faire une nouvelle conversation, comme ça vous êtes sûr que tout est sain. Mais à défaut, si vous ne pouvez pas, essayez au moins de partir sur une nouvelle branche en repartant du moment où vous avez vu que ça a commencé à dérailler. Alors ne repartez pas pile de ce moment-là, repartez d'un peu plus haut. Mais si vous êtes dans une conversation un peu longue et qui a demandé beaucoup d'itération, ça peut aussi marcher. Et pour peut-être l'avoir en tête et une technique pour que ce soit facile d'essayer de mettre en place cette solution, et sans forcément avoir un contexte objectif, tout ça bien ancré en tête. Mais dites-vous, si j'écrivais mon prompt et que j'avais qu'une seule chance. Parce qu'en fait, quand on travaille beaucoup par API, avec de l'IA, ce que j'ai eu à faire beaucoup justement quand j'étais en startup. on a cette logique de se dire en fait le prompt il faut qu'il soit tellement bien calibré parce que j'ai pas de seconde chance, je suis pas dans une mode de conversation donc l'IA ce qu'elle va me sortir ce sera la réponse que mon utilisateur, mon utilisatrice va avoir et je serai pas là pour venir corriger, discuter avec l'IA et remanier. Donc il faut vraiment que le résultat il soit parfait ou presque parfait au premier coup. Et ça oblige à réfléchir à l'IA d'une manière très différente puisque du coup dans son prompt c'est là où on va réfléchir à tous les aspects métier de se dire ok. pour que ma réponse, elle donne exactement ça, de quoi j'ai besoin. J'ai besoin de tels paramètres. Effectivement, la longueur, tu l'as dit, parce que si ça sort un parpaing, mais que j'ai besoin que de trois phrases, oui, aucun intérêt d'avoir trois paragraphes. Le ton, le style, le rôle, tu l'as dit vraiment. Et puis l'objectif de baliser, de se dire, je veux absolument ça. Et si chaque nouvelle conversation que vous faites avec une IA, vous partez du principe de vous dire, OK, j'ai qu'une chance. Je peux donner qu'un message.

• Speaker #0

  Ça gamifie un peu le truc, c'est sympa en vrai.

• Speaker #1

  En tout cas, quand tu travailles avec de l'API, tu es obligé de faire ça. Et après, tu as quand même des itérations sur des contextes parce que par API, c'est que tu vas automatiser quelque chose. Donc, tu es obligé d'itérer un peu pour arriver sur le truc idéal. Mais c'est vraiment un changement d'approche qui est très chouette. Et ouais, dans un contexte de conversation, si vous faites ça, et parce qu'après, là, les modèles qu'on a cités de format et tout ça, vous pouvez vous faire votre sauce. Typiquement, le tout, c'est que ce soit une structure que vous allez avoir pour vous, qui revienne, qui soit facile, et même si ce n'est pas formalisé en mode contexte, mais si vous mettez les infos qu'il y a besoin sur trois ou quatre phrases, et d'ailleurs, tu l'as dit à travers ce que tu as expliqué, mais il ne faut pas vous dire qu'un prompt plus long, il va vous coûter plus cher. En fait, c'est généralement l'inverse. S'il est plus long, parce qu'il est plus détaillé, qu'il y a plus d'informations, il est plus précis, il y a moins d'ambiguïté, il y a moins d'endroits où l'IA peut partir un peu en cafouillage ou en impro. vous allez avoir un résultat bien meilleur, beaucoup plus vite, avec beaucoup moins d'itérations, et ce sera bénéfique pour tout le monde.

• Speaker #0

  Ça oui, et puis comme je disais dans l'article scientifique, ils montrent vraiment des exemples, c'est plus parlant, ça s'apprend, ça se teste. Après, ce qui peut être intéressant, c'est de tester un paramètre à chaque fois, de faire varier qu'un paramètre. Parce que si on commence à tester différents modèles, différentes techniques de prompting en même temps, on ne va pas savoir vraiment ce qui a de l'impact et ce qui fait que la réponse est meilleure. Donc c'est un peu d'essai-erreur. Alors oui, ça va faire utiliser plus d'IA. Mais si derrière, pour quelque chose qui va peut-être tourner en production ou pour votre pratique quotidienne, trouvez-vous les meilleures pratiques. Ça peut valoir le coup de se prendre un petit temps et reprendre, retester et repenser un petit peu à comment fonctionnent les LLM, de se dire bon, ok, je n'aurai peut-être pas toujours à disposition le gros modèle qui va penser pour moi. Donc, c'est un mois un petit peu de pensée et dans tous les cas, ça se sentira sur la facture. Ça permettra d'être plus résilient parce qu'on aura plus de choix au niveau des modèles aussi. et potentiellement se tourner vers des modèles qui sont hébergés en Europe, open source, open weight. C'est toujours bon à prendre un, et puis même de se dire, même si on paye le même prix, ça reste moins d'impact environnemental, moins d'impact social, moins de dépendance, donc ça reste cool.

• Speaker #1

  Complètement. Et on reparlera des sujets de l'IA européenne et l'IA souveraine, parce que là, même l'IA locale, on n'en a pas vraiment parlé aujourd'hui. Parce que c'est un sujet qui est un peu long en soi. Il y a aussi juste de parler un petit peu du matériel qu'il faut, qu'est-ce que vous pouvez vous permettre, les tailles de modèles, la partie européenne, qu'est-ce qu'on peut utiliser pour aller interroger des modèles justement en Europe ou du ministère. On reparlera de ces sujets-là, que ce soit à travers les côtés outils, peut-être un thématique. On verra comment on aborde, mais on reviendra aussi parler de tout ça. Et sur ce, Lulu, je ne sais pas si tu as un mot de la fin, si on est bon ?

• Speaker #0

  Oui, juste rapidement. Ça suit un peu cette étape de mon test, mais ce qui peut être important, c'est de mesurer aussi. On a parlé de Comparia comme outil qui va permettre de se rendre compte, de mettre des chiffres derrière. Ce n'est pas juste un ressenti. Également, j'avais ton. J'ai trouvé quelques outils qui étaient assez sympas. Il y a Ecologit, qui permet d'estimer ou de monitorer une requête depuis le code. Ça, c'est assez cool aussi. Je crois que c'est la SNCF qui l'utilise. avoir une idée de ce qu'elle va consommer avec l'IA. Sur Gameface, il y a aussi pas mal d'outils. Il y a le AI Energy Score. On a aussi, je crois que c'est une initiative européenne qui va lister tous les modèles qui sont un peu open source. C'est vrai que c'est assez cool. Et aussi, il y a ces codes carbone. C'est un développeur qui a fait cet outil-là. Et on peut le mettre, je crois que c'est quelque chose qu'on peut mettre quand on développe avec Cloud Code dans le terminal. Et à chaque fois, à chaque session, ça va calculer l'empreinte carbone de notre session avec Cloud Code. Et bon, on rappelle que le carbone, ce n'est pas le seul impact de l'IA, c'est même que 30%, enfin 30 ou 40%. Il y a plein, plein d'autres impacts, mais vu que c'est encore très, très opaque. Compliqué à mesurer, mais ça en voit plus sur l'épisode précédent. Enfin,

• Speaker #1

  précédent, précédent, précédent, tout comme ça.

• Speaker #0

  Oui, la partie 1 sur l'IA frivale.

• Speaker #1

  Voilà. Parfait. Merci Lulu de m'avoir accompagnée sur cet épisode et de nous avoir expliqué tout ça. On se retrouve la semaine prochaine pour un Côté Outils. Je ne sais pas encore de quoi on parlera d'ailleurs, mais on trouvera. Il y aura peut-être... Peut-être de l'IA locale, dans l'eau.

• Speaker #0

  Encore de la dictée vocale ? Parce qu'on n'en a jamais assez.

• Speaker #1

  Ouais, non, on va changer un peu la dictée vocale.

• Speaker #0

  En vrai, j'ai vu ces métas qui ont sorti une étude. Je pense qu'on n'aura bientôt plus besoin de dictée vocale parce qu'ils arrivent à lire sans opérations chirurgicales. Je crois que c'est juste avec des capteurs. Tu arrives à faire de la dictée juste en pensant. Ils ont sorti un papier là-dessus. Je me dis, ça y est, on en est là.

• Speaker #1

  Ouais, mais ça, ça va être dangereux, ça. Ça va partir dans tous les sens.

• Speaker #0

  Ouais, mais imagine, tu n'as même pas besoin de chuchoter quand tu veux faire de l'éthique des vocales. Tout dans la tête.

• Speaker #1

  Parfait. Merci à tous et à toutes de nous avoir écoutés. On vous souhaite une très bonne journée ou fin de journée, selon quand vous nous écouterez. On se retrouve la semaine prochaine. Et encore merci, Lulu, de m'avoir accompagnée.

• Speaker #0

  Merci à toi aussi de m'avoir accompagnée.

• Speaker #1

  Avec plaisir, c'était cool.