Transcription

• Manu

  Bienvenue sur Le Dernier Clic, votre podcast tech, IA et no code. On se retrouve encore une fois avec Lulu pour un épisode Côté Outils. Comment tu vas Lulu ?

• Lulu

  Ça va. Fatiguée, mais ça va le faire.

• Manu

  Alors, on s'est retrouvés la semaine dernière pour parler d'IA frugale. Voilà, si vous ne l'avez pas écouté, je vous invite à aller y jeter une oreille, puisque c'est un peu la lignée de notre épisode d'aujourd'hui. Donc après notre épisode sur l'IA frugale, où on a évoqué un petit peu justement ce que ça impliquait d'utiliser DLLM en cloud, avec les fournisseurs de manière un peu plus traditionnelle, et de vous faire prendre conscience un peu qu'il y avait probablement des choses à faire pour utiliser l'IA de manière un peu plus éthique et un peu plus... rationnelle et efficiente et donc nous on a commencé à mettre les mains un petit peu sur de l'IA local donc par local j'entends qu'on fait tourner sur notre propre ordinateur et aujourd'hui dans ce qu'on va parler on n'est pas sur des justement des solutions qu'on a mis sur des serveurs ou des choses comme ça qu'on aurait l'ol on va parler vraiment d'IA dans nos machines avec l'ELU et voilà donc On va essayer de vous faire un petit topo sur ce qu'on a utilisé, ce qu'on a essayé, de quoi on est parti, parce que le but, ce n'est pas non plus de coller de l'IA pour de l'IA. Ça, ça va à quelque chose. Donc, est-ce que ça te va, Lulu, et qu'on attaque ? Je ne sais pas si tu veux déjà nous dire, toi, justement, suite à l'épisode de l'autre fois. Et bon, ce n'était pas que l'épisode de l'autre fois, puisque c'était quelque chose qu'on avait en tête depuis un moment. Le point de départ sur les usages comme ça de l'IA locale, il y a un peu plus frugal. c'était quoi de ton côté au niveau des besoins ? Les premières choses que tu as vues, que tu as identifiées, auxquelles tu as voulu répondre. Sachant, petit rappel aussi, tu nous avais parlé dans un des épisodes précédents de la dictée vocale et du fait que tu t'étais installé.

• Lulu

  Que tu n'avais pas essayé et que tu étais réfractaire, que tu ne voyais pas d'intérêt.

• Manu

  Alors non, ce n'était pas ce point. Oui,

• Lulu

  tu étais tapé et que ça te permettait de structurer ce que tu écrivais.

• Manu

  Oui, mais je vais revenir un petit peu sur cet avis et sur ce qui a changé, comment ma vie a basculé depuis la dictée vocale.

• Lulu

  Ça fait une semaine que je n'ai pas touché un clavier.

• Manu

  J'aimerais bien, mais il y a des moments où je suis obligé. Non, j'exagère, je ne suis pas encore à vouloir absolument un assistant, comme on a l'avoir en toutes circonstances. Mais bon, en tout cas, il y a deux semaines, tu nous avais parlé du fait que tu étais amatrice de dictée vocale, que tu en utilisais déjà et que tu avais troqué tes outils habituels par un LLM local. Et voilà, je veux bien qu'on reparte de là, en fait, déjà de ce premier besoin-là et de ce qu'il y avait autour de ce qu'elle n'avait pas forcément répandu. Et je ne t'ai même pas demandé si, en fait, ce que tu utilisais il y a deux semaines, c'est le même outil que ce que tu utilises encore aujourd'hui. Voilà, je vais vous expliquer, nous raconter un petit peu tout ça.

• Lulu

  Alors, d'où ça partait ? Avant, quand j'étais sur mon PC Windows, c'était inenvisageable de faire tourner quelque chose en local. Donc là, j'étais obligée de me tourner vers une solution cloud, donc avec abonnement. Là, j'avais choisi Aqua à l'époque. Et j'aimais bien le côté, peu importe où on est dans un éditeur de texte, on appuie sur un raccourci, on parle. On peut avoir notre vocabulaire personnalisé, on peut avoir des raccourcis. C'est assez cool. Et puis, tous les outils de dictée vocale ont un peu leur tableau de bord gamifié. On voit combien de temps on a gagné, combien de mots on a dicté, et combien de temps ça nous a fait économiser. C'est toujours un petit peu rigolo. Et là, plus récemment, en passant sur Mac OS, j'ai... Je savais qu'on pouvait faire tourner des modèles en local et que ça marchait très très bien. Donc là, ce n'était même pas forcément question de vie privée, c'était juste une question économique. Si ça pouvait me faire économiser un abonnement, tant mieux. Et il y a deux semaines, j'étais sur Voice Inc. Qui est vraiment top.

• Manu

  Pardon, déjà juste pour situer, à quoi tu le payais combien comme abo ?

• Lulu

  C'était 10 euros par mois à peu près. C'est à peu près les prix... Si on prend du Whisperflow aussi, qui est très connu, ils font énormément de pubs. Si on va sur Product Hunt, il y a leur pub partout. Mais après, ils ont aussi des applications mobiles où c'est pareil, avec un raccourci, on peut... insérer du texte où on veut et c'est compris en général dans l'abonnement. Donc ça peut rester assez pratique.

• Manu

  Quand tu es sur mobile, alors là, toi, tu l'utilisais parce que l'ordi ne te permettait pas de faire tourner en local, donc c'était que du cloud sur Aqua. Et si tu l'utilisais sur mobile, ça partait aussi en cloud, j'imagine ?

• Lulu

  Oui, C'est un peu chaud quand même de faire tourner du local sur un téléphone. Ça peut marcher. Mais ça va consommer beaucoup de batterie et ce n'est pas comme avec un PC où on peut être branché. En général, on essaye un petit peu d'économiser la batterie de son téléphone.

• Manu

  Oui, on va revenir dessus après parce qu'effectivement, j'ai fait le test aussi et ça n'a pas été probant sur téléphone.

• Lulu

  Moi, j'ai un iPhone 13 Pro qui commence à dater et le modèle local passait. Ça allait, mais ça mange trop de ressources. Ouais, sur mobile... Après, c'est vrai que j'ai jamais... J'ai pas trop testé la dictée vocale propre à Apple. Je sais pas si t'as retesté celle qui était propre à Android, toi, ou pas.

• Manu

  Alors justement, quand je parlais de dictée vocale les dernières fois, du fait que j'avais pas adhéré jusqu'à présent, c'était avec des solutions natives. Donc sur le téléphone, ouais, c'était celle d'Android, enfin, côté Google, du coup. et qui est correct mais sans plus, il y a quand même pas mal de loupés. Et sur PC, je ne sais plus ce que j'avais testé mais c'était un truc de... dans ce goût-là. Et si, après il y a des années, j'avais testé du Dragon.

• Lulu

  Oui, oui, oui.

• Manu

  Grosse référence pro, on l'avait évoqué, qui est utilisé notamment dans les hôpitaux et dans d'autres outils. Mais pareil, Dragon, au final... Alors, je me suis rendu compte, maintenant en testant après des LLM locaux et des outils locaux, que j'ai visiblement soit une voix qui a l'air d'être difficile à interpréter pour les systèmes, soit un mélange sur mes intonations, ma façon de parler, je suis peut-être trombone ou corde, je sais pas trop, mais c'est vrai que sur la plupart des solutions que j'ai testées, même avec de l'IA, elles étaient quand même pas probantes. Donc voilà, Dragon était peut-être dans le lot aussi, mais c'est peut-être pas anormal en fait que ça ait autant galéré vu... comme j'ai eu du mal à trouver un outil au final qui marche bien pour moi.

• Lulu

  Tu te fine-tunes ton propre modèle. C'est l'étape d'après.

• Manu

  Ouais, on va y aller tranquillou. Donc, t'étais sur Aqua, t'avais testé tout ça, après t'as basculé sur Mac. Ouais,

• Lulu

  c'était Voice Inc. Parce qu'il y a je crois que c'est Whisper ou Super Whisper. qui est aussi sur Mac, mais là, j'avais un petit peu comparé, je voulais retrouver un peu les mêmes fonctionnalités qu'Aqua, avec pareil la possibilité d'avoir ce raccourci, de pouvoir déposer aussi des audios pour les transcrire. Et c'était ça qui était ressorti. En général, j'aime bien quand c'est des achats uniques, parce que c'est un moyen de quand même soutenir. les développeurs qui ont fait cette solution mais c'est pas un abonnement et donc ça ça m'allait bien et là plus récemment je voulais intégrer la partie notes de réunion et ça j'avais pas vraiment réussi à trouver de bons candidats pour remplacer nos chaînes et c'est là que j'avais vu c'était Vogue One je crois que là j'utilise et que je teste et qu'a priori me va bien qui détecte quand une réunion commence. Mais après, chaque fois, c'est les mêmes modèles de base. C'est vraiment ce qu'on va rajouter en surcouche par-dessus. Et c'est vrai que si c'était pas sur Mac et Windows, il y a Open Whisper, qui est bien aussi, même s'il y a des petites choses qui ne sont pas dans mes usages, notamment pour la transcription de réunion. Là, ce que j'aime bien avec Vowen, c'est de... de ne pas avoir d'IA derrière, en plus du modèle de transcription, d'avoir un modèle qui est assez petit, de laisser tourner et de pouvoir quand même retranscrire derrière avec un modèle plus gros si j'ai envie. Et voilà, ça me suffit, ça enregistre l'audio du PC, enfin le son du PC. Il n'y a pas le bot qui va rejoindre les réunions, et enfin, ce genre de trucs qui peut pas mal agacer. Parce que je crois qu'en entreprise, je crois que c'était dans un podcast de CDLT, elle arrive des fois en avance dans une réunion, elle est toute seule avec quatre ou cinq bottes, et ce qu'elle fait, c'est qu'elle fait une... elle rejoue comme si le Titanic allait s'écraser contre l'iceberg, comme ça, ça fausse complètement et à la fin, les gens se retrouvent avec un résumé de... On pense dans un iceberg. Petit acte de résistance.

• Manu

  Aussi vécu quand j'étais en botte, d'arriver dans des réunions avec beaucoup trop de bottes. T'as même des gens qui s'envoient leur botte et qui se pointent pas à la réunion. C'est le petit... Le must, tu vois la petite cerise.

• Lulu

  Voilà, donc il y a moyen de résister et puis de faire complètement foirer leurs notes de réunion. Et ça peut être marrant. Petit conseil.

• Manu

  Bon, en tout cas, tes besoins, c'était la dictée vocale, le fait de pouvoir enregistrer des réunions, ça c'était la nouveauté que tu voulais rajouter. Oui,

• Lulu

  pour me passer de Notion. Voilà, et idéalement avoir tout au même endroit.

• Manu

  Oui, et de pouvoir après, tu l'as dit, déposer un audio. Typiquement, ça peut nous servir pour déposer un épisode de podcast et avoir un transcript qui soit potentiellement plus propre que celui qui est généré avec notre outil de podcasting. Mais c'est vrai que ça peut servir aussi dans d'autres cas. Pas le fait de déposer un audio, mais d'ailleurs, je ne sais pas si... Oui, je crois qu'il le fait, le fait d'enregistrer un audio sur ton ordi. Ça, je pense à tout ce qui va être webinaire ou alors une vidéo YouTube ou un truc comme ça, où vous avez... envie de garder des infos, une trame, des astuces ou des techniques sans forcément être actif en mode prise de notes en permanence. Et dans ces cas-là, ça peut être très pertinent d'avoir ça. Pas forcément pour en faire un résumé. Je sais que je ne m'en sers pas. Ces usages-là, ce n'est pas pour en faire des résumés, c'est plus pour les choper des bouts du contenu dont je vais réutiliser pour les mettre en pratique. Et voilà, donc si sur Vauvent, tu es parti là-dessus... Vaux, ouais, c'est pas... Je suis pas super sympa à dire, j'aime pas trop. Mais en tout cas, tu l'as choisi parce que ça te permettait de centraliser en un seul outil toutes ces fonctions-là, tous ces problèmes-là.

• Lulu

  Pour l'instant, j'ai cherché un petit peu la solution. Enfin, pas forcément facile, parce que c'est pas facile d'utiliser des modèles en local. C'est sûr qu'il y a des solutions, même un peu moins chères que 10 balles par mois, mais là, je me dis, bon, le modèle, il peut tourner. J'ai une petite interface sympa qui permet de, sans me soucier de crédit, de limites, je peux transcrire, là j'avais fait le test avec des épisodes de podcast d'une heure, une heure trente, même une vidéo. Ça marche nickel, avec large V3, même pas besoin de mettre le turbo, parce que là ça tourne derrière, et même pas pour... Une vidéo d'1h30, je crois qu'il a mis 4-5 minutes à me la transcrire. C'est super honorable et c'est très propre derrière. Il y a les timestamps, je peux exporter. Voilà,

• Manu

  moi en tout cas... Juste pour préciser, là tu as parlé de Whisper Large. On va en reparler après quand on va aller plus dans le détail des modèles qui sont utilisés par ces outils-là. Et timestamp, c'est juste le fait d'avoir les balises de temps en même titre que la vidéo pour dire, une minute 3, il y avait telle phrase en face, une minute 5, c'était telle phrase, et ainsi de suite. Parce qu'il y a des usages, typiquement, sur le podcasting, ça en a. Mais après, dans d'autres cas, même de réunion, de retrouver un passage ou un endroit ou un moment de la conversation, on sait qu'on abordait tel ou tel sujet, de pouvoir le retrouver dans une réunion, par exemple.

• Lulu

  Pour sous-titrer des vidéos.

• Manu

  Voici.

• Lulu

  C'est dans un format un peu spécial. SRT ou je crois qu'il y en a d'autres aussi où là ça affiche carrément le temps l'intervalle de temps où la phrase doit s'afficher c'est un format assez strict et

• Manu

  sachant alors là en plus on parle d'Ialocam mais Vohen alors déjà il a un achat unique parce que là t'as parlé d'abonnement mais il a aussi un achat unique et il te permet aussi potentiellement de prendre un abonnement là pour les Merci. La version cloud. Quelqu'un qui voudrait avoir...

• Lulu

  Il n'y a pas de... Ce n'est pas un abonnement ? Non, non, c'est juste un achat unique. Et puis après...

• Manu

  Parce que sur les LLM, du coup, quand tu pars sur du cloud, tu payes à qui ?

• Lulu

  C'est Bring Your Own Key.

• Manu

  OK, tu amènes ta clé API et tu payes ton abonnement à côté. D'accord.

• Lulu

  Ou alors, tu peux rediriger vers ton modèle local. Avec Oyama ou autre chose.

• Manu

  Ouais, d'ailleurs, sans te clarifier avant d'aller parler des outils que moi j'ai testés. C'est que, alors en fait, à chaque fois, vous avez la partie vraiment outils logiciels, justement ces interfaces qui vont vous permettre de mettre des raccourcis, d'avoir les différentes fonctionnalités dont on a parlé. Mais derrière ces outils-là, ça appuie sur des modèles. Donc il va y avoir grosso modo trois choses à prendre en compte. La première, ça va être le matériel. C'est-à-dire que les modèles vont utiliser la mémoire vidéo de votre machine. Donc dans un Mac, c'est un... unifier ces mélanger à votre mémoire globale dans un pc ça va être différent puisqu'on va être sur la partie qui est dédiée à la vidéo voilà donc à la partie de votre carte graphique donc déjà il ya selon ce que vous avez un peu comme config il ya deux approches un peu différentes et ça va consommer une ressource ou pas en fonction ensuite ces modèles ils peuvent utiliser justement la partie accélération graphique de votre carte graphique Je ne sais pas comment ça se passe sur le côté Mac, mais sur le côté Windows, grosso modo, si tu n'actives pas cette option et si tu n'as pas une carte graphique dédiée, ça va taper dans ton processeur, donc ça va taper dans ton moteur de la machine. Pas de bordier. Donc typiquement, si vous avez un ordi qui est juste bureautique, un peu léger, globalement, les modèles locaux, vous pouvez plus ou moins oublier parce que ça risque d'être assez violent. Soit sur votre processeur, soit sur votre mémoire vidéo, mais ça peut... ça peut vraiment vous taper de la ressource de l'électricité, enfin typiquement si vous n'utilisez que un petit PC portable bureautique, les LLM locaux ne seront pas une bonne... généralement ne seront pas une bonne idée. Mais après, vous allez pouvoir choisir d'activer ou pas cette fameuse accélération. Quand vous activez ça, ça permet de prendre en compte complètement votre matériel, ce qui est très bien, ça permet d'avoir des temps de traitement. Et donc après, sur les modèles en eux-mêmes, vous allez choisir soit... un modèle déjà pour la partie transcription en temps réel, donc vraiment quand vous êtes en dictée vocale. Et là-dessus, comme modèle, en gros, il y a deux familles qui marchent bien. Il y a ceux dont Lulule nous avait déjà parlé qui sont parakits, qui sont proposés par Nvidia, un des fabricants de cartes graphiques. Et alors typiquement, toi, par exemple, pour ton usage, tu n'es pas embêté, il tourne globalement très bien.

• Lulu

  Oui, il y a des moments, je crois, où c'est quand je vais utiliser un terme anglais. La suite, il me la passe en anglais. Je crois que tu avais eu un peu ce souci aussi, où tu avais des parties qui passaient complètement en anglais, alors que tu parles en français. Donc ça, c'est vrai que c'est un petit souci avec Parakit. Il faudrait que je retente un peu V3 large turbo. Moi, je me demande si même en dictée directe, V3 large, il ne passe pas. Autant il passe, et je n'ai pas trop besoin d'économiser de la source.

• Manu

  Je pense qu'il passe. Mais ouais, parce qu'en fait, ce qui est intéressant sur le papier, c'est que Parakit, il ne consomme pas beaucoup. Il est vraiment très léger et qui supporte 25 langues, dont le français. Et il est pas mal à la mode. Globalement, si vous allez naviguer un peu, vous allez le voir un peu partout. Mais les retours, en tout cas, quand j'ai creusé un peu, on l'air un peu partagé parce que soit il marche bien avec votre voix, globalement, si on accepte le cas que tu viens de pointer sur l'anglais, soit il ne vous va pas. Moi, typiquement, il ne me va pas. Donc, non seulement il me traduit en anglais de manière complètement aléatoire, même sans que j'ai dit des mots anglais, mais en plus de ça, il... la moitié des mots il les comprends de travers donc c'est assez cata c'est un modèle qui marche pas du tout pour moi et donc j'étais obligé d'aller sur les autres l'autre famille qui est la déclinaison en fait qui sont des modèles proposés par openair donc openair famille Ausha mais qui avait créé ces modèles voilà de manière open enfin à poids ouvert donc openweight toujours pareil si vous voulez en savoir plus retournez voir nos précédents épisodes thématiques on explique tout ça Ce que c'est que justement que les communs numériques, que les modèles liés à poids ouvert, etc. Et donc ça c'est la famille des Whisper, qui ont plein de modèles du petit au large et au turbo. Et le large étant le plus consommateur de ressources, mais celui qui va être le meilleur en temps réel pour comprendre et restituer. Là où le turbo est très bon pour comprendre, mais sur la restitution il n'est pas forcément bon. Moi c'est un modèle qui marche bien sur la restitution des mots, mais pas sur la ponctuation. Ce qui m'oblige à utiliser le large parce que sinon, il ne me met pas de points. Voilà.

• Lulu

  Et tu avais quand même essayé à l'oral de dire la ponctuation, même si c'est un petit peu moins naturel. Il me semble que normalement, le modèle le comprend.

• Manu

  Oui, j'ai essayé un peu, mais ça m'a vite gonflé. Alors que le large, il y a toujours des petits mots par-ci, par-là qui ne te comprennent pas très bien. Mais en tout cas, sur la ponctuation, il me met des virgules, il me met des points, il me met des points d'exclamation si je veux, des points d'interrogation. Il me fait quasiment tout très bien, hormis les petits couacs de mots. Et ça, tu vas les modifier, il l'enregistre dans son dictionnaire et tu as moins de chance qu'il se couvre une prochaine fois. Le large, il marche très bien. Au final, c'est ce que j'ai retenu. Alors malheureusement, c'est celui qui consomme le plus. plus de ressources et qui n'est pas gênant tant qu'on fait que de la dictée vocale. Mais moi, ce qui a eu un impact sur les autres modèles que je veux utiliser derrière à côté, parce que lui, du coup, il va tourner en permanence. Ce qu'il faut vous dire aussi, c'est qu'en fait, en fonction de de l'usage que vous allez faire justement de vos modèles locaux, soit ils vont être chargés en permanence dans votre machine et consommer de la ressource en permanence comme la dictée vocale. soit typiquement comme disait Lulu avant quand elle dépose un fichier pour une transcription là ça va tourner pendant 5 minutes, ça va consommer pendant 5 minutes et après votre modèle il peut rester monter et consommer des ressources pendant 5 minutes supplémentaires et dans la plupart des outils au bout de 5 minutes s'il n'est pas utilisé il libère l'espace mais pas votre outil de dictée vocale temps réel, lui il reste chargé en permanence donc ça reste un des points à prendre en compte parce que du coup s'il goût en fonction de votre configuration s'ils consomment trop vous êtes impacté sur le reste et donc on a parlé de la partie dictée vocale et après l'autre modèle dont vous pouvez avoir besoin c'est celui qui va faire ce qu'on appelle le post traitement donc après la dictée vocale vous pouvez en fait au moment où vous validez vous appuyez sur votre raccourci pour que le texte il parte dans votre fenêtre de saisie il peut y avoir un autre modèle qui prend le relais pour s'occuper de la ponctuation, pour faire de la correction, mais qui va marcher aussi pour la partie transcription qui après va vous générer un résumé. Ou alors, en plus, toi sur Vowen, tu peux avoir plein de choses, tu peux avoir des templates qui vont faire des traitements différents en fonction de ce que tu fais dessus. Ça, j'avoue que c'est quand même carrément intéressant. Et dans ces cas-là, vous allez pouvoir choisir un deuxième modèle ou en fonction de l'usage d'ailleurs. Par exemple, dans OpenWhisper, on peut avoir un modèle... qui prend le relais sur la ponctuation pour la dictée vocale. On peut avoir un autre modèle qui prend le relais sur l'enregistrement des notes. Un autre modèle pour le chat. Dans Vauven, je crois que ça avait l'air d'être un peu le même principe.

• Lulu

  C'est vraiment ce que j'aimais bien, d'avoir un peu ce côté modulaire, de pouvoir dire, c'est tel modèle qui va tourner par défaut. Et si ça ne va pas, j'ai quand même toujours la possibilité de retranscrire derrière avec un plus gros modèle si je vois que ça ne suit pas. même pour les dictées vocales alors c'est sûr quand on dicte une phrase on peut la redire mais si c'est un super long message et qu'on se rend compte que ça n'a pas bien pris les types d'outils alors c'est pas spécifique à Vohen mais ils peuvent enregistrer l'audio temporairement ce qui permet de le reprocesser au besoin c'est vrai alors ça je te vois que je le fais j'ai désactivé tous les enregistrements d'audio et de tout ça parce que notamment maintenant je fais de la dictée vocale à longueur de journée Merci.

• Manu

  J'ai pas envie de me blinder le disque avec des enregistrements audio dans tous les sens. Tu peux mettre un système de purge, en tout cas. Oui,

• Lulu

  oui.

• Manu

  Moi, pour revenir sur la partie outils, Lulu a fait le choix du tout-en-un, avec Vohen qui permet d'avoir tous ces aspects-là. Moi, je voulais rester absolument sur de l'open source, et je voulais aussi utiliser du Olliamma à côté pour avoir un modèle qui tourne en local et qui soit utilisé par mes autres outils que j'ajouterai petit à petit. Donc là, typiquement, c'était de me dire, OK, ma dictée vocale, je l'ai dans Open Whisper. Et quand il y a du traitement à faire ou des choses à faire particulières, il appellera mon modèle sur Oliama. Mais du coup, si je rajoute un autre outil pour les réunions, par exemple, il appellera aussi le modèle que j'ai sur Oliama, et ainsi de suite. Donc d'avoir un modèle local ou des modèles locaux qui sont hébergés sur un petit serveur, que d'IA de... enfin, pas le serveur, mais sur ma machine, mais que sur la partie vraiment IA locale, qui permettent d'être mutualisés. Et voilà, ce qui fait que j'ai pris Open Whisper sur la partie dictée vocale. Il permet aussi de faire de l'enregistrement de notes et de réunions, mais il n'est pas idéal au niveau de la prise en main, au niveau de... Aussi, notamment, il ne fait pas les fameux timestamps sur les réunions. Il a quand même un truc sympa, que tu as aussi d'ailleurs sur Vohen, c'est le fait de pouvoir enregistrer. Donc là-dessus, il fait autant de choses. On peut déposer des fichiers, on peut enregistrer en temps réel. À côté, on a une... petite fenêtre où on peut taper des notes et après on peut lui faire des commandes préparées en IA pour qu'il fasse en fonction de ce qu'il y a dans la commande des notes qui vont faire le mix entre le transcript et les notes. Je l'ai juste testé, je ne l'ai pas encore vraiment paramétré, il me génère juste un résumé je crois ou des notes à partir du transcript mais potentiellement en fonction du contenu qu'on fait on peut se faire des raccourcis différents et se dire ben voilà là c'était un transcript d'un podcast du dernier clic et je veux qu'il me fasse un résumé qui soit taillé pour Ausha directement. sans qu'on ait à le passer dans le cloud ou dans autre chose, je vais me faire un bon petit prompt qui est calibré, je vais me prendre deux, trois notes en complément, hop, je clique dessus, il va me le faire en une seule passe. Dans l'idée, c'est ce genre de choses que ça permet. Tu les as testés, toi, un petit peu, les templates, ou pas ?

• Lulu

  Pas encore, parce qu'il faut installer un modèle. pour que ça puisse fonctionner, chose que j'ai pas encore fait. Mais c'est la prochaine étape. Là pour l'instant, c'était surtout récupérer la transcription et faire de la dictée vocale. Après, la transcription, je peux l'exploiter moi derrière si je veux. Là, j'ai juste pas encore réfléchi exactement à comment est-ce que je veux que mes notes soient résumées. Et ça, c'était un truc qui m'embêtait avec OpenWhisper, c'est de ne pas juste pouvoir lancer ta note, une note de réunion ou l'enregistrement sur ton PC si tu n'as pas configuré un modèle local. Alors que moi, je veux juste peut-être récupérer la transcription et l'audio.

• Manu

  Tu es peu dans OpenWhisper ?

• Lulu

  Je n'avais pas forcément pu. Non.

• Manu

  Alors en fait, d'ailleurs, un petit précision, parce qu'on ne l'a pas dit, mais en fait, toi dans Vohen, tu utilises quand même des modèles locaux pour la transcription. C'est juste que tu n'as pas de serveur en plus au Yama ou à notre serveur pour les parties post-traitement.

• Lulu

  Oui, le modèle local, mais deux transcriptions. Oui, voilà.

• Manu

  Et ça, dans les différents outils, dans Open Whisper, c'est pareil. En fait, par des fois, ils vous proposent d'installer des modèles locaux dans l'outil. Et vous pouvez aussi, éventuellement, rajouter des modèles locaux, justement, qui sont configurés ailleurs dans votre machine. Parce que ça peut être du Yama, ça peut être du LM Studio. Il y a d'autres outils comme ça qui vous permettent de stocker plusieurs et de charger plusieurs dires. Mais vous êtes déjà en local, vous n'avez pas forcément besoin d'aller sur une grosse usine à gaz ou plein d'outils. On vous expose un peu ce que nous on a fait et les différentes options. Mais vous pouvez très bien juste choisir les premiers modèles. Et pour le post-traitement dans OpenWhisper, par contre, contrairement à Owen, c'est possible. Tu peux choisir pour ta correction de transcript ou tout ça, de prendre juste un modèle qui est proposé par eux que tu télécharges en local. Et de base, tu as déjà pas mal de choix parce que tu as du GEMA, donc ceux de chez Google. Tu as du QEN. Ah oui, oui,

• Lulu

  mais tu es quand même obligé d'installer un modèle de post-traitement. Moi,

• Manu

  ce que j'aime... Pas forcément. Si tu ne les installes pas, tu auras le transcript, mais tu n'auras que le transcript. Le transcript, il te reprendra. En fait, enregistrement et dictée vocale, tu ne peux prendre que ton whisper large. Et c'est dès que tu passes sur les résumés de notes, générer des notes, ou alors le chat, ou alors les autres usages, ou la correction.

• Lulu

  Oui, ça dans Vowen, c'est pareil. OK, au pire, je retesterai un coup. J'avais voulu lancer, mais ça ne voulait pas parce qu'il fallait que je configure un modèle local en plus du modèle de transcription. Je ne suis peut-être pas passé par le bon chemin.

• Manu

  Ouais, je pense. Pour l'ancienne, mais... Après, objectivement, pour l'enregistrement des notes, Vohen est comme plus commode et pratique. Et d'ailleurs...

• Lulu

  Ouais, ce que j'aime bien, c'est vraiment... Enfin, on peut prendre des notes. En plus, il y a un peu comme Notion, il y a cette petite bulle flottante qui apparaît sur le côté. Et il y a une petite interface, on peut prendre des notes directement là-dedans. Et il y a une fonction pour prendre des screenshots directement qu'on pourra retrouver après dans la note. Sûr que quand on regarde une présentation... Tant que de le faire à la main et de voir après copier-coller, c'est vrai que c'est quand même super cool. Et je crois qu'il y a ce truc qui était aussi dans Voice Inc. que j'aimais bien et qui pouvait prendre un screenshot de la page. Bon, ça reste après en local. Et après, c'est avec une technologie OCR, donc de vision pour obtenir plus de contexte et ne pas faire de fautes sur certains mots. Parce que forcément, si on parle de... Si on a un terme qui est un peu spécifique, si on l'a dit juste au-dessus, ça guidera plus facilement en dessous. Et je crois que les screenshots qu'on fait avec Bowen quand on est en mode réunion, il s'en sert après en tant que contexte pour générer le résumé. Ce qui est quand même cool.

• Manu

  Oui, ce qui est intéressant. Donc il va taper aussi des ressources parce que la vision, pour le coup, elle va souvent taper ailleurs. Souvent, c'est dans le processeur.

• Lulu

  Ouais, il me semble qu'au CR, après, moi, j'avais en tête le modèle de Mistral, et c'est quelque chose qui ne consomme pas des masses, sans forcément aller sur du LLM. Moi, je sais que même sur, en tout cas sur Mac, peu importe l'image, je peux sélectionner directement le texte. Donc, peut-être qu'il se sert de quelque chose qui est interne au Mac.

• Manu

  Je ne sais pas. En tout cas, je sais que là, sur les tests que j'ai faits avec les différents modèles, Sur la partie vision, à chaque fois, il n'allait pas utiliser ma carte graphique comme il le fait pour le reste, il allait taper dans mon processeur.

• Lulu

  Ok.

• Manu

  Pour l'OCR. Alors, ce qui n'est pas gênant...

• Lulu

  Peut-être la partie accessibilité du Mac, parce que, en fait, peu importe le texte, même s'il n'est pas sous format texte, je peux quand même le sélectionner, le copier-coller sur le Mac.

• Manu

  D'accord.

• Lulu

  Ce qu'il y a aussi sur les iPhones. C'est assez cool de prendre juste le texte en photo, de pouvoir sélectionner et copier-coller.

• Manu

  Je ne sais pas s'il y a des utilitaires comme ça sur Windows. J'imagine que oui, mais je n'ai jamais eu vraiment eu besoin. Je ne sais pas, je ne suis pas creusé.

• Lulu

  Tu ne fais pas assez de screens ? Ou après, il faut aller recopier-coller du texte dedans ?

• Manu

  Je fais tout le temps des screens, mais je n'ai pas besoin de prendre le texte dans mes screens. C'est surtout ça.

• Lulu

  Ah oui, moi, sur téléphone, je m'en sers tout le temps.

• Manu

  Mais d'accord. Et pour quoi faire ?

• Lulu

  Je ne sais pas. Sur le coup, je vais trouver, je vais screen. peut-être un article et à un moment, j'ai envie de partager ou de reprendre une partie, je vais copier-coller. Plutôt que, par exemple, même dans LLM, plutôt que d'envoyer une image et de lui faire lire à lui, je vais copier-coller mon texte avant.

• Manu

  Oui, mais du coup, tu n'as pas besoin de prendre ton texte dans un screenshot, puisque tu as l'article.

• Lulu

  Oui, mais sur le moment quand j'ai vu l'article, je me suis dit, tiens, c'est intéressant. Et plutôt que d'avoir déjà encore plus d'onglets ouverts dans mon navigateur, j'ai fait un screen. Et des fois, je vais récupérer une information sur ce screen qui date de plusieurs jours.

• Manu

  Donc, tu fais des screenshots en plus de les ajouter avec ton Save to Notion, mais qui est devenu ton enregistrement vers... Plus vers Obsidian, vers Anytype, par exemple.

• Lulu

  J'ai pas remis en place encore. Là, je suis dans le void pour le moment en termes de ressources.

• Manu

  Le void ?

• Lulu

  Oui, ça va nulle part.

• Manu

  Ah oui, d'accord.

• Lulu

  Ça reste en cache sur mon navigateur. Si, j'envoie quand même vers Readway the Reader, mais ça se perd. Enfin, il n'y a plus de... ça ne va pas plus loin pour l'instant.

• Manu

  D'accord. Est-ce que tu expliques les screenshots ?

• Lulu

  Oui, mais ça, les screenshots, c'est depuis que j'ai un téléphone. Je n'ose même pas regarder le nombre de screenshots que j'ai dessus. Mais par contre, c'est pratique dans la galerie. Quand je vais chercher un terme spécifique, il va aller me chercher, même sur le screenshot, ce terme, il y a la lecture, c'est indexé. Oui, mais ça,

• Manu

  je comprends. Même dans l'absolu, je comprends l'intérêt. Mais j'ai juste... J'ai peut-être eu besoin de cet usage-là deux fois dans ma vie, tu vois. C'est pour ça que ça m'intriguait.

• Lulu

  C'est comme le fait de pouvoir copier-coller sur l'iPhone et après, tu fais CTRL-V sur le... Enfin, CMD-V sur le Mac et ça se copie automatiquement. C'est trop bien, ça aussi. Mais pareil, toi, tu vois pas l'intérêt.

• Manu

  Ouais, c'est un truc qui m'a jamais manqué, en fait. Je n'ai jamais...

• Lulu

  Ça me manquait pas. Et maintenant que je l'ai, je me dis... ah ouais c'est quand même cool de ne pas avoir à s'envoyer des liens par mail pour le récupérer sur le PC.

• Manu

  Mais qui envoie des liens par mail ? Mais pourquoi ? Je veux dire t'avais Notion depuis des années, t'avais des outils comme ça justement il y avait déjà des Select to Notion, tu vois un truc bien tu l'enregistres dedans alors maintenant tu l'as dans tous les outils même avec Annihilation.

• Lulu

  Non mais c'est par exemple j'ai un URL un truc que je suis en train de lire je me dis ah bah tiens j'aimerais bien le lire sur PC Je me l'envoie par mail.

• Manu

  Justement, pourquoi tu ne t'enregistres pas dans ton Notion ou dans ton n'importe quoi et tu le dis après sur PC ?

• Lulu

  Parce que je n'avais pas Notion avant et j'ai toujours fait comme ça. Même quand il fallait que je m'envoie des photos. C'était pareil, c'était par mail.

• Manu

  On dirait les vieux dans les boîtes. Non, mais j'ai toujours fait comme ça. Oui, mais ça n'a aucun sens quand même.

• Lulu

  Maintenant, je airdrope.

• Manu

  Oui, bon. Oh là là, bon. On digresse, on digresse, on va arrêter parce que... Tu prêches pour l'empire du mal, pour les technologies Mac que je comprends pas.

• Lulu

  Ça tient bien quand même. Puis en attendant, moi, les modèles locaux, il n'y a pas besoin de faire autant de bidouillages que ce que tu as dû faire.

• Manu

  Ouais, après, parce que j'ai voulu tester plein de trucs et plein d'usages. Peut-être qu'on va terminer un peu sur la partie audio parce que justement, on a fait déjà un peu long. En gros, donc voilà. Sur la dictée vocale, au final, je me suis arrêté sur OpenWhisper et sur Whisper large à l'intérieur. Je n'utilise pas de modèle derrière pour me faire de la correction de ponctuation et tout, parce que Whisper large me le fait bien. Et qu'en fait, si j'utilisais deux trucs, ça me consommerait vachement plus de ressources. Je préfère avoir un modèle un peu plus gros, qui, pour donner une idée, consomme 3Go de RAM virtuel, donc de mémoire sur ma carte graphique en permanence, mais qui me permet d'avoir une dictée vocale bien rédigée d'emblée. et en fait dès que je vais rajouter des modèles locaux après pour faire du post-traitement c'est des modèles qui vont vite me taper quoi dans les 7 8 giga ça dépend mais en gros sur ma carte graphique j'ai 12 giga de disponible j'en ai deux qui sont utilisés en permanence sur mes mais juste mes écrans et mes différents... différentes fenêtres un peu partout. J'en ai trois qui sont utilisées pour ma dictée vocale et le reste qui me sert sur les différents modèles, pour un modèle d'IA local. Mais de fait, je ne peux pas aller forcément sur les trucs les plus hauts. Globalement, je suis dans les modèles 9B. 9B, d'ailleurs, ce n'est pas des milliards.

• Lulu

  Milliard, si, je crois que c'est quand même.

• Manu

  Si, c'est un milliard de paramètres.

• Lulu

  Ouais, parce que millions, ça commence à plus faire des masses. Billion.

• Manu

  Ouais, mais ça doit être millions. Enfin bon, je suis à peu près là-dessus. Et donc, comme je l'expliquais, j'avais ça. J'ai un Olliamma avec un modèle derrière pour la partie, si j'ai besoin de faire un traitement pour aller l'appeler lui. Donc là, ce sera plutôt pour les notes de réunion. Mais pour les notes de réunion, Open Whisper, je le trouve pas fou. Enfin, il fait le boulot, mais en termes du X et tout, l'interface n'est pas hyper pratique. et il n'y a pas les timestamps dont je peux avoir besoin notamment pour les podcasts. Donc je voulais un autre outil qui puisse me faire ça d'une meilleure manière, que ce soit pour les réunions ou pour les enregistrements à la volée ou dépôt de fichiers. Et j'en ai essayé plusieurs. J'en ai retenu surtout deux parce qu'après j'en ai utilisé trop quatre, mais qui n'étaient pas ouf. Il y a Meetily. on vous mettra les... Tous les outils dont on vous parle seront dans les notes de l'épisode. Mithili que j'ai trouvé en moyen. Il faisait le boulot, mais je ne sais plus pourquoi. Je crois qu'il n'y avait pas le timestamp justement. Je ne sais pas, je n'ai pas été convaincu. Après, il est quand même assez bien fait, assez intuitif. Aussi en local, vous avez une déclinaison payante que si vous voulez prendre un abonnement et tout ça. Ou alors la déclinaison que vous pouvez mettre sur votre machine, tout avec de l'IA locale et sans forcément avoir besoin d'un serveur. Là-dessus, il est quand même bien pratique, bien fait. Mais je ne sais plus, il ne m'a pas vraiment convaincu. Et je crois que c'était sur le format notamment des comptes rendus qui me sortaient. Et après, j'ai testé Vibe. Pareil, prenez le lien parce que si vous commencez à chercher Vibe sur Internet, bon courage.

• Lulu

  Ça va être redirigé vers le nouvel outil, le rebranding de Mistral.

• Manu

  De Mistral. Entre autres. Alors si vous trouverez assez vite un... une page GitHub qu'il mentionne. Mais si les pages GitHub vous font peur parce que ça ressemble à des pages de développeurs pour du code, ce que j'entends et que je comprends complètement, vous n'allez pas forcément mettre la main dessus d'emblée. D'ailleurs, je suis en train de penser en regardant mon lien que c'est... Je crois que c'est quand même un lien GitHub que j'ai... Je regarderai. Mais en tout cas, Vibe, pour la partie réunion, il est très chouette. Il est simple à prendre en main, simple à configurer, il fait des comptes-rendus de réunion avec les timestamps et tout qui marche très bien. Votre transcript, vous pouvez l'exporter directement dans tous les formats, que ce soit du docx, du markdown, du pdf, du ce que vous voulez. Du pdf, ah oui, pdf je l'ai dit, enfin bref. Voilà, vous avez plein de formats, c'est très très bien. Le seul truc un peu dommage, c'est qu'il y a aussi la reconnaissance des... d'interlocuteurs et ce type de choses. Seule chose un peu dommage, c'est que certains formats ne supportent pas les timestamps. Par exemple, le Markdown ne le supporte pas. Donc obligé d'exporter en PDF ou en .docx par exemple pour les avoir. Voilà, donc là ma contrainte aujourd'hui c'est que j'ai deux outils dédiés et donc Vibe quand il est activé, il a aussi de la ressource en permanence pour la dictée vocale. Donc je peux pas avoir les... enfin je peux pas. techniquement je pourrais mais en fait ça fait trop de ressources consommées si j'ai tout lancé au moment il fait la transcription et les générations et les résumés et tout après donc je suis obligé de fermer un outil quand je passe sur l'autre ce qui en usage réel normalement est pas gênant parce que la plupart du temps si je suis en réunion ou que j'enregistre un truc que je regarde j'ai pas besoin de la dictée vocale mais j'ai eu le cas l'autre jour où justement j'avais un de nos épisodes de podcast que je voulais transcrire et en fait pendant qu'il faisait le trade il avait toutes les ressources de consommer et du coup à ce moment là je voulais travailler en même temps sur sur du dev et du cloud code et lui parler avec la dictée vocale et je me suis retrouvé comme un con à parler devant mon micro et qu'il se passe rien.

• Lulu

  Obligé de retaper au clavier.

• Manu

  C'est ça, de manière complètement archaïque comme il y a une semaine quoi. Affreux. Voilà donc ma contrainte aujourd'hui c'est d'avoir deux outils et que c'est un peu moins fluide et un peu moins sympa visuellement que ce que que Vohen propose. mais pour l'instant je vais quand même rester là-dessus parce que ce sont deux outils open source qui peuvent se connecter avec mon Oliama et avec les modèles de mon choix derrière pour les traitements et voilà, ils sont complètement open source, locaux c'est deux outils qui sont quand même bien soutenus il y a des déclinaisons payantes si jamais vous voulez un peu plus de facilité utiliser des modèles qui sont hébergés en cloud les deux le proposent à travers des options payantes mais en gratuit en fait vous avez déjà absolument tout ce qu'il faut. Et voilà, c'est de l'open source et ça marche. Factuellement, ça fait très bien le boulot.

• Lulu

  Oui, moi, c'est juste pour l'instant, parce qu'on va dire que j'ai d'autres choses à explorer et ça me tiendra le temps que ça tiendra. Et peut-être qu'à un moment, je suis sûre qu'idéalement, c'est d'aller aussi vers l'open source. Mais voilà, on va déjà essayer d'installer OpenCode, enfin, petit à petit. Et là, l'objectif, c'était surtout d'arrêter les abonnements et de repasser à quelque chose que j'ai et qui fait le taf pour le moment. Voilà, c'est des périodes un peu de transition. Et ça, on s'en est rendu compte aussi assez vite. C'est que c'est un domaine qui évolue très, très vite. Que ce soit du côté de l'open source, de ce qui est local aussi. Pour l'instant, c'est encore de niche. Mais ça devient de plus en plus accessible. Il y a des grosses avancées qui sont faites aussi. Que ce soit même d'avoir des modèles qui sont un peu plus petits et plus performants. Donc ça bouge. Ça bouge tout le temps. Il faut un peu tout le temps tester. Mais en même temps, il faut aussi choisir ses priorités. Et de se dire, bon, là, à l'instant T, ça me convient. Je refais un check, par exemple, dans six mois. Et autant, il y aura eu des... plein de nouvelles choses, même des nouveaux modèles et des nouvelles interfaces. Ce sera notre interface. Même si c'est dans l'épisode précédent, on s'est dit, il ne faut pas développer des choses qui existent déjà. Oui,

• Manu

  il y a déjà plein de solutions intéressantes. C'est vrai qu'on voulait aussi parler de ces outils et de nos expérimentations là, parce que la dictée vocale... Alors, j'étais encore récalcitrant il y a une semaine, parce que le fait d'écrire m'aide à structurer ma pensée. et que j'écris assez vite pour pas être gêné à la base. Enfin voilà, l'habitude du clavier depuis longtemps. Mais il n'empêche que sur des usages et de collaboration et de développement aussi avec l'interaction avec les IA, le fait de pouvoir parler directement et d'avoir des transcriptions qui sont bien meilleures que ce que j'avais avant, ça a joué quand même aussi énormément dans la balance, d'avoir enfin des transcriptions qui soient bonnes. J'ai vraiment vraiment vraiment accroché très très fort au concept. Du coup, c'est vrai que ça fait partie maintenant de ma façon de bosser, même si c'est encore très récent. Dans tout ce que j'ai à écrire, je le fais en audio, quitte à aller faire des correctifs ou des petites choses après. Je vais voir dans les prochaines semaines jusqu'où je vais dans ce principe-là. Mais en tout cas, c'est vraiment un confort quotidien aujourd'hui, que ce soit dans mon utilisation avec les IA, même dans les échanges comme on a sur Discord ou sur des canaux de communication. ça pouvait prendre des fois beaucoup de temps, même en écrivant vite le fait de structurer sa pensée en même temps, de se reprendre et puis en écrivant on se dit ouais mais en fait c'est pas forcément comme ça que je veux le dire ou je peux le dire mieux ou je retravaille alors que en parlant, ça part c'est pas forcément parfait machin mais c'est l'idée sur le moment et en fait ça marche la contrepartie c'est que les gens qui vous lisent se retrouvent avec des choses beaucoup plus verbeuses et des petits parfums régulièrement mais Et... C'est vrai que j'ai pris le pli sur l'usage d'ordi et du coup ça m'a tellement convaincu que j'ai aussi essayé sur mobile. Alors sur mobile pour faire court j'ai voulu tester aussi du local avec notamment je crois que c'était Futo Keyboard ou un truc comme ça qui proposait un clavier alternatif et dans le clavier du coup d'aller avoir aussi de la saisie vocale avec un élément local. Alors moi j'ai un Pixel 7a qui a quelques années, mais grosso modo pour donner une échelle c'était un téléphone à 400 balles il y a 3-4 ans, un modèle local, déjà ceux qui tournent pour la dictée vocale sont moins costauds que ceux qu'on a sur l'ordi, et comme le disait Lulu, ça me tabasse la batterie, et j'ai un temps de traitement, c'est à dire qu'il le fait mais le modèle est moins bon donc il ne me transcrit pas très bien. Et il y a un temps de traitement, donc en plus, il faut le reprendre à la mano. Ce n'était pas du tout intéressant. Enfin, je l'ai testé un peu et voilà, ça ne m'a pas convaincu. Donc, je n'ai pas un téléphone qui me permette de le faire. Malheureusement, il faudra encore attendre un certain temps pour avoir des modèles qui soient plus petits, plus efficients et potentiellement des prochains téléphones qui les gèrent d'une manière différente aussi. Et en revanche, du coup, j'ai quand même opté à repartir en local, mais sur une solution. Et d'ailleurs, je pense à le rajouter dans nos notes, qui est Typless, que toi, tu utilisais depuis un moment.

• Lulu

  Oui, je l'avais vu sortir un moment sur Product Hunt. Et il me convient bien parce qu'il y a une limite qui est assez élevée. Enfin, je n'ai pas payé. Après, je sais que ce n'est pas du local et tout ça, mais on est sur quelque chose qui est... en transition aussi. Je ne m'en sers pas tout le temps. C'est vrai que je m'en sers assez peu pour écrire, moi. C'est vraiment plus quand je veux prendre des notes, pour écrire à des gens, parce qu'il y a ce côté un peu trop verbeux, et je n'ose pas, pas que je n'ose pas assez, mais en tout cas, je vais le dire, quand je passe... Ouais, ça va plus être quand c'est brain dump, j'ai envie de sortir tout ce que j'ai dans ma tête. En plus, ce qui est assez bien, c'est que Typeless, il va quand même... réorganisé un petit peu, il va faire avec des bullet points et en relisant je fais ah ouais c'est quand même beaucoup plus structuré que la bouillie verbale que j'ai sortie et ça c'est vrai que c'est assez cool même pour quand on veut envoyer, enfin pour des LLM je m'en sers un petit peu quand je dois répondre et que je dois répondre à des pavés et ça c'est assez bien parce que en fait je parle en même temps et je descends Et je réponds au fur et à mesure des phrases. Plutôt que de taper, parce qu'après, il y a la fenêtre qui est super grande. On ne voit plus les phrases des gens. Et puis, il faut descendre comme ça. Et puis après, pour éditer. Enfin, voilà. Dans les moments-là, c'est bien.

• Manu

  Je ne me sens pas concerné par les personnes qui t'en veulent des pavés.

• Lulu

  Moi, je reçois maintenant que tu es passé à la dictée vocale.

• Manu

  C'était ironique. J'ai bien conscience. Parce que moi, par contre, je n'ai aucune compassion. Depuis que je suis à la dictée vocale, tous les gens reçoivent des... Des pavés vers le, je fais tout en dictée vocale. En plus, des fois, il y a des petits errements, tu vois, avec des « et » , voilà, donc, il y a des petits mots de réflexion pendant le temps que je parle, mais bon, je trouve ça tellement pénible de taper sur le... Autant, tu vois, au clavier, ça ne me dérangeait pas, l'habitude, et j'aime bien. Autant, ça m'a toujours gonflé sur téléphone. Alors maintenant, je peux m'en passer. Ah oui, moi,

• Lulu

  c'est l'inverse. En fait, c'est... Différence de génération. Oui,

• Manu

  moi, je suis vieux, j'ai l'habitude du clavier.

• Lulu

  Je tape beaucoup plus vite sur téléphone. C'est pour ça que l'aspect copier-coller pour mettre après sur le... Je serais presque à taper sur le téléphone, copier mon texte et le mettre sur le Mac.

• Manu

  Bon, chouette. En tout cas, vous aurez un outil aussi à essayer sur téléphone si vous voulez faire de la dictée vocale.

• Lulu

  N'hésitez pas à dire quel team vous êtes.

• Manu

  parce que là je me sens un peu seule et je me sens jugée quand même est-ce qu'il y a d'autres gens comme moi ou pas mais par contre à Typeplace juste un petit avertissement c'est un outil américain, alors ils ont toutes les normes RGPD tout le bazar mais vous êtes quand même sur du cloud pas européen et elle n'aime pas européen et tout ça donc pas d'usage sensible enfin c'est rare que vous en ayez pas pour du pro Et tout dernier point avant qu'on boucle cet épisode, et très brièvement, juste pour parler des modèles en loco. Je ne vais pas vous faire un récap sur tout ce que j'ai testé, parce que j'en ai essayé plein, et ça n'aurait pas trop de sens de vous dire ce qu'il y a en fonction de votre matos. Ce qui va dépendre énormément, c'est la mémoire vidéo de votre carte graphique. Et voilà, selon si vous êtes sur Mac, que c'est unifié, ou si vous êtes sur du Windows ou un PC portable et que vous avez les deux composants séparés, le goulot d'étranglement, il viendra de là. Et les modèles que vous avez, même sonnés sur du cloud, même les modèles intermédiaires, on est à des années-lumières de pouvoir faire tourner ça dans nos machines en local. En revanche, les petits modèles que vous pouvez faire tourner, sur des usages comme on l'a évoqué là, que ce soit des résumés, des corrections de transcription, des choses comme ça font déjà le boulot. Mais il n'y a quand même pas pléthore d'offres qui marchent bien, enfin d'offres de modèles. C'est-à-dire que malheureusement, les deux qui se dégagent le plus, c'est Gema, en tout cas chez moi qui marche le mieux, ce sont les modèles Gema 4 de chez Google ou les modèles Kuen, je ne sais plus le fabricant, mais du coup, le fournisseur chinois. J'ai essayé d'autres choses, j'ai essayé du Mistral, ça a été kata. Genre vraiment kata, c'est-à-dire quand même sur des tâches basiques, de résumer des choses comme ça, ils ne comprenaient rien, ils me racontaient n'importe quoi. Ce qui m'a un peu attristé, parce que j'ai essayé plein de modèles Mistral, en me disant que dans le lot, même un Ministral, j'espérais avoir des choses un peu probantes. Et voilà, en tout cas chez moi, ça n'a pas du tout été concluant. J'ai voulu essayer... euro quelque chose un modèle open source européen dont on avait parlé dans un épisode précédent mais en fait il est limité à 4 4 contexte ce qui pourrait aller sur la dictée vocale d'un paragraphe ou de quelques phrases mais ce qui va pas dès qu'on est sur une transcription longue parce qu'il ya toujours cette notion qu'en fait sur tous les ira ça ça marche pour le cloud et pour le local. Moins vous remplissez le contexte, plus il est efficient et performant et il ne vous raconte pas de bêtises. Et du coup ça s'applique aussi en local, c'est-à-dire qu'en local, plus vous allez lui donner de contexte, enfin lui mettre une grosse fenêtre de contexte, plus il va être bon au long-temps, avant de commencer à vous raconter du pâté. Mais plus vous lui mettez un gros contexte, plus il va taper de ressources dans votre VRAM aussi. Donc il faut trouver des compromis et là-dessus, un modèle comme... et en fait il est trop bas, on ne peut pas le monter techniquement, donc il ne faisait pas le boulot. Et j'ai essayé Lucie dont on avait parlé et ce n'était pas fou. Assez triste et déçu de voir que les modèles français notamment que je vais tester n'ont pas, en tout cas sur ces usages-là et sur ma machine, n'ont pas donné de bons résultats. Et après il y a eu aussi une autre réalité, c'est que j'ai essayé d'utiliser ces modèles en langue locale avec Openwork. Open Work, c'est une alternative open source à Cloud Cowork. Donc ce chat qui vous permet d'interagir sur votre ordinateur et vos fichiers, mais qui a quand même une fenêtre de chat sympa, comme on a l'habitude, pour pouvoir discuter, échanger, qui peut faire des recherches web, qui a des outils que vous pouvez connecter par exemple à d'autres outils aussi. Ça ressemble vraiment très très fort à du Cloud Cowork. Enfin, pas tout à fait sur l'interface, mais c'est le même principe. Et en fait, l'avantage de OpenWorks, c'est que vous pouvez le brancher à des fournisseurs européens et au lieu d'utiliser du cloud, vous allez pouvoir utiliser des modèles comme ça, open source, qui sont hébergés chez des fournisseurs en Europe, comme Cortex AI, par exemple, ou d'autres. Mais quand on essaie de l'utiliser, en tout cas avec les petits modèles, comme je disais, jusqu'à 9B, où j'ai réussi à essayer un GEMA 12B, en fait, ces modèles-là ne sont pas... en mesure de bien utiliser les différents outils à leur disposition. Donc ça va, on pose 2-3 questions, mais si on leur demande par exemple une recherche internet, ils ne vont pas s'en sortir. Ils vont peut-être réussir la première recherche, mais après ils doivent utiliser un autre outil pour le retraiter, pour faire des choses, et en fait ils se perdent. Et tous les modèles que j'ai testés sans exception, j'en ai utilisé une bonne quinzaine, des petits modèles sur cette fenêtre-là. Il n'y en a aucun qui n'arrive en gros à faire des... à utiliser des outils, à faire des fonctionnements de cloud cowork. En tout cas sur ces fenêtres là, donc jusqu'à 9B globalement, 9B voire 12B. Et même les GMA étaient très bons sur certaines tâches. Enfin pour discuter, poser des questions, ça marchait très bien. Mais dès qu'il s'agissait d'aller utiliser des outils, donc de faire des actions dans la machine, ça ne marchait pas. Et ce qui est dommage parce que j'envisageais ce type d'usage pour aller faire du rangement et faire de la gestion un petit peu automatisée dans mon ordi. Et pour rester en local et qu'à aucun moment... mes documents personnels et tout circulent en ligne, enfin en ligne, en dehors de Proton. Et en fait, je n'aurais pas le choix que de le faire avec des modèles comme ça européens parce que sur les modèles locaux, ils n'arrivent pas à utiliser les différents outils. Donc à aujourd'hui, sur cette taille de modèle-là, en tout cas, peut-être que d'autres outils le permettent. Mais vu qu'Openwork est quand même sur des standards, je m'étonnerais, et peut-être qu'avec un OpenCode ou en tout cas... quand on rentre vraiment davantage dans le dur sur du terminal et vraiment de la ligne de commande et que c'est pas forcément les mêmes technos derrière peut-être que mais je reste sceptique parce qu'Openwork utilise OpenCode donc une alternative open source à CloudCode pour fonctionner donc sur papier il n'y a quand même pas tellement de raisons que ça marche mieux avec voilà c'était juste un petit point sur la réserve quand même et en tout cas sur la réalité des LLM et sachant que sur la partie carte graphique, pour donner une idée, et à ceux et celles que ça parlera peut-être, sur ma machine j'ai une RTX 5070, ce qui n'est pas du tout le mieux pour de l'IA, mais on est quand même sur une carte grave qui n'est pas loin des 700 balles, qui n'est pas ce que vous aurez en natif sur la majorité des machines de travail et de bureau, mais juste pour vous donner des échelles au niveau de la quantité de VRAM qui va derrière et du traitement qui est fait. Donc les LLM locaux restent encore... Le plus accessible dans des machines, ça reste aujourd'hui dans des Macs, quoi qu'on en dise, même si ça impacte et que c'est unifié. Bref, ça a d'autres impacts sur les performances des machines, mais en tout près, qu'on achète et qu'on peut utiliser rapidement du LLM local, aller davantage sur du Mac, ce sera plus simple. Et si vous êtes sur des machines en Windows, ce type de configuration... faudra aller plus haut et je reviendrai sur le sujet dans une des prochaines fois sur du linux parce que sur du linux je vais avoir encore d'autres outils et notre approche même s'il y aura du OpenWhisper normalement parce que lui ça s'est fonctionné partout on reviendra dessus côté

• Lulu

  Linux dans une prochaine fois ça me fait penser aussi que les oui tout ce qui est modèle vocaux là c'est une intégration par dessus donc là c'est plus au niveau des outils mais maintenant ils intègrent beaucoup maintenant la discussion avec du Merci. Cloud Code, du Open Code pour aller citer les fichiers directement ou les commandes. Donc ça, c'est de plus en plus intégré aussi en dictée vocale. Je sais que certains modèles aussi en cloud, c'est quelque chose qu'ils mettent en avant pour vraiment discuter avec le LLM qui code et de pouvoir aller citer directement les documents. Ça, c'est vrai que c'est quand même cool et ça... Ça enlève aussi des étapes de devoir aller citer le répertoire ou telle skill à utiliser.

• Manu

  J'ai vu la fonctionnalité d'Open Whisper, il me semble que ça y est aussi. Justement, on peut ouvrir par API MCP, je ne sais plus. Dans Vowen, je sais qu'il y avait par MCP aussi. Je ne sais plus si c'était le cas, mais oui, la connexion y est aussi dans Open Whisper. On peut le faire. On n'a pas dit, mais vous allez quand même pouvoir choisir l'endroit où vous enregistrez automatiquement les transcriptions et les audios, si vous voulez, les audios ou que le texte, ou aucun des deux, si vous voulez, l'historique, pas de l'historique, des copiés-collés, du presse-papier, enfin voilà. Tous les outils qu'on a évoqués, vous avez quand même une certaine marge de personnalisation et une échelle de confidentialité que vous pouvez mettre à votre sauce.

• Lulu

  Mais en vrai, je pense quand même, par exemple, sur les derniers iPhones, je pense que du modèle de transcription locale, il passe. Vu ce que j'arrivais à faire avec le mien, qui a quand même 5 ans maintenant, là, je pense que sur les derniers modèles, on doit pouvoir faire des petits trucs sympas.

• Manu

  Je pense aussi, parce que même ceux qu'on a cités, ils marchent sur mon ancien téléphone qui n'était pas un haut de gamme déjà de base. Enfin, qui était, on va dire... au milieu de gamme à peu près. Mais après, c'est la partie outils aussi qu'il y a à prendre en compte. C'est-à-dire que par exemple, là sur Android, quand j'ai cherché, du modèle local de transcription, il n'y avait pas grand-chose. Globalement, je tombais sur Futur, mais je n'avais que deux, trois options. Et même sur un téléphone plus récent qu'il supporterait, en open source et en local, il y avait très, très peu de propositions.

• Lulu

  C'est très balbutiant. Oui. Peut-être que ce n'est juste pas sur le store. Peut-être qu'il faut installer l'APK pour avoir une interface. Et ça me fait penser aussi de quand même citer Qtai, qui n'est pas vraiment une startup, c'est une boîte française qui a eu des financements de gros noms, dont Yann Lequin, il me semble, où eux, en fait, leurs modèles, ils sont vraiment basés sur la voix. et de faire du modèle qui a été entraîné. Et les tokens, c'est des sons, plutôt que de passer par du texte. Donc là, en termes de conversation, il va réussir à comprendre les variations. Et il n'y a pas ce speech-to-texte, to-speech, si on fait du voix. Enfin, voilà, on perd énormément d'informations. Et eux, ils se concentrent pas mal là-dessus sur, au final, un modèle qui est assez léger et qui tourne sur du téléphone. Donc, c'est aussi des choses à explorer.

• Manu

  Oui, ça, ça m'intéresse. Enfin, on le mettra dans les sources.

• Lulu

  Mais je sais que c'est toujours intéressant. Il y a quelques podcasts où j'avais écouté les personnes qui travaillent là-bas. Donc, ils font vraiment de la recherche. Et pas mal d'autres entreprises se basent aussi sur les modèles qui sont en open source. Voilà, on peut les retrouver sur Hugging Face. Et ce qui est cool, c'est qu'ils expliquent aussi comment ils ont affiné leur modèle. Ils ont vraiment payé des personnes, des comédiens, pour lire du texte.

• Manu

  finituner leur modèle avec ça. Voilà, ils sont vraiment spécialisés sur l'audio parce qu'ils pensent que c'est un peu le futur et effectivement on le voit que les interfaces se suppriment. Voilà, on a quand même des trucs assez cools en France. Et leur modèle, il fait anglais et français, mais c'est tout.

• Lulu

  Pas bien, mais ça je vais regarder d'ici le prochain épisode.

• Manu

  Oui, en plus leur modèle, ils ont des noms assez rigolos. Ah, il s'appelle Moshi.

• Lulu

  Moi aussi, c'est mignon.

• Manu

  Comme notre gros chat orange.

• Lulu

  Merci beaucoup, Lulu, de m'avoir accompagnée sur cet épisode. Je ne sais pas si tu as un mot de la fin avant qu'on se quitte et qu'on se retrouve la semaine prochaine pour un épisode sur la No Code Week.

• Manu

  Je ne sais pas encore dans quelles conditions on va enregistrer ça, mais ça va être marrant. Comme si on y était. Non, je n'ai pas... grand chose à rajouter si ce n'est que peut-être la prochaine fois on aura peut-être joué avec les LLM locaux pour la génération d'images on verra ce que ça a donné si ça a été pro bon ou pas c'est vrai qu'on n'en a pas parlé mais t'en as repéré un et voilà on reviendra dessus bah aussi on peut le citer même si on ne l'a pas testé c'est idéogramme ouais et il sera aussi dans les sources pareil sortir un moment sur Product Hunt enfin c'est pas bien Product Hunt parce que tous les jours je me retrouve avec oh ça a l'air trop bien ça

• Lulu

  Oui, alors si ça peut te rassurer, l'avantage, c'est que tu peux défricher pour les gens normaux qui ne vont pas sur Product Hunt et qui sont ravis qu'il y ait des gens comme ça qui passent leur vie dessus.

• Manu

  Moi, je reçois juste le mail tous les jours avec leur leaderboard et je regarde s'il y a des trucs qui m'intéressent. J'ouvre des onglets, après les onglets restent ouverts pendant très longtemps.

• Lulu

  Oui, j'ai vu pendant des années, je pense.

• Manu

  Ouais, non, mais tu n'as pas vu sur mon téléphone. Tu sais que, par exemple, sur Chrome... pas parce que j'ai encore Chrome sur mon téléphone, j'ai pas changé, mais quand t'as plus de 100 onglets ouverts, ça te met plus 100, ça te met un petit smiley.

• Lulu

  100 onglets ouverts.

• Manu

  Ouais, mais il y en a plus, là. J'ose même pas regarder combien...

• Lulu

  Oui, oui, mais t'as... Bon. Je regarderai un autre moment. Merci, Lulu, en tout cas. On espère que cet épisode vous aura plu et vous aura donné un petit peu d'ébille, et voilà. C'est des usages qui peuvent avoir du sens pour vous, la dictée vocale, clairement, l'enregistrement de réunion et ce type d'usages. Vous n'avez pas forcément besoin d'aller payer des abonnements en cloud ou d'avoir des super outils. Alors, c'est sûr qu'il y a des outils, mais je pense à Grano là, dont on entend parler aussi des fois pour l'enregistrement de réunion, où ça va être très fluide, très simple parce qu'il va se connecter automatiquement. Il y a aussi des vrais intérêts à ce type de solution, mais si vous avez envie d'aller dans davantage... justement de local, d'efficience et tout ça. On vous a filé des pistes, en tout cas, avec ce que nous, on utilise.

• Manu

  Et c'est simple, parce que même quand on télécharge un outil pour le faire, il propose directement d'installer le modèle. Il n'y a pas à aller chercher le modèle, le télécharger, dire qu'il est là. Enfin, voilà, si on a envie de tester rapidement, c'est faisable, ça reste accessible. Ça peut faire peur, mais finalement, tout est assez bien pensé, même pour l'open source, ce n'est pas juste pour les geeks.

• Lulu

  Non, ce qu'on a cité, à part Oliama, qui lui, je mets un peu à l'écart, parce qu'il est celui qui vous permet de centraliser un modèle pour le rendre disponible pour les autres, vous n'êtes pas obligé d'aller là-dessus, et lui il vaudrait mieux après vous faire assister par un IA, si vous voulez vraiment le mettre en place et que vous n'avez pas forcément les marques, mais tous les autres qu'on a cités, effectivement ils s'installent comme un programme classique, ils se paramètrent assez facilement, je crois qu'ils ont tous une interface en français, normalement.

• Manu

  même pour when je crois que tu passes le début où c'est un peu en anglais mais après une version française ça me fait penser typeless c'est un truc trop bien c'est la traduction elle a volé en anglais par exemple ou dans une langue par exemple on va parler en français et le texte va s'afficher directement en anglais et à chaque fois c'est un petit raccourci et ça c'est c'est vrai que c'est assez cool quand on a on est pas On discute avec des gens dans une autre langue. De ne pas parler, quitte après à aller le traduire ou même demander un EBLM. Voilà, juste dicter. Et ça le met directement dans la langue qu'on souhaite.

• Lulu

  Ça me fait penser à une dernière chose qu'on n'a pas dit sur les commandes vocales. Parce que dans Rowan, j'ai vu qu'il y en avait aussi dans OpenWhisper. Je ne les ai pas encore essayées. Mais c'est possible de mettre des raccourcis vocaux vers des choses de votre ordi. par exemple dans Vowen, ça y est sur le tutoriel, de dire ouvre moi la page de téléchargement et en fait il vous ouvre votre page de téléchargement de votre ordi et ça visiblement on peut le faire avec des raccourcis vers des sites et d'autres choses. Je ne vais pas tester pas creuser, mais sachez que c'est aussi présent dans ces outils et que potentiellement ça peut... Voilà, on se retrouve la semaine prochaine pour un épisode sur la NoCodeWeek. Dans deux semaines, on continuera un côté outils, on reviendra probablement un petit peu sur l'IA frugal aussi, enfin en tout cas sur la partie LLM loco, vu que moi j'aurais fait d'autres explorations, et tu nous feras aussi un débrief de ton retour après la NoCodeWeek. Très certainement des outils à tester, à voir, ou que tu auras entendu parler, ou que tu auras toujours plein d'outils, plein de choses, plein de pistes.

• Manu

  Oui, sûrement. Ce n'est pas bien, mais voilà.

• Lulu

  Bonne journée ou fin de journée, selon quand vous nous écouterez. Merci de nous avoir écoutés et n'hésitez pas à venir me parler si vous avez des questions, si vous voulez rebondir ou qu'on aborde d'autres sujets dans les prochains épisodes. Encore merci et on se retrouve la semaine prochaine.

• Manu

  Salut.