ia / agents conversationnel

Message Date Auteur Modérateur
En étant optimiste, dans 5 ans je suis au chômage. A mon taf on commence à utiliser des agents conversationnels d'aide à la (...)
En étant optimiste, dans 5 ans je suis au chômage.

A mon taf on commence à utiliser des agents conversationnels d'aide à la programmation, et... C'est n'importe quoi :
- Il fait le code à ma place, j'ai juste à reviewer son code à la fin. Il existe des cas où c'est plus rapide de programmer moi-même, mais en général (dès qu'il y a plusieurs chose à faire dans plusieurs fichier à faire interagir pour une même tâche), c'est plus rapide de le laisser faire puis vérifier.
- J'ai juste à lui expliquer "vaguement" ce qu'il faut faire.
- Il a compris l'essentiel de la teneur du projet sans que je lui explique. Avec quelques explications floues en plus, je suis sûr qu'il aurait pu le finir sans moi (je n'ai pas fait ça parce que je veux vérifier son code et pour ça il faut que j'opère tâche par tâche plutôt que tout faire d'un coup).
- Il a implémenté des trucs à partir de pseudo-code que je lui ai fourni.
- ... Mais il a même fait plus fort. "Ici c'est lent... or à cet endroit ce qu'on fait ressemble à inverser deux fois la matrice, il doit y avoir des formules pour faire sans inversion" -> il a trouvé les formules et m'a proposé de les implémenter (puis les a implémenté quand j'ai demandé) (si vous voulez plus de précisions, c'est des trucs basé sur les formules de Shur et/ou de Sherman–Morrison, dans des cas où on inverse la matrice, perturbe l'inverse, puis ré-inverse ; mais je lui a même pas donné les nom des formules relevantes, j'ai juste dit "ça ressemble à une double inversion").
- (sur un projet perso, pas au taf) Il pense à faire le genre de modif qu'on oublie de préciser à l'avance, puis auxquelle on pense parfois à l'implémentation, type "bon je programme telle checkbox et fais sa logique... Tiens au fait, quand on fait tel truc qui n'a rien à voir, il faut décocher la checkbox si elle est cochée parce que si l'utilisateur fait ça c'est qu'il ne veut pas cette checkbox à son prochain calcul".
- ... je pense que j'en oublie.

Bref, je suis passé d'un taf de conception/implémentation à "manager un stagiaire ia surdoué".

J'en ai profité pour prendre le même programme chez moi pour faire un projet perso... Qui me dépasse complètement (un truc où j'ai aucune des compétences nécessaires, autre que "je sais programmer"). Et donc, ben le projet avance vraiment vite. Pour donné un ordre de grandeur, en moins de deux heures on a fait la gui web locale (donc serveur, page, interactions...), ce qui m'aurait pris au bas mot deux semaines (me renseigner sur ce qui existe, tester, commencer à implémenter, débugger... Sur mon temps libre par ailleurs, donc pas 35h/semaine). En moins de deux ou trois soirées j'ai une base complète utilisable.

Bref, c'est une chose de savoir que de tels outils existeront/existent, c'en est une autre de voir à quel point ils sont déjà performants et à quel point on se retrouve pratiquement inutile à juste faire quelques vérifications et demander à l'ia les différents choix possibles.

Pour remettre en perspective, ChatGPT est sorti il y a un peu plus de 3 ans (30 novembre 2022). Et c'était de la merde (facile à faire halluciner, réponse pas du tout fiable, etc), quoi que vraiment impressionnant à l'époque de parler à un bot en langage naturel. Quand je dis que dans 5 ans je suis au chômage, il y a moins d'écart entre la merde qu'était chatGPT et l'agent qui programme à ma place maintenant, qu'entre maintenant et dans 5 ans : je ne vois pas comment quiconque peut avoir la moindre idée de ce que feront les ia conversationnelles dans 5 ans.

Je ne vois pas comment notre économie pourrait résister à cette lame de fond. A mon taf on voulait engager des spécialistes en applications web et des spécialistes ia pour certains projets, sachant qu'on en a besoin et qu'on est tous nuls à chier dans ces domaines... pourquoi on ferait ça maintenant ? On est nuls à chier, mais largement assez bons pour comprendre ces trucs si on nous les explique, reviewer les codes, etc : largement assez bons pour manager des ia le faisant. On est même probablement trop nombreux pour ces tâches.

Et mon taf, sans être au niveau d'un taf de recherche, est déjà technique : comprendre une problématique réelle, tenter de la translater en maths (compatible avec notre solution), étudier ces maths, conception de pseudo-code, implémentation. Si votre job est moins technique...

De l'autre côté il y a des points positifs : si je voulais je suis sûr que je pourrais programmer mon propre agent conversationnel d'aide à la programmation, en me faisant aider au départ par l'agent qu'on utilise au taf, et des modèles open-source que j'estime fiable. Et donc me libérer des agents conversationnel payants. Quand je vois à quel point j'avance vite sur mon projet perso où je n'y connais rien, rien ne me semble inaccessible.

On parle d'agent conversationnels en langage naturel, donc les trucs payant sont baisés : impossible de faire des outils propriétaires avec des problèmes de compatibilités et tout, le propre du langage naturel est d'être compatible avec tout (... ce qui parle la même langue). N'importe qui me semble maintenant pouvoir programmer, pour peu qu'il soit un peu prudent (qu'il prenne un agent conversationnel qu'il estime fiable et qu'il insiste sans cesse pour pas avoir de problème de sécurité). J'ai l'impression qu'à terme, les gafam sont mortes, parce que les méthodes de monopole ne peuvent pas fonctionner ici, et si tout le monde peut programmer ses propres outils... Et j'ai pas précisé, mais sur mon projet perso il a transformé un fichier texte où j'avais mis des données en vrac (un pense-bête en somme) en .json cohérent : vous avez même pas à connaître les formats de donnés généralement utilisés pour assurer la compatibilité avec d'autres trucs, vous faites votre propre format et le jour venu vous dites "rends-moi ça compatible avec ceci".


Bref, j'ai tendance à y voir globalement du positif. Sauf que l'économie... Je vois pas comment elle gère un changement si brusque si vite. Je parle de pratiquement tous les jobs "intellectuels" qui vont disparaitre dans moins de 10 ans : pas besoin d'un cabinet d'avocat, juste d'un avocat qui manage une ia qui va chercher les textes et jurisprudences et fais une base de plaidoirie et écrit les brouillons de mail et... etc, pour toute la partie de votre tafs qui demande de compiler et traiter des données, pas besoin de personnel (estimation d'un bien immobilier, répondre aux mails des vendeurs et acheteurs, gérer l'emploi du temps des visites en prenant en compte les temps de trajets ? -> ia. Faire un premier diagnostic médical et prévoir les analyses complémentaires pour affiner ? -> ia. Programmer l'ia répondant à vos besoins ? -> ia. etc).

Un système économique un peu intelligent gèrerait (autant d'"utilité" est fournie pour bien moins de travail ? Pas de problème, ce qui es produit est toujours fourni aux consommateurs comme avant, on réduit le temps de travail et on améliore les conditions de travail, et on ré-affecte certains travailleur - il n'y a pas de raison que seuls les travailleurs dans les services en profitent quand on peut aussi améliorer les conditions de travail des agriculteurs en leur octroyant des travailleurs qui ne sont plus nécessaire dans les services et en en profitant pour rendre ces travail moins pénibles et plus désirables) (ma parenthèse est très "mécaniste" avoir les travailleurs comme ressource de age of empire, mais vous voyez l'idée générale) ; mais le système capitaliste ??? J'ai envie de dire "lol", mais c'est un lol très sombre et amer. Au lieu du paradis on va avoir l'enfer...


EDIT : REMARQUE SUR LE SUJET : je souhaiterais qu'on exclut toute conversation sur "la destruction de l'humanité par les IA"/la singularité/comment être sûr de contrôler les ia... Bref, sur ce sujet on est dans le monde des bisounours où les ia sont fiables, gentilles, honnêtes etc. Et j'ai déjà l'impression que ça nous mène droit à des horribles dystopies, c'est là-dessus que j'aimerais l'avis de gens compétents et moins compétents.

13/02 (13:10) gloubi  
Sur ce sujet précis, il y a cet article court (Something Big Is Happening qui a été publié très récemment ; ce qu'il y a (...)
Sur ce sujet précis, il y a cet article court (Something Big Is Happening qui a été publié très récemment ; ce qu'il y a d'intéressant je trouve c'est que derrière la "hype" sur l'IA il y a quand même une progression continue et impressionnante des outils depuis 3 ans.

Je trouve qu'il y a plusieurs enjeux distincts :

--> est-ce que ça va changer notre travail au quotidien ? Clairement oui, par ex. via de la GenAI intégrée des plus gros (coding ?) aux plus petits de nos besoins : prise de note en meeting (à ce sujet l'AI de Notion est vraiment bluffante dans sa capacité à structurer les points clefs !), auto-filling à notre place des messages, etc. Mais finalement est-ce grave ou si important ?

--> est-ce que ça va faire disparaitre notre travail ? En partie seulement : je vais prendre 2 exemples :
----- dans ma boite on embauche encore des Product Designers et des UX Researchers, alors qu'en théorie on pourrait se dire que l'IA fait tout : mais il y a toujours le besoin "humain" d'aller voir les gens et s'assoir avec eux, pour comprendre leurs besoins, les orienter, etc. (au même titre que ce que peux faire un médecin généraliste par ex.)
----- et en terme d'expertise, on est encore loin de la dernière étape : par ex. peut-être que l'IA juridique saura créer un contrat clef-en-main en 2 minutes, mais derrière il faudra toujours (i) réfléchir à ce qui est important dans le contrat ou non, (ii) valider ou non les risques / enjeux du contrat dans le cadre d'une négociation. Et cela ça ne disparaîtra pas de sitôt.

--> est-ce que ça va faire disparaitre le travail en général ? J'en doute fortement ; ce que je vois plutôt c'est une démultiplication de ce qui peut être fait par tout un chacun, i.e. un gigantesque gain de productivité et du "niveau moyen" de ce que tout un chacun. A l'exemple de ton projet personnel : ce qui t'aurais pris 2 semaines te prend qques heures. Ce que ça veut dire c'est que beaucoup de choses vont devenir encore plus "plug and play", par ex. si qqun veut lancer son propre jeu vidéo, veut créer son site web, etc.... Et je ne saurais pas dire si c'est mal ou bien en soi.


Mon avis reste positif aujourd'hui ; et plus largement je me dis aussi qu'il risque d'y avoir un revirement idéologique sur comment taxer et intégrer les IAs à la société : si les IAs/agents deviennent vraiment très productifs, viendra la question de comment redistribuer la valeur ajoutée. Et étonnamment ce que je trouvais être un point de vue radical et fantaisiste ("taxer les robots") il y a qques années, est en train de devenir quelque chose de plus en plus réaliste.

13/02 (15:43) Maki [*n] Ling  
@Maki Ling je te répondrais un moment ou un autre. J'ai juste oublié un truc complètement fou que m'a fait l'agent (...)
@Maki Ling je te répondrais un moment ou un autre.

J'ai juste oublié un truc complètement fou que m'a fait l'agent conversationnel : mon projet était dans un dossier avec un accent, et à cause de problèmes d'encodage ça empêchait l'agent de bien mettre les path (parce que la console de l'agent avait un autre encodage ou un truc du genre, et parce que le programme le laisse pas ouvrir une console dans le dossier mais seulement à la racine du disque ou je sais pas quoi, du coup il pouvait ni écrire de path totaux ni utiliser de path relatifs). Du coup je lui demande les solutions possibles, et lui dit qu'au pire je peux déplacer le projet. Finalement j'opte pour déplacer le projet (les solutions proposée ont l'air chiantes, et le projet était pas au bon endroit de toute façon). Et par flemme, je lui dis "bah vas-y déplace". Et là en surveillant d'un oeil, je me rend compte d'un truc bizarre : au lieu de faire quelques commande console avec un cp, il semble lire les fichiers et les recopier "à la main" (si les agents conversationnels avaient des mains pour taper sur un clavier). Du coup je lui demande, et comme à ce moment là je suis pas sûr des permissions qu'il a etc, je fais des hypothèses comme quoi il a pas accès aux lignes de commandes ou je sais pas quoi...

... Il me répond, à la cool "bah oui mais avec le problème d'encodage je peux pas mettre le path du dossier où on est (où les fichiers sont actuellement) [et il me rappelle que les consoles qu'il utilise sont pas ouvertes dans le dossier mais à la racine du disque]. Donc je peux pas écrire les arguments du cp. Donc je lis et je copie, 'à la main' comme tu dis - vu que j'ai pas à écrire le path pour lire un fichier dans le dossier courant."


Je trouve ce genre de prises de décisions complètement folles. Dans ma tête il y a peu de temps, on en était encore aux agents qui iraient se casser les dents sur une copie et me dire que ça marche pas (éventuellement en me signalant le problème après coup), pas à un agent qui comprend qu'il peut pas utiliser la méthode "normale" de copie de dossier avant même de tester (et avant moi), qui recherche une autre solution possible, puis applique son autre solution.

13/02 (21:34) gloubi  
Maki Ling a écrit : ----- et en terme d'expertise, on est encore loin de la dernière étape : par ex. peut-être que l'IA juridique (...)
Maki [*j] Ling a écrit :

----- et en terme d'expertise, on est encore loin de la dernière étape : par ex. peut-être que l'IA juridique saura créer un contrat clef-en-main en 2 minutes, mais derrière il faudra toujours (i) réfléchir à ce qui est important dans le contrat ou non, (ii) valider ou non les risques / enjeux du contrat dans le cadre d'une négociation. Et cela ça ne disparaîtra pas de sitôt.

C'est justement ce que j'essaies d'expliquer, de même que l'article que tu as mis en lien : on n'en est déjà plus là.

Les ia capables de rédiger un contrat clé en main une fois qu'on leur a expliqué ce qui est important, c'était un rêve il y a deux ans. Aujourd'hui, on en est aux ia qui réfléchissent elle-même aux risques et enjeux en leur donnant juste le contexte (les mails du client, de la partie adverse, les conversations, les documents officiels) puis qui font le contrat. Et puis tu peux relire le contrat... Et directement lui poser des questions sur pourquoi elle a fait tel ou tel choix. Et te rendre compte qu'elle a (presque) toujours raison, et te contenter de valider ses choix parce que ni toi, ni tes associés ne feraient un meilleur contrat, au mieux vous passerez du temps à faire aussi bien (mais un peu différent ici et là).

Reste la partie négociation, en effet... Et encore. Je veux dire, dans le monde réel, combien de fois t'es-tu contenter de valider ce qu'avait négocié un autre ? Ton courtier d'assurance (si toi ou ta boîte en a un), tu lui as demandé de plus négocier ceci et cela ou tu as juste validé la proposition qu'il avait obtenu ? Ton agent immobilier (si tu as acheté ou vendu un bien immobilier en passant par une agence), tu lui a demandé de plus négocier tel point avec l'autre partie ou tu lui as juste dit "oui" ou "non" ? Et pour un avocat, il me semble qu'une partie du job est de faire accepter au client "je vous conseille de signer ça, on n'obtiendra pas mieux au tribunal" : c'est-à-dire, faire en sorte que le client valide ce qu'ont négocié les avocats pour eux. Au final dans l'essentiel des cas, même la négociation pourrait aussi bien se faire entre ia, avec une simple validation/non-validation des parties humaines à la fin, parce que c'est déjà comme ça que ça marche : d'autres négocient, les parties prenantes valident ou non l'accord obtenu entre les négociateurs.


... Mais soit, maintenant partons du principe que tu as raison, et que l'ia peut juste écrire le contrat après qu'un humain ait évalué les risques et enjeux et avant qu'un humain ne négocie ce contrat.

On passe donc de "un avocat, son associé, un stagiaire et un secrétaire pour lire les mails, planifier les rendez-vous, discuter avec les clients, lire le dossier, vérifier les jurisprudences et les lois, se renseigner sur les risques réels et ce qui est déjà arrivé, et enfin rédiger le contrat" à "un avocat et une ia pour faire tout ça, et plus rapidement donc pouvant traiter 2 fois plus d'affaires". Donc même dans ton cas tu as mis 7 personnes au chômage (l'associé, le stagiaire, le secrétaire et les 4 personnes du cabinets d'avocats que tu vient de mettre au chômage en traitant deux fois plus d'affaires).

... Alors soit, comme tu dis, s'asseoir avec les gens pour comprendre leur besoin c'est bien, donc tu engages des Product Designers et des UX Researchers... Sauf qu'on vit dans un monde capitaliste avec une concurrence libre et non faussée et toutes ces conneries. Reprends l'exemple de l'avocat : soit tu es celui qui vire tous son personnel, traite deux fois plus de dossier et en profite pour diviser ses tarifs par 4 (tout en touchant toujours plus d'argent). Soit tu es le cabinet qui a fait faillite à cause du cabinet qui a viré tout son personnel et divisé ses tarifs par 4. C'est pas un choix, dans le système tel qu'il est tu dois virer tout le monde et travailler avec des ia si tu veux pouvoir faire face à la concurrence qui le fait.


ce que je vois plutôt c'est une démultiplication de ce qui peut être fait par tout un chacun, i.e. un gigantesque gain de productivité et du "niveau moyen" de ce que tout un chacun. A l'exemple de ton projet personnel : ce qui t'aurais pris 2 semaines te prend qques heures. Ce que ça veut dire c'est que beaucoup de choses vont devenir encore plus "plug and play", par ex. si qqun veut lancer son propre jeu vidéo, veut créer son site web, etc.... Et je ne saurais pas dire si c'est mal ou bien en soi.

Mon avis reste positif aujourd'hui

Je suis d'accord avec tout ça (y compris sur le côté positif) (je répète l'édit du premier post : j'exclus dans ce sujet les ia malveillantes, qui méritent leur sujet à part ; quand j'exclus ça, j'y vois que du positif).

Le problème, c'est que le système économique ne peut pas encaisser ça, et que je pense pas que quelques rustines suffiront à l'adapter. Tout le monde ne peut pas gagner sa coûte en devenant développeur de jeux vidéos, la demande ne va pas exploser à ce point (et la demande de petits jeux indés ne me semble pas si grande).

14/02 (12:55) gloubi  
gloubi a écrit : En étant optimiste, dans 5 ans je suis au chômage. Ok, alors partons de là, parce qu'au final, c'est ça qui (...)
gloubi a écrit :

En étant optimiste, dans 5 ans je suis au chômage.


Ok, alors partons de là, parce qu'au final, c'est ça qui devrait t'inquiéter le plus non ?
Tu es salarié, tu ne décideras pas de la politique de la boîte dans laquelle tu bosses, mais en revanche, tu peux anticiper les événements.

Qu'est-ce qui pourrait faire que ton boss te conserve malgré l'évolution de ton taf que tu dénonces ?
En admettant qu'effectivement en l'état actuel des choses, tu ne serves plus à rien dans ton entreprise dans 5 ans et que tu te fasses virer, vers quoi peux tu faire évoluer ton métier pour qu'il ne soit pas complètement obsolète ? Des formations complémentaires ? Un revirement à 180° ?

Je te demande ça parce que beaucoup de métiers, comme tu l'as dit, risquent de disparaitre du fait de l'IA, et qu'il est complètement utopique de s'imagine que ce gain productif profitera aux personnes qui en subiront les effets. On est dans un monde capitaliste, là aussi ni toi ni nous ne pourrons agir pour changer ça radicalement. Donc l'idée c'est d'anticiper ta propre obsolescence.

14/02 (17:09) Arnold de Schartzenprout  
S'il s'agit de s'occuper de mon petit cas personnel à moi et ce que je vais faire tout seul dans mon coin, je compte pas en discuter (...)
S'il s'agit de s'occuper de mon petit cas personnel à moi et ce que je vais faire tout seul dans mon coin, je compte pas en discuter avec toi mais avec quelqu'un de compétent : une ia conversationnelle. Ici le but c'est de partager mon expérience pour partir en généralisation avec des gens qui auraient la même expérience/une autre/n'auraient pas regardé l'évolution des ia/autre, c'est bien pour ça que j'ai posté sur politique et société et pas sur entraide. Mon cas n'a d'intérêt que pour lancer le sujet, et indiquer ce que peuvent faire les ia de programmation à partir d'un cas réel pour ceux qui ne suivent pas l'actualité ia.

Mais si tu t'inquiète pour moi, laisse-moi te rassurer : tant que Mélenchon n'arrive pas au pouvoir, j'ai assez de capital pour ne pas avoir à m'inquiéter avant un bon moment (peut-être même jusqu'à ma mort). A moins que toute l'économie ne s'écroule évidemment, et dans ce cas c'est pas trois formations complémentaires et un virage à 180° qui y changeront quoi que ce soit.

14/02 (17:41) gloubi  
C'est bien de tout ceux qui seront impactés par la même problématique auxquels je pense, pas à toi en particulier. A moins que tu sois le (...)
C'est bien de tout ceux qui seront impactés par la même problématique auxquels je pense, pas à toi en particulier. A moins que tu sois le seul au monde à faire ce métier mais j'en doute.
Tu sembles présenter cette évolution comme la fin de ton monde et du monde de plein de gens. Ben que vas tu faire ? Que peuvent-ils faire ? Il n'y a véritablement pas de place pour vous dans le futur ?

14/02 (18:40) Arnold de Schartzenprout  
gloubi a écrit : Alors - grande première pour moi sur pol&soc. Je suis compétent pour parler du sujet; je travail dans le domaine de l'IA en (...)
gloubi a écrit :
Alors - grande première pour moi sur pol&soc. Je suis compétent pour parler du sujet; je travail dans le domaine de l'IA en entreprise depuis avant que les LLMs aient débarqué et de fait, forcément j'ai pleins d'opinions (but this time I can back it up).

Je vous avertis à priori que bien évidement c'est très subjectif et que ce n'est que mon avis - et sans vouloir faire de plugs - ma seule source de crédibilié vient du fait que je travail chez hopsworks.ai, une boite de software suédoise spécialisée dans l'infrastructure pour intelligence artificielle depuis 2018 (nottament issue de KTH). Si vous cherchez dans les blogs du site vous verrez mon dernier blog sur le vibe migrating, en partie lié au sujet du coup.

- Il fait le code à ma place, j'ai juste à reviewer son code à la fin. Il existe des cas où c'est plus rapide de programmer moi-même
.
Dire qu'il existe des cas, cest sous entendre qu'il en existe ou ce n'est pas le cas - Je pense sincèrement que tu copes, si c'est ce que tu penses; il n'existe peu de circonstances ou ce ne serait pas plus rapide de lancer une team claude code pour faire ton job, au pire à 80% de la qualité que tu produits, mais en deux heures au lieux de deux sprints.

Ce que l'on voit, beaucoup, cest la fin d'un certain type d'ingénierie; dans mon entreprise on essaie de rationaliser cela depuis Avril dernier. Mais depuis disons Novembre plusieurs choses sont très claires pour nous:
- La fin d'une vision purement verticale / isolée d'ingénieur. Cela est devenue un (gros) frein; les teams chez nos clients comme chez nous, ou les ingénieurs n'ont pas la capacitée de conceveoir le produits de leur travail de façons disons "holistique" (sans vouloir utiliser du consulting-speak), son franchement en retard; mais freinent les autres sur la capacité d'implémentation. Donc, next point;
- Être capable de comprendre le produit / le marché est devevenu plus important que de savoir coder proprement.
- Tous les layers d'orchestrations, automatisations, wrapper sur des APIs vont sans doutes disparaitre; je peux vibe coder un headless crm/cms sur un vm ovh en deux heures, jai pas besoin de payer 200 balles a hubspot ou 2000 a salesforce pour cela. (traduction pour les moins techos; jai pas besoin de payer un service menssuel, si je peux le faire moi meme)
- Tester le code va devenir plus important que de savoir faire du code - si tu es capable de produire 10k lignes en un weekend; personne ne va review tes PR. Cest le gros bottleneck que l'on voit en ce moment. Shipper du code infra vibe coder cest quand meme dangereux.

je ne vois pas comment quiconque peut avoir la moindre idée de ce que feront les ia conversationnelles dans 5 ans.

Vrai.
Mais - et je conçois que ce puisse être que peu de soulagement -,
Les progres que tu vois aujourdui cest des progrès software, pas des progrès de l'IA sous jacente tant que cela; les amélliorations des LLMs en eux même sont relativement marginales, ils sont meilleurs, mais pas tant meilleurs que cela. La grosse différence ce sont les software qui ont poussés entre temps autour de l'écosystem LLM pour arriver a leur donner un sandbox. Avant Claude Code, il y a eu pendant un moment Lovable (un wrapper UI); en un an, on peut dire que leur differentiateur est presque anéantis; ils vivent que du marketing basé sur les faits que les gens ne savent pas qu'ils peuvent faire mieux moins cher plus vite.

La trend cest la comodification... en partie grace a des pays comme la chine qui maintiens au moins en partie un écosystem pro-opensource. Ce que fait Anthropic avec disons un opus 4.6 aujourd'hui. Je pense, que dans 5 ans tu l'as qui tourne sur un VM perso; ils se fagocitent eux mêmes.

Je ne vois pas comment notre économie pourrait résister à cette lame de fond
.
Bah, si tu as une idée, que tu penses que cette idée est utile. pour 200 balles par mois tu vas pouvoir faire ton propre trucs et si les gens se disent que le cout / temps / valeur est toujours avantageux pour eux de te payer plutot que de le maintenir; tu as un service qui est vendable et utilisable.

En vrai - cest comme aujourd'hui, sauf que tu as un effet d'enthropie bien plus rapide.

le propre du langage naturel est d'être compatible avec tout
.
Alors oui et non; mais il y'a un point très interessant sous jacent - et pour les gens un peu plus technique qui n'y ont pas pensé; cela veux dire la mort des DLS (domaine specific language).

14/02 (22:19) Tyller  
Tyller a écrit : Dire qu'il existe des cas, cest sous entendre qu'il en existe ou ce n'est pas le cas - Je pense sincèrement que (...)
Tyller a écrit :

Dire qu'il existe des cas, cest sous entendre qu'il en existe ou ce n'est pas le cas - Je pense sincèrement que tu copes, si c'est ce que tu penses; il n'existe peu de circonstances ou ce ne serait pas plus rapide de lancer une team claude code pour faire ton job, au pire à 80% de la qualité que tu produits, mais en deux heures au lieux de deux sprints.

Non je cope pas (... je *pense* pas coper), je peux reformuler : parfois c'est plus rapide de coder que d'expliquer ce que tu veux. Ou comparable (mais passer par ta team claude, ça veux dire expliquer, attendre que le message soit traité, attendre le code, reviewer : si ça te prends 3 minutes à expliquer et 5 minutes à coder, ça reste plus rapide de coder).

Evidemment c'est pas sur les même ordre de grandeur que "deux heures pour la team claude" : si le truc ne te prend ne serait-ce que une heure (et donc un temps négligeable pour l'ia), c'est sans doute plus rapide de passer par l'ia. Le cas que je dis, c'est surtout une fois que ton ia a codé l'essentiel : tu testes, tu vois qu'ici et là c'est pas exactement le comportement que tu veux (tel bouton est pas exactement où tu veux, à la réflexion il serait mieux dans tel onglet, il décoche pas telle checkbox qui devrait être décochée dans ce cas...), à ce stade ça peut être plus rapide de modifier que de demander une modification.

Et le temps d'explication peut exploser avec l'aspect technique. Quand je dois expliquer une opération matricielle à l'ia ("ici il faut inverser, perturber ceci comme ça, extraire cette partie, la mettre comme bloc de telle autre matrice..."), je m'assure de lui expliquer le but "non-mathématique", et le lien avec les maths, histoire d'être sûr qu'elle "comprenne" pourquoi on fait ces opérations bizarres et "intuite" pas autre chose (... et elle est très forte à intuiter des trucs juste - genre, en créant un parser pour une matrice symétrique sparse depuis un fichier texte, elle a ajouté d'elle-même la partie sous-diagonale, sachant que j'avais oublié de lui précisé que le fichier ne contenait que la partie sur-diagonale ; mais elle savait que la matrice était diagonale et avait le fichier à parser sous les yeux. Elle a une bonne intuition, mais je veux pas qu'elle intuite des trucs faux par manque de contexte). Quand le côté technique rend le tout long à expliquer, ça peut être plus rapide de le coder.

Note annexe puisque je parle de matrices : je fais 100% confiance aux librairies d'algèbre linéaire de python (autant en terme de justesse que d'optimisation). Pourquoi je ferais pas aussi 100% confiance à du code d'ia, une fois que j'ai constaté directement que son code était fiable dans tel contexte ? (cette question ne s'adresse pas à toi, mais ça ceux qui estiment l'ia pas fiable "par nature") (enfin si ça s'adresse un peu à toi concernant le PR - mais ici un point clé est "dans tel contexte" : pour l'instant j'ai pas demandé à l'ia de faire un projet entier, je l'ai pas utilisé avec des bases de données complexes etc : il y a plein de contextes où j'ai pas appris à lui faire confiance).


- Tester le code va devenir plus important que de savoir faire du code - si tu es capable de produire 10k lignes en un weekend; personne ne va review tes PR. Cest le gros bottleneck que l'on voit en ce moment. Shipper du code infra vibe coder cest quand meme dangereux.

Là j'ai l'impression que c'est toi qui te base sur ce qui existe à cet instant précis. Qui "cope", comme tu dis. (... oui j'avoue, j'ai demandé à une ia de me traduire des parties de ton post, parce que ça jargonait trop pour moi x) )

... Qu'est-ce qui empêche *théoriquement* des ia de tester, reviewer, etc ? Tester du code, c'est encore plus automatisable que l'écrire. Et bien plus chiant, c'est pour ça que les développeurs le font souvent mal. Mais tu sais qui est très doué pour les tâches automatiques, et qui ne rechigne jamais à faire une tâche chiante ? Et je ne parle pas forcément d'une seule ia qui review à partir de ce que lui dit l'ia qui a écrit le code : ça peut très bien être plusieurs ia, se basant sur les consigne de départ et n'écoutant pas ce que disent les devs, et chacune avec des exigences prioritaires différentes (sécurité, optimisation, besoin client, etc). Bref, un ensemble d'ia aussi toxique que peut l'être un studio de développement.

Si rien ne l'empêche théoriquement (... et sans doute avec des idées 1000 fois meilleures que ce que je viens de poser rapidos), alors le fait que ça n'existe pas actuellement... Sachant qu'on sait que le besoin existe puisque c'est le bottleneck actuel... Est-ce que tu peux dire que ça n'existera pas, et de façon plus fiable que ce que font les humains actuellement, dans 6 mois ? Un an ? Deux ans ? Cinq ans ? (Et je rappelle que "dans 5 ans", c'est plus loin que "depuis la première version publique de chatgpt")



Arnold de Schartzenprout a écrit :

Tu sembles présenter cette évolution comme la fin de ton monde et du monde de plein de gens. Ben que vas tu faire ? Que peuvent-ils faire ? Il n'y a véritablement pas de place pour vous dans le futur ?


Bah je t'ai déjà répondu :

gloubi a écrit :

A moins que toute l'économie ne s'écroule évidemment, et dans ce cas c'est pas trois formations complémentaires et un virage à 180° qui y changeront quoi que ce soit.

et
je ne vois pas comment quiconque peut avoir la moindre idée de ce que feront les ia conversationnelles dans 5 ans.

15/02 (11:55) gloubi  
gloubi a écrit : Fair enough sur le reste, mais; ... Qu'est-ce qui empêche *théoriquement* des ia de tester, reviewer, etc ? Tester du (...)
gloubi a écrit :

Fair enough sur le reste, mais;
... Qu'est-ce qui empêche *théoriquement* des ia de tester, reviewer, etc ? Tester du code, c'est encore plus automatisable que l'écrire.


Alors automatiser l'ecriture des tests. Oui.
Automatiser la pratique de faire passer des tests. Oui aussi.

Sauf que si cest pas une feature très isolée dans un produit relativement simple, on a trois gros problèmes;
1 - l'ia n'a aucune comprehension 'produit' et cela n'a pas l'air d'etre facile a inculquer; si cela passe un test pour dire que le API est healthy, cest bien, mais ca te dit rien du fait que peut etre cet API casse le use-case d'une autre partie de la platforme car;
2 - Context explosion (les tests demandent beaucoup de tracing/lecture de contenu) + enchitification (aka dumb zone).
3 - Cross-context limitation; en gros, bah une 'instance' d'agent n'a de memoire et de contexte que durant l'existance de cette instance, ils peuvent communiquer un petit peu entre eux mais cest franchement pas d'un gros interet vu que cela tends aux points 1 et 2 encore plus rapidement.

Tu te retrouves avec une sorte de catch-22; si tu veux ameillorer faut que les contextes soient plus larges, si tu les elargis trop la qualité drop, si la qualité drop la fiabilité des reviews est moins bonne.

Ces points font que les reviewers sont toujours utile et le seront sans doutes encore plus dans un contexte ou les platformes et produits vont se complexifier bien plus rapidement bien plus facilement avec bien plus de dépendances. du coup un unit test ou regression test ne suffira plus et faudra pouvoir voir comment accepter de laisser passer du code dont on ne sait pas tout (ou trouver des moyens de le tester plus efficacement).

Après en effet, c'est le state of now. Dans le turfu on sait pas.

15/02 (12:32) Tyller  
Tyller a écrit : 1 - l'ia n'a aucune comprehension 'produit' et cela n'a pas l'air d'etre facile a inculquer; si (...)
Tyller a écrit :
1 - l'ia n'a aucune comprehension 'produit' et cela n'a pas l'air d'etre facile a inculquer; si cela passe un test pour dire que le API est healthy, cest bien, mais ca te dit rien du fait que peut etre cet API casse le use-case d'une autre partie de la platforme car;


Pour avoir un LLM qui review des MR (en première instance pour éliminer les trucs de base, il y a toujours relecture par un dév), je suis pas si sûr de ça.
J'ai plutôt l'impression de voir l'IA surprotéger en mentionnant qu'il y a un risque de breaking change que l'inverse.

Après je ne sais pas quel est la limite entre un produit "simple" et "compliqué" pour toi (on ne travaille peut-être pas aux mêmes échelles ^^)

15/02 (12:57)  
K a écrit : Alors c'est très plausibe - Je n'en doutes pas même une seconde. Mais je disais cela surtout en supposant les nouvelles (...)
K a écrit :
Alors c'est très plausibe - Je n'en doutes pas même une seconde. Mais je disais cela surtout en supposant les nouvelles pratiques que je vois emerger, nottament les gros PR de plusieurs milliers de lignes qui touchent parfois des dizaines de fichiers, parfois sur plusieurs répositories. Genre cela;



C'est pas forcément que ce soit une grosse platforme ou un produit complexe, cest que les ingénieurs ont maintenant la capacité de faire des morceaux plus gros, bien plus gros. du coup là tu peux lancer un agent de review (et on l'a fait) et je dirais que la moitié des commentaires étaient du faux-positif par ce que le contexte n'était pas assez solide.

Mon argument c'est que le monde de l'ingénirie se dirige vers cela. Versus, des modifs sur deux trois fichiers qui vont être reviewed par un petit LLM pepouse un peu trop strict.

15/02 (14:03) Tyller  
Tyller a écrit : OK Je ne vais pas dire que tu m'as totalement convaincu, mais au moins je comprends les problèmes spécifiques qui (...)
Tyller a écrit :

OK

Je ne vais pas dire que tu m'as totalement convaincu, mais au moins je comprends les problèmes spécifiques qui rendent la review automatisée très difficile. Et tu as une meilleure expertise et une vision plus claire que moi sur le sujet, à ce stade je ne peux même plus t'apporter de contradiction qui me convainc moi-même sur pourquoi je ne suis pas convaincu x) .



Le sujet de base reste en grande partie : que ce soit 90% des métiers de service qui disparaissent en quelques années, ou 40%, ou même 20%, ça reste un choc que notre économie capitaliste ne peux pas encaisser. 20% ça peut sembler peu, mais au-delà des situations personnelle dramatiques ça signifie une chute de la demande qui se répercute sur toute l'économie : une énorme crise de l'ensemble de l'économie (oui je prends l'argument de droite exprès, le Curieux tu peux me dire de m'acheter une humanité).

Et de l'autre côté, si l'on sort des projets pharaoniques (que de petites équipes de dev peuvent donc maintenant se permettre grâce à l'ia, mais doivent reviewer eux-même), l'ia est extrêmement performante pour des petits projets perso où l'on n'y connaît pas grand-chose et qu'on n'aurait jamais pu faire soi-même (j'ai déjà un outil perso de génération d'images, dès que j'ai le temps je me fais un petit outil perso pour écrire mes partitions - l'outil le plus simple que j'avais vu était payant au bout d'un mois - , etc) (le point clé de ces projet est qu'il sont petits parce que personnels, ils n'ont pas à gérer tout ce dont peuvent avoir besoin tous les gens du monde, juste les options qui moi me servent moi et ne m'embrouillent pas. En principe sur ce genre de projet perso on n'arrive pas à l'explosion contextuelle).

16/02 (10:12) gloubi  
gloubi a écrit : Je ne vais pas dire que tu m'as totalement convaincu, mais au moins je comprends les problèmes spécifiques qui rendent (...)
gloubi a écrit :

Je ne vais pas dire que tu m'as totalement convaincu, mais au moins je comprends les problèmes spécifiques qui rendent la review automatisée très difficile.

Ouais t'inquiètes pas - étant moi même dans le métier je ne suis sûr d'absolument rien :D

Le sujet de base reste en grande partie : que ce soit 90% des métiers de service qui disparaissent en quelques années, ou 40%, ou même 20%, ça reste un choc que notre économie capitaliste ne peux pas encaisser.

Juste je suis pas totalement clair sur le bridg entre comment l'IA va remplacer des devs et comment ces métiers de services vont disparaitre. la technologie est rapide et tout, mais le big data ça a 20 ans. Les gens bossaient avant quand même.

16/02 (12:45) Tyller  
gloubi a écrit : le Curieux tu peux me dire de m'acheter une humanité Non. Je lis la conversation, je la trouve déprimante, parce que (...)
gloubi a écrit :

le Curieux tu peux me dire de m'acheter une humanité


Non. Je lis la conversation, je la trouve déprimante, parce que l'enthousiasme autour des IAG et de leurs performances cache pour moi la majeure partie des enjeux éthiques. Oui les IAG sont efficaces (dans certains contextes), comme une mine anti-personnelle. Leur utilisation massive n'est quand même pas une fatalité.

En ce qui me concerne, je n'en utilise pas, mon secteur d'activité ne peut pas en utiliser pour tout un tas de raisons, et je mesure la chance que j'ai de savoir que ma valeur ajoutée n'est pour le moment pas concurrencée par des IAG.

16/02 (14:29) Un[*b]curieux  
Un curieux a écrit : Oui les IAG sont efficaces (dans certains contextes), comme une mine anti-personnelle. Leur utilisation massive n'est (...)
Un[*b]curieux a écrit :

Oui les IAG sont efficaces (dans certains contextes), comme une mine anti-personnelle. Leur utilisation massive n'est quand même pas une fatalité.


Alors peut être que c'est un problème de compréhension de ma part (franglais et tout), mais cela n'existe pas les AGI.

16/02 (15:26) Tyller  
Tyller a écrit : IAG : IA génératives. Je (...)
Tyller a écrit :

IAG : IA génératives. Je pense.

16/02 (15:34) gloubi  
gloubi a écrit : Tyller a écrit : IAG : IA génératives. Je pense. Makes sense. Thank. Évidement j’avais Google rapidement et je (...)
gloubi a écrit :

Tyller a écrit :
IAG : IA génératives. Je pense.


Makes sense.
Thank.

Évidement j’avais Google rapidement et je suis tombé sur french-definition/IAG

16/02 (18:08) Tyller  
Related : It Turns Out That Constantly Telling Workers They’re About to Be Replaced by AI Has Grim Psychological (...) 18/02 (16:20) Un[*b]curieux  
La vache, topic anxiogène. Je suis aussi dans le domaine, côté recherche, mais je viens d'un background ingenierie logiciel. L'IA (...)
La vache, topic anxiogène. Je suis aussi dans le domaine, côté recherche, mais je viens d'un background ingenierie logiciel.

L'IA générative pose beaucoup de problèmes éthiques (valeur du travail, écologique, source de données, "delegated thinking"), dont il est assez difficile de débattre, les réactions des deux camps étant assez extrême.

Pour le problème du travail en particulier, c'est quelque chose qui me travaille pas mal, et je ne vois pas vraiment de "solution" pour rester dans le mode qu'on avait avant. Les IAs génératives existent, on ne va clairement pas les arrêtées, et je doute qu'un cadre légal efficace soit réellement mis en place tant les bénéfices de l'usage sont grands (mais je serai ravi d'avoir tord).

Ceci dit, ce que je vois autour de moi et que j'ai vu par le passé, c'est que les équipes devs ont toujours un backlog de 2-3 ans qui ne fait que s'aggrandir avec des PMs qui passent leur temps à jongler les priorités. Donc a priori il y a quand même du travail à abattre même si on divisait le temps d'implémentation significativement.
Accélérer l'aspect programmation, même de 75% ce n'est pas accélérer l'ingénierie logiciel de 75%, on a déjà parlé des reviews, mais il ya aussi une question d'architecture logicielle. Si on ne fait qu'empiler du code généré sans faire attention à ce qu'on fait, le passage à l'échelle et la maintenance risquent d'être douloureuses.
Je pense aussi que l'expertise profonde dans un langage/framework particulier aura sans doute plus à voir avec de la vérification que de la génération de code. Mais si tu as un système critique à mettre en place, je pense que tu préfères quand même que la personne qui le met en place comprenne ce qu'il se passe plutot que de simplement cliquer sur "ok" et croiser les doigts pour que ça crash pas chez 50% des utilisateurs.

Finalement, une bonne partie de mon job est d'implémenter des choses, mais une plus grande partie est de comprendre quoi implémenter, quelles possibilitées explorer, communiquer avec mes collègues, etc... Tout ça peut être aidé par une IA chat, c'est certain, mais je reste en charge de la prise de décision et de l'exécution. Mon chef pourrait peut-être le faire, mais ça nécessiterait qu'il laisse tomber un paquet de ses tâches pour se libérer le temps de cerveau nécessaire (et qu'il se souvienne comment lire du code quand même). Bosser sur une feature ou un problème ça veut dire prendre le temps de le comprendre, ce context switch n'est pas gratuit. Tu peux demander à une IA, mais là aussi tu va devoir vérifier que la solution proposée répond bien à ton usage (donc il faut que tu comprennes bien ton usage, et tu t'interdis aussi la possibilité de trouver mieux en explorant).


Pour ce qui est de l'aspect technique. Le deep learning a le vent en poupe depuis au moins 13 ans (si on compte AlexNet comme le moment d'inflexion), et a été exploré pendant des décennies avant ça. L'achitecture Transformer c'est 2017 (Attention is all you need). C'est pas une révolution du jour au lendemain non plus.
Ce qui a changé c'est l'échelle des données et de la puissance de calcul utilisée. Le code se prête super bien à ces processus: ça se tokenise pas mal, il y a des tonnes de données en ligne, etc... Une fois que tu as ingéré tout ce qui est en ligne, il faut collecter des données à l'échelle (ce qui pose des soucis éthiques souvent vu la rémunération). Tout ça pour dire que je ne pense pas qu'il faille partir du principe qu'on est dans un modèle linéaire de progrès. En général c'est plutôt une sigmoïde. Si j'étais joueur je dirais qu'on est pas loin de l'inflexion vers le plateau haut, mais comme tout le monde je n'en ai aucune idée.. Comme ça a été dit, la grosse différences dans les dernières années c'est la multiplications des modèles pour assister des métiers en particulier.

Je voulais aussi revenir sur deux points qui m'ont interpelé dans ce qui a été posté:

[=o] On fait confiance à la lib python d'algèbre linéaire pourquoi pas à une IA
La lib python d'algèbre linéaire a été implementée, testée et validée par de nombreuses personnes AVANT qu'elle soit publiée. Ce que l'IA te propose a une chance (>> 0) d'avoir un soucis. Pour des opérations simples, sans doute pas, mais à l'échelle d'une librairie, c'est certain (je te souhaite bon courage pour débugger une fuite mémoire avec une IA, ask me how I know). Et une lib d'algèbre linéaire en général tu veux pas la coder en python. Donc ça voudrait dire que ton IA te propose d'elle même les bindings c etc... Si tu ne sais pas ce que tu fais: bonne chance.

Un autre argument est simplement l'approche statistique de ces modèles, ils choisisent le prochain mot/bout de mot en représentant leur "probabilité d'apparation", donc on reste sur du stochastique quand même...

Entre parenthèse, le fait que l'IA soit capable de sortir ces fonctions c'est aussi parce qu'elle a sans doute été entrainée sur le code de cette librairie, donc il faut bien qu'elle existe à un moment.


[=o] Je peux recoder l'IA chez moi avec son aide
J'ai peut-être pas compris ce que tu voulais dire, mais aucune chance de reproduire ces IAs chez toi. L'architecture et le setup général, oui, il n'y a pas vraiment de secret. Mais encore une fois, l'échelle nécessaire pour que ça marche correctement est monumentale. Je doute que ton NAS ait assez de PB et de GPUs dispo. Pour un ordre de grandeur, il me semble qu'on est plutôt dans les 1000+ GPUs (et un ordre de grandeur de plus pour les plus gros modèles).

Pour conclure, un petit mot sur les coûts (je parlais d'ordre de grandeur à l'instant): il reste le fait que tout ces modèles sont subventionnés à grand coup d'investissement et brûle de la "VC money" comme jaja, avec pour espoir de ramasser le jackpot. Je me demande quels seront les coûts de ces agents quand il sera temps de faire rentrer des sous (après avoit fait baisser le niveau de compétence de toute la population évidemment...).

18/02 (16:41) Zazou  
Un article de Médiapart sur les données d'entrainement des IA. On y lit que l'IA testée (Mistral) est capable de recracher des extraits (...)
Un article de Médiapart sur les données d'entrainement des IA. On y lit que l'IA testée (Mistral) est capable de recracher des extraits entiers d'œuvres protégées (et parfois dont les auteurs se sont clairement prononcés contre l'utilisation de leur texte).

Bien entendu, l'article mentionne aussi que les scrapers à disposition des IA pour répondre aux requêtes immédiates (il ne s'agit donc pas des données d'entrainement) ne respectent pas les robots.txt disponibles sur le site, et en lisent le contenu à la volée pour l'offrir aux clients. Bien entendu, cela se traduit par une perte financière pour des sites (pertes en revenus publicitaires, typiquement, mais aussi en visibilité de la source).

L'inéluctabilité de l'IA, ça ne marche que parce qu'il n'y a aucune politique sérieuse pour se pencher sur ces méthodes de mafieux sur internet.

23/02 (10:32) Un[*b]curieux  
Je travaille dans le domaine juridique et je partage l'avis de gloubi. L'image de manager un stagiaire surdoué est assez vrai. La seule (...)
Je travaille dans le domaine juridique et je partage l'avis de gloubi. L'image de manager un stagiaire surdoué est assez vrai. La seule contrainte qui "freine" un peu est le secret professionnel, mais je vois grand nombre de confrère mettre la tête dans le sable pour gagner en temps et productivité. Les professions libérales sont déjà des secteurs atroces pour les salariés qui n'ont pas le diplôme, il est clair que la part du gateau reviendra aux associés et va précariser énormément tout un secteur (que ce soit juridique ou comptable).

Ce qui m'inquiète également, étant en formation, est l'apprentissage des jeunes étudiants avec ces outils. Ils sont tres performants quand tu sais ce que tu cherches, et que tu peux vérifier, mais apprendre avec peut réellement poser des problèmes d'acquisitions de compétence, ou du moins de délégations de compétence qu'on laisse à l'IA pour en devenir dépendant. Peut être que je développe le même argument que les vieux utilisaient pour les calculatrices.

23/02 (11:12) HNNH  
HNNH a écrit : Peut être que je développe le même argument que les vieux utilisaient pour les calculatrices. Oui en général utiliser un (...)
HNNH a écrit :

Peut être que je développe le même argument que les vieux utilisaient pour les calculatrices.


Oui en général utiliser un outil permet d'apprendre à utiliser cet outil et rend plus difficile de s'en passer. C'est le cas pour le traitement de texte vs écriture manuscrite, calculatrice vs poser les opérations, et aujourd'hui l'IAG.

Mais il y a des différences notables :
- une calculatrice est un outil stable dans le temps. Toutes les calculatrices que j'ai utilisées dans ma vie donnaient le même résultat pour les mêmes calculs (aux erreurs d'arrondis et aux modes de calculs plus avancés que j'ai rencontrés sur des calculatrices plus récentes). Les IA ne sont pas stables, et les modèles changent. Il semble de plus en plus vraisemblable que les modèles survivants des IAG seront pourris par la publicité à moyen terme (quelle autre source de revenu ?)
- la calculatrice, en dégageant la partie fastidieuse (calcul) ou en supprimant les erreurs, permet de pousser l'apprentissage plus loin sur d'autres concepts. Il y a des témoignages qui indiquent utiliser l'IAG de cette manière (faciliter la recherche de documentations en ligne, par exemple). Quand l'IAG est utilisée pour faire le boulot, il ne s'agit plus de pouvoir se concentrer sur la partie cérébrale, mais au contraire de la déléguer. Ce n'est pas le même type d'outil.
- Même si je vois bien qu'en cherchant bien il y a des enjeux éthiques au fait de créer une calculatrice (du plastique, production de composant dans des pays du sud global, etc.), il n'y a aucune comparaison possible avec les enjeux éthiques de l'IAG. Je sais ce que je paye pour avoir une calculatrice, pour la faire fonctionner. Le modèle des IAG ne fonctionne que parce qu'on cache les coûts aux gens qui les utilisent, pour le moment.

23/02 (11:39) Un[*b]curieux  
Un curieux a écrit : > Il semble de plus en plus vraisemblable que les modèles survivants des IAG seront pourris par la publicité à moyen (...)
Un[*b]curieux a écrit :

> Il semble de plus en plus vraisemblable que les modèles survivants des IAG seront pourris par la publicité à moyen terme (quelle autre source de revenu ?)

A moyen terme ? C'est déjà le cas, t'as des liens sponso quand tu parles d'un sujet.


Sinon j'aimerais dire que c'est pas drôle, mais le meltdown de "myboyfriendisAI" quand chatgpt a mis un tour de vis pour faire dire à son IA que c'est juste un chatbot, ça me fait quand même vachement bien marrer. Les dégats psychologiques des IAs sont déjà très gros.

23/02 (20:38) Satori[*n]9960  
Tyller a écrit : Juste je suis pas totalement clair sur le bridg entre comment l'IA va remplacer des devs et comment ces métiers de (...)
Tyller a écrit :

Juste je suis pas totalement clair sur le bridg entre comment l'IA va remplacer des devs et comment ces métiers de services vont disparaitre. la technologie est rapide et tout, mais le big data ça a 20 ans. Les gens bossaient avant quand même.


Je regardais une vidéo de Marouchka de qu'est-ce qu'on lit (aucun rapport avec le sujet, juste je trouve sa chaine cool donc je link), et j'y apprends que les éditons Arlequin s'étaient débarrassées de toutes leur traductrices (je mets au féminin, comme l'article, parce que c'est essentiellement des femmes).

Je résume : les éditions Arlequin passent à la traduction IA. Jusque-là elles utilisaient des traductrices free-lance, et ne font donc plus appel à leurs services (sauf pour de la post-édition) ; il n'y a donc pas à proprement parler de licenciement. C'était de ce que je comprends de l'article des tafs de traductions pourris et mal rémunérés, mais : toujours en quantité, donc toujours possible à faire pour une traductrice qui avait besoin d'un revenu supplémentaire, et qui permettait à de jeunes traductrices de faire leur armes.

Déjà, on peut voir la magie des dernières évolutions fantastiques du capitalisme : grâce au mercenariat (aussi appelé "auto-entreprenariat" ou "micro-entreprenariat"... Le vrai nom est tâcheronnage, ça date du 18ème siècle c'est dire si c'est moderne, et c'était sensé avoir été en grande partie détruit par les acquis sociaux genre le status d'employé), même plus besoin de payer des indemnités de licenciement ou de tenter de recaser les gens... Juste "merci, vous nous avez apporté assez de bénéfices pour qu'on puisse investir afin de se passer de vous, au revoir".

Donc voilà le genre de taf qui disparaît. Et en bas de l'article, j'ai un lien vers un article "livres audio : pourquoi la voix humaine est-elle menacée ?", pas envie de rentrer dans le rabbit hole avec encore un autre lien puis un autre lien... Mais je suis prêt à parier que la réponse est : "l'IA".

Par ailleurs, je suis même pas sûr que ça produise une baisse de qualité des traductions Arlequin... Pour faire une bonne traduction, c'est comme tous les domaines : faut du temps pour faire de la qualité. Au vu de l'article, Arlequin voulait surtout de la quantité (cf le côté mal payé et taf toujours dispo). Donc, même pas sûr que les consommateurs y perdent (livre moins cher pour même qualité), tant qu'on ne part pas dans des considérations macro-économiques de gauchistes (genre "certaines de ces traductrices étaient sans doute aussi consommatrices de romance, maintenant elle peuvent plus en acheter"). Et les traductrices, je peux me tromper, mais je pense qu'elle auraient préféré se faire la main sur quelques traductions bien faites de trucs choisis plutôt que des traduction en masse si ça avait payé autant. Bref, ce que je veux dire dans ce paragraphe : je peux me tromper, mais j'ai l'impression qu'en l'espèce, le problème c'est le système économique, au fond tout le monde serait content si les traductrice continuaient à être payées, et fournissaient quelques traductions de qualités en échange, le reste de la masse absurde de traductions étant confiée à l'IA (... bon en négligeant plein de questions quand même).

Et donc on va me dire que là c'est des traductions de mauvaise qualité et que l'IA est bonne en traduction... De même le truc des livres audio, c'est pour de la mauvaise qualité et l'IA est bonne dans ce domaine... De même que... Mais le truc, c'est que la qualité augmente et que le nombre de domaines où l'IA est bonne augmente, donc se contenter de cette réponse me semble très illusoire. Je pense pas être de l'opinion du curieux sur interdire/légiférer énormément (je vais y revenir), mais au moins je lui reconnais une cohérence : il se voile pas la face sur la question qui arrive dans nos sociétés, et propose une réponse autre que "oui mais pour l'instant l'IA se limite à ce genre de tâches, elle ne peut actuellement faire disparaitre que XXX postes".


Un[*b]curieux a écrit :

L'inéluctabilité de l'IA, ça ne marche que parce qu'il n'y a aucune politique sérieuse pour se pencher sur ces méthodes de mafieux sur internet.


Dans mon chemin sur les outils d'images génératives, j'en suis maintenant à qwen, et surtout qwenEdit :
- modèle open-source.
- qui tourne dans une interface open-source (comfyUI).
- qui fait des trucs parfaitement hallucinant, en particulier en édition (j'y reviens).
- qui tourne sur une machine de bureau (une bonne carte graphique de jeu vidéo fait tourner sans difficulté les versions "allégées" du modèle).

Pour situer, au départ de voulais faire des illustrations pour le jeu de rôle (et surtout pouvoir créer des illustrations de n'importe quel personnage, sans passer par heroforge, dont le rendu... est pas fait pour avoir un beau portrait, mais une figurine. Et je trouve déjà l'éditeur heroforge surpuissant pour un truc mis à dispo gratuitement). je me retrouve avec un truc où je peux :
- faire une base du personnage sur heroforge et faire une capture d'écran.
- demander à qwenEdit d'en faire un personnage réaliste. Ou une illustration en peinture. Ou en style manga noir et blanc. Et puisque tu parles de pillage, on peut évidemment faire dans le style de akira toriyama, dans le style de geiger, etc (je ne vais pas faire semblant de nier les problèmes éthiques liés à ce genre de technologie sous prétexte que celui-ci est open source) (en vrai j'ai pas checké les artistes dont il connaît le style).
- demander à qwenEdit de le mettre en position de combat face à un dragon devant un ouragan de mana multicolore. Et de remplacer son bâton par une épée, tant qu'on y est, parce qu'à ce stade de l'aventure j'ai récupéré une super épée magique. Je peux même lui fournir une image de l'épée en question, pour que ce soit bien "ce personnage-là" avec "cette épée-là".
Bon en vrai, j'ai pas encore essayé de prendre une capture heroforge et de voir s'il arrive à l'interpréter en personnage, mais je suis pratiquement sûr qu'il le fait. Une fois qu'il a un personnage, il sait faire ce que je dis, et même mieux.
Bref je voulais un papier-crayon assisté, je me retrouve avec une station de travail graphique.

Je vois pas à ce stade comment tu empêches ça : un truc totalement open-source qui tourne sur une machine de bureau. Je vois pas comment on met de la pubs dedans, vu que le modèle aussi est open-source.

Je sais pas les différences entre la génération d'images et les LLM (... sachant que qwen interprète des phrases, pas des tags... Je suppose que le modèle qui interpète le prompt a quand même des points communs avec les LLM ???), ce qui fait que l'un peut se faire en local avec des trucs déjà surpuissants (même si les versions plus lourdes de qwenEdit donnent d'encore meilleurs résultats, la version allégée est pas du tout "au rabais") et l'autre non ; je ne connais pas assez la technique.

A ce stade, il me semble tu peux bien interdire à Arlequin de faire appel à l'IA pour illustrer ses couvertures, ce sont les artistes auquel ils font appel qui vont utiliser l'IA ; et ils auraient tort de pas le faire, partant du principe que Arlequin minimise les coût en exploitant ses travailleurs. Et à ce stade, j'ai l'impression qu'on arrive au point où seule une IA est capable de détecter qu'une illustration a été faite par IA (ou on n'en est pas loin).


Bref, c'est pas vraiment de l'engouement, plutôt... je suis halluciné par ce qui est maintenant possible. Et je vois pas trop ce qu'on peut réellement faire contre - même si je suis d'accord qu'actuellement on fait rien, donc on pourrait forcément faire plus que rien. On fait tellement rien qu'on en n'est même pas à se demander contre quoi il faudrait aller - qu'est-ce qui serait une utilisation "légitime" (tu vas peut-être me dire qu'il n'y en a aucune), qu'est-ce qui pose de réels problèmes.


Et pour reprendre ton dernier post, revenons à Arlequin pour aller dans ton sens : comme j'ai dit, le boulot était visiblement pourri, mais il a permis à de jeunes traductrices de faire leurs armes. Sur quoi vont faire leurs armes, comment les jeunes traductrice vont-elle se former si on les remplace par de l'IA, et quand elle finissent par trouver un taf, en fait on leur dit "non mais traduit pas ça prend trop de temps c'est trop cher ; utilise plutôt un bot et fait uniquement de la post-édition" ???

Parce que oui, nous on est expérimentés dans nos tafs, on sait "manager" une IA : on comprend l'essentiel de ce qu'elle fait, on sait vérifier sur le reste. Mais je vois pas trop ce que doit faire la jeune génération si on lui dit en même temps "fais par toi-même sinon tu apprendras pas" et "fais par IA sinon tu es pas concurrentiel dans notre économie".

24/02 (15:21) gloubi  
gloubi a écrit : j'ai assez de capital pour ne pas avoir à m'inquiéter avant un bon moment (peut-être même jusqu'à ma (...)
gloubi a écrit :

j'ai assez de capital pour ne pas avoir à m'inquiéter avant un bon moment (peut-être même jusqu'à ma mort).


Tu peux expliquer ceci et arrêter de dire que je mens sur le topic de la présidentielle ?

25/02 (09:48) Arnold de Schartzenprout  
gloubi a écrit : Je sais pas les différences entre la génération d'images et les LLM (... sachant que qwen interprète des phrases, pas (...)
gloubi a écrit :

Je sais pas les différences entre la génération d'images et les LLM (... sachant que qwen interprète des phrases, pas des tags... Je suppose que le modèle qui interpète le prompt a quand même des points communs avec les LLM ???).


Je peux expliquer les différences techniques si ça intéresse vraiment, mais dans l'ensemble les processus "discutent" de plus en plus.
Les modèles d'editing plutôt que de génération pure c'est assez récent (~ 1 an).ais c'est plus une question de donnée d'entraînement que d'architecture.

25/02 (10:15) Zazou  
gloubi a écrit : Je vois pas à ce stade comment tu empêches ça : un truc totalement open-source qui tourne sur une machine de bureau. Je vois (...)
gloubi a écrit :

Je vois pas à ce stade comment tu empêches ça : un truc totalement open-source qui tourne sur une machine de bureau. Je vois pas comment on met de la pubs dedans, vu que le modèle aussi est open-source.


Ça n'a aucune raison d'être légal : si tu prends une œuvre protégée, et que tu en fais un zip, cette transformation ne te met pas au-dessus des lois protégeant le droit d'auteur (je ne soutiens pas ces lois en général, mais ici elles sont une protection minimale des artistes). De même, lorsqu'un LLM est capable de recracher des morceaux d'œuvres protégées (ce dont parle l'article mediapart cité au-dessus), je trouve que cela devrait être considéré comme une violation du droit d'auteur (et plus généralement quand les œuvres ont servi à entrainer un LLM, ou quand les données personnelles de citoyens européens ont été traitées au mépris du RGPD, mais c'est plus difficile à détecter).

Quand je dis qu'aujourd'hui personne ne paye le prix réel des IAG qu'il utilise, je parle aussi du prix juridique : personne n'est tenu pour responsable des nombreuses violations de la loi que le fonctionnement des IAG nécessite.

25/02 (11:04) Un[*b]curieux  
gloubi a écrit : le problème c'est le système économique Bonjour camarade. Je te félicite chaleureusement pour cette réalisation (...)
gloubi a écrit :

le problème c'est le système économique



Bonjour camarade.
Je te félicite chaleureusement pour cette réalisation que tu viens d'avoir. Tu trouveras ton exemplaire du manifeste du parti communiste sur la table à ta droite.

26/02 (22:00) Satori[*n]9960  
Un curieux a écrit : Ça n'a aucune raison d'être légal Certes, mais on en est au point où il suffit de télécharger 3 fichiers (...)
Un[*b]curieux a écrit :

Ça n'a aucune raison d'être légal


Certes, mais on en est au point où il suffit de télécharger 3 fichiers pas bien gros créés par une entreprise chinoise (donc pas soumise aux mêmes lois sur les droits d'auteur que nous - ou au minimum, dans un pays pas toujours motivé à faire respecter les copyright occidentaux ; c'est même pas un reproche que je leur fait). la boîte de pandore pourrait pas être plus ouverte.

Ca ne signifie pas qu'on ne peut rien faire ; il est probable que Alibaba préférerait ne pas se faire mal voir sur l'ensemble du marché européen et serait sans doute prête à faire un second modèle 100% légal si l'UE le demande. Note que ça change pas forcément grand chose en terme de copie de styles ou de personnages : voici ce que je trouve libre de droit en 1 seconde de recherche (oui je sais, "libre de droit" ne signifie pas "a donné son accord pour l'entraînement IA", mais je suis pas sûr que ce soit beaucoup plus dur de trouver des trucs libres pour l'entraînement). Et le sujet est sensible : en faisant mal la loi ici, on risque vite de se retrouver à faire la chasse au moindre adolescent dessinant un fanart d'une oeuvre protégée (ça s'est déjà vu).

Bref, d'accord sur "on peut faire quelque chose, actuellement on a décidé de rien faire", mais ça me paraît quand même loin d'être simple. :/


Satori[*n]9960 a écrit :

Bonjour camarade.
Je te félicite chaleureusement pour cette réalisation que tu viens d'avoir. Tu trouveras ton exemplaire du manifeste du parti communiste sur la table à ta droite.

Tu sais camarade, ça fait un moment que j'ai appris que la plupart des crise du capitalisme étaient des crises de la demande. Et comme "crise de la demande" est un terme assez technique, j'ai reformulé en "dans le capitalisme, si on produit trop de nourriture, tout le monde meurt de faim".

Maintenant mon problème c'est plutôt de convaincre les autres...

27/02 (10:52) gloubi  
gloubi a écrit : Certes, mais on en est au point où il suffit de télécharger 3 fichiers pas bien gros créés par une entreprise chinoise (...)
gloubi a écrit :

Certes, mais on en est au point où il suffit de télécharger 3 fichiers pas bien gros créés par une entreprise chinoise (donc pas soumise aux mêmes lois sur les droits d'auteur que nous - ou au minimum, dans un pays pas toujours motivé à faire respecter les copyright occidentaux ; c'est même pas un reproche que je leur fait). la boîte de pandore pourrait pas être plus ouverte.


Dans ma tête, je fais une équivalence entre ça et du .torrent. Oui les gens compétents et qui le souhaitent pourront accéder à des œuvres protégées. Pour les autres et pour la consommation de masse, si les SAAS sont éteints, que les sites mettant en ligne ces modèles se font strike par des juges (avec DNS menteurs, puisque c'est ce qu'on utilise beaucoup en France), il reste combien d'utilisations d'IAG ?

voici ce que je trouve libre de droit en 1 seconde de recherche


Et le sujet est sensible : en faisant mal la loi ici, on risque vite de se retrouver à faire la chasse au moindre adolescent dessinant un fanart d'une oeuvre protégée (ça s'est déjà vu).


Je pense qu'il est très clair que ces images ne sont pas libres de droit. Shutterstock ment en les présentant comme telles (et c'est pas dramatique). On peut attendre des IAG qu'elles fassent le tri. Je suis d'accord avec toi que le sujet est sensible parce qu'il y a une ligne de crête. Pour ma part, je ne trouve pas absurde d'avoir des exigences supérieures pour une invention destinée à lobotomiser la planète à grands coups de milliards que pour Tim, qui dessine Sangoku sur ses feuilles A4 grands carreaux. Mais bon on n'en prend pas le chemin dans tous les cas.

27/02 (11:20) Un[*b]curieux  
Un curieux a écrit : Dans ma tête, je fais une équivalence entre ça et du .torrent. Oui les gens compétents et qui le souhaitent pourront (...)
Un[*b]curieux a écrit :

Dans ma tête, je fais une équivalence entre ça et du .torrent. Oui les gens compétents et qui le souhaitent pourront accéder à des œuvres protégées. Pour les autres et pour la consommation de masse, si les SAAS sont éteints, que les sites mettant en ligne ces modèles se font strike par des juges (avec DNS menteurs, puisque c'est ce qu'on utilise beaucoup en France), il reste combien d'utilisations d'IAG ?


La différence avec le .torrent (et tout ce qui a existé), en tout cas pour moi, c'est que sur les .torrent tu as un fichier différent par oeuvre. Soit beaucoup de fichier. Soit l'obligation de créer des "noeuds" compilant toutes les oeuvres possibles (pour avoir la visibilité issue de plein d'oeuvres côté fournisseur, et pour le confort de ne chercher que dans un seul truc où tout est dispo côté utilisateur), et donc la possibilité en face de faire fermer ces noeuds.

Qwen (et tous les autres modèles de génération d'image - je prends qwen en exemple parce qu'il est très puissant d'un côté et que tu te heurte, côté création du modèle, à la molesse de la Chine pour ce qui est de faire respecter les droits d'auteur), c'est trois fichiers de taille raisonnable pour tout avoir. Ca me semble bien plus ardu à bloquer que tout ce qui a existé avant. Je comparerais ici plutôt à l'effet Streisand : tu bloques la mise à dispo officielle, tu as des mises à dispo pirates partout qui apparaissent, parce qu'il y a pas grand chose à mettre à dispo.

Ces fichiers demandent un truc comme ComfyUI pour être utilisé facilement. Interdire ComfyUI, c'est équivalent à interdire les lecteur de DVD parce qu'il existe des DVD pirates. En fait, les librairies IAs "classiques" du python sont déjà capable de lire ces fichiers - ComfyUI le fait juste de façon plus optimisée et avec une GUI permettant de facilement tester des suites de manipulations (genre générer une image puis l'upscaler). Ceci étant ComfyUI donne les templates des workflow différents modèles de génération d'image, tu peux au moins attaquer ça - faire en sorte qu'il ne suffisse pas de 2 clic dans comfyui pour avoir un workflow qwen.

Et enfin, il existe des site spécialisés génération d'image, parce qu'il y a une masse de "sous-modèles" de fine-tuning (essentiellement ce qu'on appelle les lora) et donc un besoin de les regrouper (comme pour les .torrent). Ces "sous-modèle" sont en gros, l'équivalent d'un mod pour les jeux vidéos (un fichier qu'on branche sur la base). Tu peux sans difficulté interdire ces sites, mais ça ne bloque que le "modding", et ça peut être problématique si on admet des utilisation "légitimes" de l'IA (genre des modèles entraînés purement légalement) : s'il y a des modèles légitimes, alors les modder avec un mod légitime devrait être légitime. Par ailleurs, les lora sont je suppose aussi une façon de se faire la main sur la création de modèles pour certaines personnes, mais ici j'ai aucune connaissance (j'ai l'impression que créer un lora, c'est comme créer un modèle, mais à plus petite échelle, mais en vrai j'en sais rien) ; si c'est le cas et qu'on admet des modèles légitime, c'est très problématique de bloquer la façon dont des jeunes peuvent se faire la main.

... Note que je suis pas du tout un expert de ceci. Si tu te contentes d'interdire les LLM, alors j'ai plus aucune connaissance en génération d'image, sur les sites etc : c'est un LLM qui m'a orienté sur ces sites, sur ComfyUI (note : ComfuUI a des tutoriaux tellement dégueulasse, je pense sans exagérer que c'était plus facile d'avoir une install Linux fonctionnelle en 1998 que d'arriver à comprendre ComfyUI aujourd'hui à partir des tuto sans aide - par exemple d'un LLM), et ce après m'avoir aidé à comprendre et programmer une base (... base sur laquelle on finit par se retrouver limité parce qu'on ne peut pas optimiser autant que comfyui, et on n'a pas une interface graphique permettant de rapidement tester des trucs en faisant des changement rapides). Bref, actuellement c'est plutôt en s'attaquant aux LLM qu'on arrive à ta situation "oui les gens compétents et qui le souhaitent pourront accéder à des œuvres protégées" - et l'accès aux LLM est actuellement facilement attaquable puisque ceux qui sont puissant ne tournent pas en local.


Je pense qu'il est très clair que ces images ne sont pas libres de droit.


Je sais pas. Ca ne m'étonnerait pas qu'elle ne le soient pas et que shutterstock mente ; de l'autre côté quand j'entends les musiques que le JdG fait faire pour ses vidéos, qui "imitent" une musique connue, je ne sais pas où se situe la marge de manoeuvre pour un artiste en terme d'imitation de personnage, de style, etc. (le JdG les fait faire par un vrai artiste, qui a mon avis sait ce qu'il est en droit faire. Après, peut-être qu'en vrai c'est pas légal et n'a pour objectif que de tromper le bot youtube)

27/02 (12:31) gloubi  
Lecture du jour : « The L in LLM stands for lying ». Les effets des IA (et des agents IA auxquels on donne des capacités d'intervention (...)
Lecture du jour : « The L in LLM stands for lying ».

Les effets des IA (et des agents IA auxquels on donne des capacités d'intervention élargies) se font sentir et ciblent naturellement en premier les structures vulnérables, et le logiciel libre.

Ici, le projet ferme les contributions au public parce qu'ils ne peuvent plus trier les contributions IA. Ici, c'est un bug bounty qui ferme. Ce n'est à mon avis que le début : ces fermetures vont se généraliser tant qu'il n'y aura pas un moyen de les éviter.

D'ailleurs, j'en suis à me demander : est-ce qu'on sait faire un captcha qui piège un agent IA ?

05/03 (12:55) Un[*b]curieux  
Un curieux a écrit : D'ailleurs, j'en suis à me demander : est-ce qu'on sait faire un captcha qui piège un agent IA (...)
Un[*b]curieux a écrit :

D'ailleurs, j'en suis à me demander : est-ce qu'on sait faire un captcha qui piège un agent IA ?

C'est le seul qui va dire "Oh tu as raison, quelle idée superbe" alors qu'un humain va préférer une réponse plus offensive. Mais j'ai peur qu'il apprenne vite...

05/03 (13:25) Darkbloa  
Un curieux a écrit : D'ailleurs, j'en suis à me demander : est-ce qu'on sait faire un captcha qui piège un agent IA (...)
Un[*b]curieux a écrit :

D'ailleurs, j'en suis à me demander : est-ce qu'on sait faire un captcha qui piège un agent IA ?

Peut-être, mais sans doute pas pour longtemps, vu que les ia sont déjà capable d'analyser et décrire des images, et les modèles de génération d'image de les éditer. Les éditer en les analysant. Je précise : je suis tombé sur un article de recherche (que je sais plus retrouver) indiquant qu'actuellement une méthode d'attaque des "modérateurs ia" (qui bloquent certaines générations d'images en analysant le prompt) est de mettre les instructions de modification directement sur l'image à éditer (et rien dans le prompt). Voilà où on en est. Et j'ai l'impression que c'était même pas un comportement voulu des modèles d'édition d'images (...mais pas si étonnant vu que ces modèles sont sensé pouvoir comprendre et appliquer un prompt du type "traduis le contenu du panneau d'affichage en français, garde la même police d'écriture" : ils sont supposés pouvoir comprendre un texte dans une image).

Je pense qu'il est plus simple de faire une ia qui détermine où cliquer dans une image, ou quoi écrire dans une textbox à partir d'une image, que ce que je viens de décrire.

05/03 (15:39) gloubi  
  • Hier

  • 00:51

    Libère ta liberté !


  • 00:49

    @darkmare, j'aurai qu'un mot a dire : hihihi

  • 25/03

  • 21:24

    Le gouvernement de la Confédération Libre me semble bien populaire...


  • 21:17

  • 20:53

    Je ne pensais pas que l'elmérisme aviaire avait fait autant de dégâts...


  • 20:53

    T’en penses quoi krabot ? Tu penses que la majuscule c’est un hommage à toi ?


  • 20:53

    Bravo. Je suis fier de toi,


  • 20:35

    En même temps vous vous êtes tapés toute mon adolescence!!! Même moi je n'aurais pas tenu tellement j'étais désagréable!!!


  • 20:33

    Qui va tenter un coup d'état au Paradigme Vert ? C'est vraiment le moment !


  • 20:33

    Et moi alors??? Plus de 20 ans de rajquit et de comptes définitivement supprimés ou hachedeusés... Et un de mes rares personnages à tenir les trois mois... Pour l'instant... ça mérite un cadeau aussi, non???

  • Texte généré à 20:09:09