La vache, topic anxiogène. Je suis aussi dans le domaine, côté recherche, mais je viens d'un background ingenierie logiciel.
L'IA générative pose beaucoup de problèmes éthiques (valeur du travail, écologique, source de données, "delegated thinking"), dont il est assez difficile de débattre, les réactions des deux camps étant assez extrême.
Pour le problème du travail en particulier, c'est quelque chose qui me travaille pas mal, et je ne vois pas vraiment de "solution" pour rester dans le mode qu'on avait avant. Les IAs génératives existent, on ne va clairement pas les arrêtées, et je doute qu'un cadre légal efficace soit réellement mis en place tant les bénéfices de l'usage sont grands (mais je serai ravi d'avoir tord).
Ceci dit, ce que je vois autour de moi et que j'ai vu par le passé, c'est que les équipes devs ont toujours un backlog de 2-3 ans qui ne fait que s'aggrandir avec des PMs qui passent leur temps à jongler les priorités. Donc a priori il y a quand même du travail à abattre même si on divisait le temps d'implémentation significativement.
Accélérer l'aspect programmation, même de 75% ce n'est pas accélérer l'ingénierie logiciel de 75%, on a déjà parlé des reviews, mais il ya aussi une question d'architecture logicielle. Si on ne fait qu'empiler du code généré sans faire attention à ce qu'on fait, le passage à l'échelle et la maintenance risquent d'être douloureuses.
Je pense aussi que l'expertise profonde dans un langage/framework particulier aura sans doute plus à voir avec de la vérification que de la génération de code. Mais si tu as un système critique à mettre en place, je pense que tu préfères quand même que la personne qui le met en place comprenne ce qu'il se passe plutot que de simplement cliquer sur "ok" et croiser les doigts pour que ça crash pas chez 50% des utilisateurs.
Finalement, une bonne partie de mon job est d'implémenter des choses, mais une plus grande partie est de comprendre quoi implémenter, quelles possibilitées explorer, communiquer avec mes collègues, etc... Tout ça peut être aidé par une IA chat, c'est certain, mais je reste en charge de la prise de décision et de l'exécution. Mon chef pourrait peut-être le faire, mais ça nécessiterait qu'il laisse tomber un paquet de ses tâches pour se libérer le temps de cerveau nécessaire (et qu'il se souvienne comment lire du code quand même). Bosser sur une feature ou un problème ça veut dire prendre le temps de le comprendre, ce context switch n'est pas gratuit. Tu peux demander à une IA, mais là aussi tu va devoir vérifier que la solution proposée répond bien à ton usage (donc il faut que tu comprennes bien ton usage, et tu t'interdis aussi la possibilité de trouver mieux en explorant).
Pour ce qui est de l'aspect technique. Le deep learning a le vent en poupe depuis au moins 13 ans (si on compte AlexNet comme le moment d'inflexion), et a été exploré pendant des décennies avant ça. L'achitecture Transformer c'est 2017 (Attention is all you need). C'est pas une révolution du jour au lendemain non plus.
Ce qui a changé c'est l'échelle des données et de la puissance de calcul utilisée. Le code se prête super bien à ces processus: ça se tokenise pas mal, il y a des tonnes de données en ligne, etc... Une fois que tu as ingéré tout ce qui est en ligne, il faut collecter des données à l'échelle (ce qui pose des soucis éthiques souvent vu la rémunération). Tout ça pour dire que je ne pense pas qu'il faille partir du principe qu'on est dans un modèle linéaire de progrès. En général c'est plutôt une sigmoïde.
Si j'étais joueur je dirais qu'on est pas loin de l'inflexion vers le plateau haut, mais comme tout le monde je n'en ai aucune idée.. Comme ça a été dit, la grosse différences dans les dernières années c'est la multiplications des modèles pour assister des métiers en particulier.
Je voulais aussi revenir sur deux points qui m'ont interpelé dans ce qui a été posté:
![[=o]](http://img7.kraland.org/s/52.gif)
On fait confiance à la lib python d'algèbre linéaire pourquoi pas à une IA
La lib python d'algèbre linéaire a été implementée, testée et validée par de nombreuses personnes AVANT qu'elle soit publiée. Ce que l'IA te propose a une chance (>> 0) d'avoir un soucis. Pour des opérations simples, sans doute pas, mais à l'échelle d'une librairie, c'est certain (je te souhaite bon courage pour débugger une fuite mémoire avec une IA, ask me how I know). Et une lib d'algèbre linéaire en général tu veux pas la coder en python. Donc ça voudrait dire que ton IA te propose d'elle même les bindings c etc... Si tu ne sais pas ce que tu fais: bonne chance.
Un autre argument est simplement l'approche statistique de ces modèles, ils choisisent le prochain mot/bout de mot en représentant leur "probabilité d'apparation", donc on reste sur du stochastique quand même...
Entre parenthèse, le fait que l'IA soit capable de sortir ces fonctions c'est aussi parce qu'elle a sans doute été entrainée sur le code de cette librairie, donc il faut bien qu'elle existe à un moment.
![[=o]](http://img7.kraland.org/s/52.gif)
Je peux recoder l'IA chez moi avec son aide
J'ai peut-être pas compris ce que tu voulais dire, mais aucune chance de reproduire ces IAs chez toi. L'architecture et le setup général, oui, il n'y a pas vraiment de secret. Mais encore une fois, l'échelle nécessaire pour que ça marche correctement est monumentale. Je doute que ton NAS ait assez de PB et de GPUs dispo. Pour un ordre de grandeur, il me semble qu'on est plutôt dans les 1000+ GPUs (et un ordre de grandeur de plus pour les plus gros modèles).
Pour conclure, un petit mot sur les coûts (je parlais d'ordre de grandeur à l'instant): il reste le fait que tout ces modèles sont subventionnés à grand coup d'investissement et brûle de la "VC money" comme jaja, avec pour espoir de ramasser le jackpot. Je me demande quels seront les coûts de ces agents quand il sera temps de faire rentrer des sous
(après avoit fait baisser le niveau de compétence de toute la population évidemment...).
___
Zazou, majeur, vacciné.