PME : l’IA passe en production

Cet article est une version éditée de la transcription de notre webinaire « PME : l’IA passe en production ». Nous vous souhaitons une excellente lecture.

Cédric Laitner : Le thème choisi est : PME : l’IA passe en production. Nous parlons surtout des PME parce que, parmi nos clients, ce sont elles qui viennent aujourd’hui nous consulter avec les projets les plus concrets liés à l’IA générative. Nous travaillons aussi avec de grands comptes et des administrations, mais, pour le moment, les échanges les plus aboutis concernent des entreprises de taille raisonnable, avec des projets eux-mêmes raisonnables et des ambitions généralement claires.

Notre compréhension du sujet est donc forcément biaisée par cette expérience. Cela fait quelque temps que nous travaillons sur ces demandes, avec nos clients comme avec des prospects, et nous constatons désormais un niveau de maturité suffisant pour prendre la parole. Lors de notre précédent webinaire, nous avions abordé l’IA sous un angle plus prospectif, avec des questions sociales, culturelles, techniques, organisationnelles et de sécurité. Aujourd’hui, nous voulons parler de ce qui se fait réellement et des projets que nous voyons entrer en production.

Commençons par notre position sur l’IA. Olivier, dirais-tu qu’elle a évolué ?

Olivier André : Oui, d’abord parce qu’il y a cinq ans, tout cela était encore très théorique. Mais l’approche reste la même que pour n’importe quel outil. Si tu m’avais posé la question sur Docker ou Kubernetes, j’aurais répondu de la même manière.

Chez Bearstech, le sujet est important parce qu’il se situe à la rencontre de nombreuses questions : éthiques, écologiques, géopolitiques et professionnelles. Nous sommes une entreprise éthique, mais notre première mission consiste à accompagner les clients pour que les choses soient bien faites.

Tant que l’IA était un jouet, nous pouvions adopter une position d’attente tout en expérimentant, en local ou via des services SaaS. Aujourd’hui, les usages deviennent professionnels. Nous terminons donc la rédaction de notre charte IA, qui précise comment nous avons le droit d’utiliser ces outils.

Cette charte devra être révisée régulièrement. Une révision annuelle est un minimum, mais le domaine évolue si vite qu’elle pourrait être insuffisante, ne serait-ce que pour suivre les outils autorisés ou interdits.

Cédric Laitner : Elle se bloque si tu ne la révises pas. Et encore, un an, c’est long à l’échelle de l’IA.

Olivier André : Notre position reste pragmatique. Nous avons des discussions internes avec des personnes plus réservées et d’autres plus enthousiastes, mais il n’existe pas réellement deux camps. Nous sommes informaticiens ; voir une machine répondre de manière aussi fluide est évidemment fascinant.

Mais nous restons des professionnels. Il n’existe pas de solution miracle. Il faut des usages ciblés, mesurables et encadrés. Comme tout outil extrêmement puissant, l’IA doit être entourée de règles et de garde-fous solides. Sinon, les erreurs peuvent être très lourdes.

Un nouveau pan de la sécurité s’ouvre d’ailleurs. Une attaque ne consiste plus seulement à contourner un pare-feu ou une protection technique. Elle peut consister à persuader un modèle de faire ce qu’il ne devrait pas faire. C’est une forme de vulnérabilité assez nouvelle.

La sortie de la phase d’expérimentation

Cédric Laitner : Nous sortons clairement d’une phase d’expérimentation. Jusqu’à récemment, les idées flottaient. Le besoin d’« intégrer de l’IA » était parfois plus fort que le véritable besoin fonctionnel. On voulait mettre de l’IA sans savoir exactement pourquoi.

Olivier André : Nous avons vu plusieurs cas. Certains voulaient simplement essayer, apprendre à parler au modèle et observer ce qu’il pouvait produire. D’autres voulaient construire immédiatement un outil complet autour de l’IA.

Mais, comme pour n’importe quelle technologie, d’abord expérimenter. L’informatique ne se met pas soudain à fonctionner du premier coup sous prétexte qu’un LLM est impliqué. Les mêmes problèmes demeurent. Cette phase était nécessaire. Il faut jouer avec un nouvel outil pour comprendre ce qu’il permet réellement.

Olivier André : Oui, mais nous atteignons maintenant un niveau de maturité supérieur.

Cédric Laitner : Nous voyons de plus en plus de projets bien définis. Les demandes débouchent sur des contrats, des machines déployées et des services mis en production, qu’on doit ensuite maintenir.

Olivier André : Les PME ont une contrainte utile : elles ne peuvent pas constituer une équipe entière et se déclarer expertes en IA. Elles ont besoin d’outils utilisables et de résultats concrets.

L’outillage autour de l’IA devient crédible. Des plateformes comme n8n, parmi beaucoup d’autres, intègrent désormais des fonctionnalités IA suffisamment matures. Une PME ne va pas forcément redévelopper de zéro l’outil de ses rêves. En revanche, elle peut adopter un outil existant qui utilise l’IA dans un cadre déjà défini.

La logique change complètement. On ne dit plus : « Nous allons construire quelque chose avec de l’IA », mais : « Nous avons besoin de cet outil, et cet outil utilise de l’IA. »

Les clients arrivent donc avec un cahier des charges plus précis, notamment sur l’infrastructure. Ils savent qu’il faut des machines pour les services, et éventuellement des machines dédiées aux LLM locaux.

De notre côté, chaque projet améliore nos connaissances et nos réflexes. Nous identifions plus rapidement ce qui fonctionne et ce qu’il ne faut surtout pas faire. Nous passons ainsi de réponses théoriques à des réponses pragmatiques : « Si on le fait de cette manière, cela fonctionne. »

IA et opérations internes

Cédric Laitner : Dans nos propres opérations d’administration système, nous n’avons pas intégré de dimension AIOps. Pour gérer nos plateformes de production, nous ne voulons pas ajouter de couches d’abstraction non indispensables.

Tout ce que nous apprenons sur l’IA sert d’abord à accompagner nos clients et à assurer la continuité de leurs services selon leurs besoins métiers, pas à transformer nos propres procédures.

Olivier André : Nous gagnons surtout en expertise sur l’hébergement de ces systèmes. Leur utilisation est presque un effet secondaire. Nous savons mieux conseiller les clients sur les outils, leur configuration et les usages réalistes.

Mais les LLM auront encore longtemps besoin d’adminsys pour installer correctement les machines et les faire tourner. Ce sont des systèmes très gourmands, avec de fortes contraintes de RAM, de GPU et de pilotes.

Nous n’avons aucune procédure critique automatisée par un LLM. Nous faisons de la R&D pour voir ce qui est possible, mais nos procédures de production restent extrêmement rigides. C’est incompatible avec la variabilité d’un modèle qui peut répondre différemment à une même demande.

En production, nous faisons ce que nous savons fonctionner. Nous nous sommes entraînés pendant des années à ne pas modifier nos réponses selon l’humeur du jour.

Cédric Laitner : Il y a aussi une réticence culturelle. Chez Bearstech, nous refusons historiquement les couches d’abstraction qui ne se justifient pas complètement. C’est le même débat qu’avec Kubernetes, que nous n’utilisons pas.

Olivier André : Oui, nous avons écrit puis réécrit notre propre orchestrateur de cloud après avoir utilisé des outils classiques et Open Source, afin de comprendre précisément ce que nous voulions conserver.

Notre contexte est pas généraliste. Nous exploitons une infrastructure d’hébergement et d’infogérance avec, notamment, les exigences de la norme ISO 27001. En production, tant que tout va bien, nous n’improvisons pas. Et lorsqu’une catastrophe survient, nous improvisons dans un cadre maîtrisé.

Expliquer ce cadre à un LLM serait très compliqué.

Notre charte IA est donc entièrement orientée sécurité. L’enjeu n’est pas de maintenir une liste parfaite de tous les modèles à la mode. Nous voulons définir quelles données peuvent être envoyées à un LLM, dans quel cadre, selon quel niveau de confidentialité, et si le service est local ou en SaaS.

La charte sert de document de référence. Elle renvoie vers une liste d’outils qui peut évoluer plus fréquemment. Comme nous sommes une SCOP et que l’ensemble des associés se réunit régulièrement, nous pouvons rediscuter un outil dès que nécessaire.

Les projets IA rencontrés

Cédric Laitner : Il est important de préciser les projets que nous rencontrons, car cela définit notre persepctive. Nous sommes hébergeurs et infogéreurs, avec notamment des offres GitLab SaaS. Commençon par GitLab Duo.

Olivier André : GitLab Duo est intéressant, notamment pour la relecture de code. Il peut utiliser un modèle hébergé en SaaS ou un modèle local. Une couche intermédiaire entre GitLab et le LLM construit elle-même les prompts.

C’est pratique, parce que toute personne ayant utilisé un assistant IA sait que la formulation du prompt peut être complexe. GitLab essaie de standardiser les demandes pour obtenir des relectures structurées sans demander à l’utilisateur de devenir expert en prompting.

En revanche, la configuration évolue très vite. Certaines variables ont eu une durée de vie de quelques semaines. Nous avons déjà rencontré plusieurs installations présentant les mêmes symptômes, mais nécessitant des solutions complètement différentes.

Cédric Laitner : Le deuxième cas consiste à gérer des dispositifs IA. En pratique, il faut une machine, souvent pour héberger un LLM local appelé par un outil comme n8n.

Olivier André : C’est de l’infogérance classique, avec un peu d’essuyage de plâtres. Les environnements GPU des grands clouds ne sont pas toujours aussi bien configurés qu’on pourrait l’espérer.

Du point de vue d’un adminsys, ce n’est pas fondamentalement nouveau. Ce sont de grosses machines avec les habituels problèmes de pilotes, de versions, de toolkit et de noyau Linux.

La vraie différence est le dimensionnement. Pour la première fois, nous choisissons parfois une machine d’abord en fonction de son GPU plutôt que de son CPU. Il a donc fallu développer notre expertise sur les cartes, la VRAM et les différences entre modèles.

Cédric Laitner : Nous recevons aussi de plus en plus de code généré par IA, puis validé par un développeur. Nous voyons même apparaître quelques demandes de support elles-mêmes générées par IA. Déboguer les hallucinations d’une IA est probablement un métier en croissance.

Du vibe coding à la production

Olivier André : Mon point de vue est simple : le passage actuel du vibe coding à la production est parfois catastrophique, parce que les gens oublient que rien n’a réellement changé.

J’aime comparer un LLM utilisé pour développer à un groupe de stagiaires sortis d’école : extrêmement intelligents, très rapides, mais sans culture de l’entreprise ni expérience du contexte.

Si une entreprise disposait de stagiaires brillants encadrés par un lead developer, elle ne supprimerait pas ses habitudes de mise en production. Elle rédigerait toujours les spécifications, relirait le code, déboguerait, simplifierait, testerait et vérifierait la compatibilité avec l’environnement de production.

Le fait que le code soit généré en 80 secondes plutôt qu’en 80 jours ne change pas ces obligations.

Le problème vient de l’idée qu’un LLM ferait tout ou produirait quelque chose de parfait. Or un langage naturel est ambigu. On demande à un outil qui utilise lui-même un langage ambigu de produire un résultat dans un langage informatique censé être univoque. Les malentendus sont inévitables.

Même avec un modèle très performant, il faut relire, normaliser, exécuter les tests unitaires, les tests d’intégration et les tests de charge.

Les entreprises qui utilisent sérieusement l’IA pour développer ne vont pas cent fois plus vite. Elles gagnent plutôt une partie du temps de rédaction. C’est déjà utile, mais toutes les décisions, validations et corrections restent nécessaires.

Ma règle est donc simple : si vous avez supprimé des étapes parce que le code a été produit par un LLM, c’est dangereux. Gardez toutes les étapes.

Projets, financement et architectures

Cédric Laitner : Les projets que nous observons sont désormais mieux définis et mieux financés.

Olivier André : Ils sont surtout plus réalistes. L’époque où l’on pensait obtenir énormément pour presque rien est terminée. Le matériel est cher, en particulier les GPU, et le marché reste tendu.

Les clients comprennent mieux les coûts et définissent plus clairement leur modèle économique. Ils écoutent aussi davantage les contraintes de disponibilité et de dimensionnement.

Notre métier d’infogéreur ne change pas fondamentalement, même si nous avons dû monter en compétence. En revanche, comme hébergeur, nous ne prévoyons pas forcément d’intégrer des GPU dans notre propre infrastructure. Ces équipements sont lourds, énergivores et compliqués à intégrer dans un datacenter existant.

Cédric Laitner : Cela nous ramène aux enjeux d’architecture.

Olivier André : Nous rencontrons des cas très intéressants. Les clients veulent des solutions hébergées avec des exigences de souveraineté : dans quel pays se trouvent les GPU ? Où sont les services ? Où transitent les données ?

Ils peuvent avoir plusieurs machines qui communiquent avec une grosse machine dédiée au LLM, tout en manipulant des données sensibles. Les architectures deviennent donc complexes et rarement uniformes.

Comme les GPU sont pris là où ils sont disponibles, il faut parfois articuler plusieurs fournisseurs et plusieurs emplacements. La machine GPU n’est pas forcément celle qui contient les données. Les données restent dans des environnements sécurisés, tandis que les GPU sont ailleurs.

Il faut donc sécuriser les flux, vérifier la latence et s’assurer que le réseau tiendra. L’architecture multi-fournisseurs devient rapidement un casse-tête si l’on n’en a pas l’habitude.

Les clés du succès

Cédric Laitner : L’immense majorité des projets qui arrivent chez nous ne concernent pas réellement l’IA.

Olivier André : Comme toujours, nous demandons : « Est-ce vraiment nécessaire ? » Une machine GPU coûte cher, consomme beaucoup d’électricité et a une empreinte carbone importante. Il faut donc avoir un besoin réel.

Cédric Laitner : La première clé du succès est un besoin métier clairement identifié. Pour savoir s’il faut déployer un LLM ou simplement consommer un service, il faut d’abord comprendre le résultat attendu.

Olivier André : Les projets qui arrivent en production ont généralement commencé par un test beaucoup plus petit. Cette phase a permis de vérifier que le besoin était correctement défini.

Cédric Laitner : Deuxième clé : la maîtrise des données, avec une dimension de souveraineté. Il faut contrôler où les données sont hébergées et qui peut les exploiter.

Olivier André : Dans le contexte géopolitique actuel, c’est fondamental. Il faut savoir où partent les données, où elles restent et qui y accède, en particulier avec les LLM.

Cédric Laitner : Troisième clé : intégrer l’IA aux processus et aux outils existants. La plupart de nos clients enrichissent un outil qu’ils utilisent déjà, comme n8n ou GitLab.

Olivier André : Cela paraît logique dès qu’on voit le LLM comme un outil. Il ne change pas le métier de l’entreprise. Il facilite certaines opérations auparavant difficiles ou impossibles.

Comme pour le DevOps ou la conteneurisation, tout casser est rarement une bonne idée. Il vaut mieux évoluer progressivement.

Cédric Laitner : Quatrième clé : une gouvernance adaptée. Il faut encadrer les usages, les moyens déployés et les responsabilités.

Olivier André : La gouvernance doit aussi rester humaine. Donner à un développeur un budget illimité en tokens et lui demander soudain de multiplier sa productivité par deux ou trois l’empêche de travailler correctement.

L’IA ne supprime ni la relecture, ni les tests, ni le débogage. Elle ne transforme pas les développeurs en machines et ne les rend pas remplaçables.

Cédric Laitner : Il faut enfin définir des indicateurs de succès pertinents.

Olivier André : Le nombre de tokens, de lignes de code ou de releases n’est pas un bon indicateur. Un bon KPI doit montrer si le système produit réellement le résultat attendu, ou signaler précisément ce qui ne fonctionne pas.

Les indicateurs doivent découler du besoin métier. Nous pouvons aider à les définir et à mettre en place le monitoring, mais nous ne pouvons pas décider à la place du client ce qui constitue le succès de son projet.

Maîtriser son IA

Cédric Laitner : Tout cela peut se résumer ainsi : il faut maîtriser son IA.

Olivier André : La première maîtrise est celle des données : savoir lesquelles sont envoyées, à quel service, avec quel niveau de sécurité et quelles garanties de confiance.

Le choix entre SaaS américain, chinois ou modèle local ne suffit pas. Un modèle local pose lui aussi des questions : qui l’a entraîné, avec quelles données, et est-il réellement Open Source, open weights ou fermé ?

Il faut également maîtriser le besoin en calcul. La puissance disponible peut être séduisante, mais il faut se demander si elle est réellement nécessaire. Les besoins en RAM, en GPU, en eau et en énergie doivent être évalués.

La veille reste essentielle, car les modèles évoluent très vite. Des architectures qui semblaient impossibles quelques mois plus tôt deviennent courantes, tandis que de nouveaux modèles réduisent fortement leur charge de calcul.

Il faut donc choisir le modèle et la plateforme comme on choisit une base de données : en recherchant un équilibre entre la puissance disponible et le besoin réel.

Ensuite, il faut superviser les usages, définir les bonnes métriques et installer des garde-fous. Les outils ont désormais eux-mêmes des usages et interagissent parfois avec d’autres outils. Cela ajoute une nouvelle couche de complexité.

Enfin, il faut évaluer continuellement les contenus et les résultats. Un LLM est un moteur probabiliste et stochastique. Même avec une température à zéro, son comportement n’est jamais totalement déterministe.

Il faut donc vérifier que les réponses ne s’éloignent pas de la tâche prévue, contrôler les fenêtres de contexte, limiter les mécanismes de mémoire et maintenir une qualité constante.

L’IA est un outil puissant, mais elle ne dispense ni d’une gouvernance claire, ni d’une architecture maîtrisée, ni de l’expertise humaine.

Cédric Laitner : Merci beaucoup, Olivier, pour cette conclusion rapide et efficace.

Olivier André : Avec plaisir !