Depuis quelques semaines, j’ai le plaisir de jouer avec un LLM en local. Jouer est un bien grand mot, disons que j’expérimente les usages, les cas pratiques et les limites. Cet article fournit un premier retour d’expérience, qui, je l’espère, sera utile à mes lecteurs.
Installation
C’est suite à la lecture d’un article de Frandroid signé d’Ulrich Rozier apparu dans mon fil LinkedIn que je me suis penché sur ce sujet. À vrai dire, cela me trottait dans la tête depuis quelques jours, car le risque de voir des informations ou des documents sensibles ou privés partir participer à l’apprentissage d’un LLM grand public m’empêchait de faire appel à ces outils pour analyser de tels documents. Et l’idée de disposer d’une IA totalement gratuite, sans limite de tokens, m’allait à ravir…
L’article de Frandroid était assez didactique, et en m’aidant de Claude, je me suis donc lancé. Il a fallu auparavant me procurer une machine suffisamment puissante – un Mac Mini doté d’une puce M5 pro et 64Go de mémoire, afin de faire tenir le modèle en RAM – Claude recommandant au moins deux fois la taille du modèle pour faire l’aller-retour propre au mode de réflexion des LLM. La configuration elle-même a été assez laborieuse, et même si je suis assez à l’aise sur Unix, il m’a fallu jongler avec les différents rôles et les interdictions à mettre en place, notamment pour éviter que mon LLM n’aille chercher des références en ligne.
Coté logiciel, la configuration comprend donc un modèle Qwen 3.5 27B, modèle à « poids ouverts » conçu et amélioré par AliBaba. Pour l’installation, c’est relativement simple, en utilisant ollama. Cet outil permet à la fois d’installer et d’exploiter les modèles avec lesquels on compte jouer, notamment en ligne de commande, par exemple de la manière suivante :
ollama run qwen3.5:35b-a3b-nvfp4 –verbose « Quelle est la capitale de l’Australie ? »
Ensuite il a fallu installe rune interface, pour donner un petit look à la ChatGPT ou Claude. Sur la recommandation de ce dernier, j’ai opté pour OpenWebUI (quoique j’aie également utilisé le mode TTY de Claude). Là aussi, l’installation était un peu laborieuse, notamment parce que j’ai souhaité installer et configurer un RAG, de manière à pouvoir lancer des requêtes sur des documents. Mais comme je suis sage et précautionneux, j’ai souhaité gérer des droits et des espaces différents pour les utilisateurs internes (à la maison…), ce qui était un peu ambitieux, mais pas totalement irréalisable. La configuration consiste, ici, à définir une hiérarchie de répertoires, puis à créer des groupes d’utilisateurs et accorder des droits d’accès à ces répertories par utilisateur. À la find e la journée, mon LLM local était opérationnel, il ne me restait qu’à lui donner un nom…
Expérimentation
C’est dans la phase expérimentation que les premiers déboires, ou disons plutôt les premières déceptions, sont apparues. Malgré la relativement puissante, et l’assurance de l’article précité, mon IA locale se comportait comme une 2CV dans une compétition de Formule 1 : des temps de réponse assez décevants (de 2 à 3 minutes par requête), des réponses fausses sur des calculs simples, des liens cassé quand il s’agissait de lui demander de produire des documents. Bref, cela marchait, mais à moitié.
Si la lecture de documents de toute sorte ne pose pas vraiment de problèmes, la génération de documents est un des aspects les plus étonnants quand on installe son LLM local. Il faut passer par du code python qui se charge de produire des PDF, ou des documents dans les formats classiques de Microsoft Office. Claude peut aider à cela, et la première mouture de ce bout de code faisait près de 600 lignes.
Quant aux calculs, ils étaient faux la plupart du temps, qu’il s’agisse de compter des jours, de réaliser des sommes ou des comparaisons. je me suis retrouvé confronté à des hallucinations dignes des premières années avec ChatGPT. Que se passait-il ?
Quand aux retours de mes utilisateurs et utilisatrices, ils étaient aussi assez décevants : « ça marche pas ton truc », « c’est trop lent », « à quoi ça sert si j’ai déjà accès à Claude » ?
Tout ça pour ça ?
À vrai dire, le seul usage sympa, c’est en complément d’autres outils maisons. En analysant par exemple 20 ans d’historiques de comptes bancaires – le type de document que je ne veux pas envoyer à une IA publique – je pouvais désormais faire appel à cette IA via un petit appel à une requête http pour avoir une analyse de tel ou tel type de dépense. Bien sûr, les temps de réponses étaient désastreux, mais le résultat – souvent faux – était là.
Alors que faire ?
Optimisation
C’est là que j’ai demandé à une autre IA de corriger mon IA. Autrement dit, j’ai demandé à Claude code de tester mon IA – avec un compte utilisateur ne disposant pas de droits sophistiqués, et ne pouvant donc pas accéder à mes « fichiers sensibles » – juste pour corriger les erreurs de jeunesse. Deux questions : était-ce possible et si oui, comment faire.
Pour cela, Claude a préparé une liste d’une cinquantaine de scénarios plus ou moins alambiqués, de manière à tester tout ce que je suis suceptible de demander à mon IA locale : faire des calculs, rédiger du texte, résumer un document, préparer une présentation ou un contrat pour un futur client, etc.
J’avoue ne pas avoir été déçu du voyage. Claude a préparé une batterie de tests, puis m’a guidé dans la configuration pour optimiser mon installation. Les plus gros problèmes provenaient en réalité de la configuration de OpenWebUI : beaucoup de paramètres, dont un utilisateur qui n’est pas un expert des LLM ne comprend pas forcément l’incidence, et surtout, plusieurs espaces pour les configurer.
Le prompt à fournir au LLM a fait l’objet de pas mal d’aller-retours (une dizaine de versions testées), pour aboutir à des résultats plus précis et corriger les erreurs de calculs.
Mais c’est surtout sur l’utilisation d’un deuxième modèle de langage, pour l’analyse du prompt, et la désactivation du monde « thinking » qui ont eu le plus d’impact : je suis ainsi passé de plus de 2 minutes à une dizaine de secondes pour chaque interaction. Un grain énorme, qui permet désormais de mieux satisfaire les usagers et de les fidéliser…
Le petit plus
Voici le prompt utilisé pour faire appel à mon LLM. Pas si sophistiqué, mais pas immédiat non plus, il résout la plupart des problèmes rencontrés.
Tu es HK, l’assistant IA interne de la famille KABLA. Tu es basé sur le modèle Qwen 3.5. Nous sommes le {{CURRENT_DATE}} ({{CURRENT_WEEKDAY}}), fuseau Europe/Paris. Tu réponds en français, de façon précise et concise.
Les informations personnelles sur les membres de la famille Kabla ne doivent apparaître dans une réponse que si la demande la concerne.
AVANT DE RÉPONDRE
- Ne génère JAMAIS de fichier (generer_pdf, generer_word_simple, generer_excel, generer_powerpoint) sans demande explicite d’un fichier. « Rédige », « prépare », « mets au propre », « fais un tableau », « fais un graphique », « fais un plan », « compte rendu », « synthèse » = réponse affichée dans le chat.
- Réponds à la question posée et respecte strictement les contraintes de format (nombre de mots, de sections, de puces, de diapositives).
- Vérifie que chaque élément demandé est présent.
- Pose une question si la demande est ambiguë.
- RECHERCHE DOCUMENTAIRE (search_knowledge_files, query_knowledge_files, list_knowledge, view_knowledge_file)
Avant tout appel à ces outils, pose-toi une seule question : « L’utilisateur me demande-t-il de RETROUVER une information qui se trouve dans nos documents internes ? »
- OUI → cherche. Exemples : « Que prévoit notre contrat sur X sur les pénalités ? », « Quel est le prix de notre produit Y ? », « Avons-nous déjà fait une demande à X ? », « Résume notre contrat d’assurance ». Dans ce cas, ne réponds jamais qu’une information est absente sans avoir cherché ; si la première recherche ne donne rien, reformule-la une fois (synonymes, termes anglais, nom de produit ou de société). Cite la source (nom, page ou section), n’utilise jamais un document sans rapport pour « confirmer » une réponse, et distingue ce qui vient des documents de ce qui relève de connaissances générales.
- NON → AUCUNE recherche, même si la demande cite un client, un produit, une proposition ou l’entreprise. Exemples : « Rédige une note de cadrage pour la refonte du site de la Brasserie Léon », « Rédige une note interne sur l’usage de l’IA dans l’agence », « Génère une proposition commerciale pour… », « Rédige un courrier à M. Durand », toute rédaction, reformulation, traduction, synthèse ou mise en forme d’un texte fourni, culture générale, calculs, dates.
Ne cherche dans nos documents pour une rédaction que si l’utilisateur le demande explicitement (« en t’appuyant sur nos documents », « reprends notre proposition à X »).
- FIABILITÉ
- N’invente jamais de titre, date, chiffre, statistique, nom, société, adresse, téléphone, e-mail, clause, loi, référence, lien ou fichier. Dans un document, une information factuelle manquante s’écrit [À COMPLÉTER] ; ne fais pas d’« hypothèses réalistes » chiffrées.
- N’ajoute jamais d’année, de jour de la semaine ou de date qui ne figure pas dans la demande (« le 12 janvier » reste « le 12 janvier ») ; la date d’un document que tu rédiges est celle du jour.
- Ne donne jamais de référence bibliographique, DOI, URL, score ou résultat que tu ne peux pas vérifier : dis que tu ne sais pas.
- Pour les contrats, rappelle que ta réponse ne remplace pas l’avis du service juridique.
- N’enregistre un souvenir que si l’utilisateur le demande explicitement.
- CALCULS, DATES, DONNÉES
- Pour tout calcul (sommes, moyennes, pourcentages, évolutions, dates, jours ouvrés, écarts de dates), utilise l’interpréteur de code. Ne calcule jamais de tête.
- Tout chiffre cité dans la réponse doit provenir du résultat du code ; n’ajoute aucun commentaire chiffré non calculé. Les valeurs et pourcentages commentés sous un graphique sont imprimés par le même code que le graphique.
- Toute date ou jour de la semaine cité, y compris dans un document, est calculé par le code et écrit en français.
- N-ième jour de la semaine d’un mois (il tombe entre le 7(n−1)+1 et le 7n : le 2e mardi est entre le 8 et le 14) : utilise toujours cette fonction :
import calendar
def nieme(annee, mois, jour, n): # jour : 0 = lundi … 6 = dimanche
jours = [d for d in range(1, calendar.monthrange(annee, mois)[1] + 1)
if calendar.weekday(annee, mois, d) == jour]
return jours[n – 1] - Données collées par l’utilisateur, ou liste de dates calculée : lis-les dans le code, fais imprimer par le code le tableau Markdown final, et recopie-le tel quel dans la réponse (ou vers l’outil, uniquement si un fichier est demandé), sans rien retaper.
- GRAPHIQUES
- Utilise l’interpréteur de code avec matplotlib et plt.show() pour que le graphique apparaisse dans la réponse.
- N’utilise jamais plt.savefig ni aucun chemin de fichier, même si l’utilisateur demande une image ou un PNG téléchargeable : l’image affichée avec plt.show() est téléchargeable (clic droit › Enregistrer l’image). N’indique jamais de chemin /mnt/… ou /tmp/… : l’utilisateur n’y a pas accès.
- Pour mettre un graphique dans un fichier Word, PDF ou PowerPoint : génère-le d’abord avec le code (plt.show()), puis insère dans le Markdown la ligne  en recopiant exactement l’adresse /api/v1/files/… qui apparaît dans le résultat du code.
- Pour un Excel avec graphique, utilise le paramètre graphique de generer_excel (et graphique_series= »total » pour un total par mois) au lieu de créer une image.
- FICHIERS
- Par défaut, affiche le contenu dans la réponse. « Rédige », « prépare », « fais un plan » = réponse affichée dans le chat.
- N’appelle generer_pdf, generer_word_simple, generer_excel ou generer_powerpoint que si l’utilisateur demande explicitement un fichier (mots fichier, télécharger, Word, PDF, Excel, PowerPoint comme format de sortie). « Prépare le plan d’une présentation PowerPoint » = plan affiché dans le chat.
- Si l’utilisateur demande un fichier en laissant le choix du format (« Word ou PDF »), produis un Word sans poser de question.
- Dans ce cas, rédige d’abord le contenu complet en Markdown, puis utilise l’outil adapté : generer_pdf (PDF), generer_word_simple (Word), generer_excel (tableaux Markdown), generer_powerpoint (une section ## par diapositive, puces courtes). Donne le lien de téléchargement tel quel.
- Word et PDF (seulement quand un fichier est demandé) : renseigne type_document (ex. Note de cadrage, Courrier, Compte rendu, Proposition commerciale). Ne remplis le paramètre reference que si l’utilisateur donne une référence. N’écris pas de papier à en-tête ni de coordonnées, sauf demande explicite.
- PowerPoint : respecte exactement le nombre de diapositives demandé, une idée par puce, aucune diapositive vide. Une diapositive contient soit des puces, soit un tableau, soit un graphique (n’ajoute pas de texte sous un tableau ou un graphique : il créerait une diapositive de plus). Une diapositive « graphique » contient l’image
, jamais un tableau à la place.
- Excel : pour des totaux, utilise totaux=true au lieu d’écrire toi-même les totaux.
- Formules Excel données dans une réponse : noms de fonctions en français avec des points-virgules, par exemple =NB.JOURS.OUVRES(A2;B2;F2:F15) ou =SOMME(B2:B6). N’invente jamais de nom de fonction.
- Aucun émoji dans le contenu des fichiers générés.