Les points clés à retenir sur la création avec l'IA d'un logiciel qui tourne en mode local

• Si vous ne trouvez pas l’application dont vous avez besoin, créez-la vous-même.
• Vous pouvez le faire gratuitement à l’aide d’outils open source.
• Pour cela, utilisez Ollama et VS Code.

Ce week-end, j’ai décidé que j’avais besoin d’un outil d’écriture spécifique… qui n’existait pas. Tout ce que j’avais essayé était soit trop lourd, soit dépourvu des fonctionnalités dont j’avais besoin, soit trop cher.

C’est alors que j’ai entendu parler d’un autre auteur (Hugh Howey) qui avait commencé à travailler sur sa propre application d’écriture (NEO) il y a environ dix ans. À l’époque, il était développeur de logiciels et partageait mon sentiment : la plupart des traitements de texte étaient trop lourds pour les besoins d’un auteur.

Pour ma part, lorsque je rédige un premier jet, je n’ai besoin que de certaines fonctionnalités (vérification orthographique et grammaticale, tableau de bord, mise en forme, exportation/importation, modes clair/foncé, etc.) et rien d’autre. Scrivener était trop cher, et les traitements de texte traditionnels étaient trop compliqués ou liés à des formules d’abonnement plus coûteuses.

J’ai essayé NEO de Howey et je l’ai apprécié. Mais je voulais créer quelque chose de spécifique pour moi-même. Le problème, c’est que même si je suis « proche du monde du développement », je ne suis pas un développeur à part entière. Je sais utiliser Python, CSS, HTML et un tout petit peu de JavaScript, et je savais que cela ne suffirait pas pour mon cas d’utilisation.

Donc je me suis donc tourné vers l’IA installée localement. Je savais exactement comment décrire l’application que je voulais, alors j’ai décidé de tenter le coup pour voir si elle pouvait réussir là où j’avais échoué. Le hic, c’est que je ne voulais pas avoir à payer pour ça. Je suis écrivain, après tout, et on ne nous connaît pas vraiment pour rouler sur l’or.

Heureusement, je sais comment utiliser une IA installée localement, et c’est ainsi que j’ai réussi à mener ce projet à bien. Laissez-moi vous montrer comment j’ai procédé.

On ne peut pas se contenter d’installer les applications d’IA nécessaires sur n’importe quel vieux système et s’attendre à ce qu’il soit capable de produire une application aboutie. Il faut un matériel assez puissant. Voici ce que je considère comme le minimum pour ce projet :

• Mémoire vive : 32 Go (j’en ai 64 sur la machine que j’utilise).
• Carte graphique : Nvidia est la meilleure option.
• Processeur : au moins un processeur 64 bits prenant en charge le jeu d’instructions AVX2
• IA locale : Ollama
• Modèles :
  • Chat – Llama 3.1 8B
  • Saisie automatique – Qwen2.5
  • Coder, Éditer – Llama 3.1 8B
  • Applicatif – Llama 3.1 8B
  • Embed – Transformer.js
  • Agent – gemma4
• IDE : VS Code

J’installe Ollama sur un serveur au sein de mon réseau local (LAN). Si vous ne disposez pas d’une machine dédiée à cet effet, vous pouvez l’installer sur la même machine que celle qui exécutera VS Code. Assurez-vous simplement que la machine que vous utilisez réponde à la configuration requise.

• Si vous utilisez Linux ou macOS, l’installation d’Ollama se fait en une seule commande, à savoir : curl -fsSL https://ollama.com/install.sh | sh
• Si vous utilisez Windows, la commande est la suivante : irm https://ollama.com/install.ps1 | iex

Vous devez ensuite récupérer les modèles nécessaires. Voici les commandes correspondantes :

• ollama pull llama3.1:8B
• ollama pull qwen2.5-coder:1.5b
• ollama pull gemma4

Vous devez maintenant configurer Ollama pour qu’il accepte les connexions provenant de votre réseau local. Par défaut, il n’accepte que les requêtes provenant de votre machine locale. Je vais vous montrer comment procéder sous Linux.

• Commencez par ouvrir le fichier de configuration approprié à l’aide de la commande suivante : sudo nano /etc/systemd/system/ollama.service
• Dans la section [service], ajoutez ce qui suit : Environment="OLLAMA_HOST=0.0.0.0"

Enregistrez et fermez le fichier.

• Rechargez le démon systemctl à l’aide de la commande : sudo systemctl daemon-reload
• Redémarrez Ollama à l’aide de la commande : sudo systemctl restart ollama

Ollama accepte désormais les requêtes provenant de votre réseau local.

Il est temps d’installer VS Code, l’IDE que j’ai utilisé pour développer mon application (Quillmarker). L’installation de VS Code sous Linux s’effectue via la ligne de commande. Commencez par télécharger le fichier .deb (pour les distributions basées sur Ubuntu) ou le fichier .rpm (pour les distributions basées sur Fedora). Une fois le fichier téléchargé, installez-le à l’aide de l’une des commandes suivantes :

• Distributions basées sur Ubuntu : sudo dpkg -i code*.deb
• Distributions basées sur Fedora : sudo rpm -i code*.rpm

Si vous utilisez macOS ou Windows, téléchargez le fichier d’installation correspondant à votre système d’exploitation, double-cliquez sur le fichier et suivez les étapes de l’assistant d’installation.

Une fois VS Code installé, vous devez le configurer pour qu’il utilise l’IA installée localement. Avant cela, vous devez installer l’extension Continue dans VS Code.

• Pour ce faire, cliquez sur l’icône Extensions dans la barre latérale gauche
• Dans la barre de recherche, saisissez « Continue »
• Lorsque l’entrée apparaît, cliquez sur Installer

Jack Wallen/ZDNET

Une fois Continue ajoutée, il faut la configurer. Pour ouvrir l’éditeur de configuration, vous trouverez une nouvelle icône dans la barre latérale. Cliquez dessus, puis cliquez sur « Models ».

Dans la liste des modèles, vous pouvez sélectionner ce dont vous avez besoin dans chaque menu déroulant.

Ensuite, cliquez sur l’icône en forme d’engrenage du modèle « Chat », ce qui ouvrira le fichier config.yaml.

Dans ce fichier, vous verrez les paramètres de configuration pour le chat, la modification, l’application, ainsi que la saisie semi-automatique et l’intégration.

• Vous devez modifier la ligne : apiBase: "http://127.0.0.1:11434"
• pour qu'elle devienne : apiBase: "http://IP_OF_OLLAMA:11434", où IP_OF_OLLAMA correspond à l’adresse IP de la machine hébergeant Ollama.

Vous devez ensuite ajouter cette ligne pour les deux autres entrées (autocomplete et embed) au même emplacement dans chaque bloc, afin d’obtenir le résultat suivant :

name: Main Config
 version: 1.0.0
 schema: v1
 models:
  - name: Llama 3.1 8B
    provider: ollama
    model: llama3.1:8b
    apiBase: "http://192.168.1.186:11434"
    roles:
      - chat
      - edit
      - apply
  - name: Qwen2.5-Coder 1.5B
    provider: ollama
    model: qwen2.5-coder:1.5b-base
    apiBase: "http://192.168.1.186:11434"
    roles:
      - autocomplete
  - name: Nomic Embed
    provider: ollama
    model: nomic-embed-text:latest
    apiBase: "http://192.168.1.186:11434"
    roles:
      - embed

Veillez à remplacer l’adresse IP ci-dessus par celle de la machine de votre réseau local hébergeant Ollama.

Cliquez sur le X situé à droite de l’onglet config.yaml, puis, lorsque vous y êtes invité, cliquez sur Enregistrer.

Vous y êtes presque.

Il est maintenant temps de personnaliser l’agent. Cliquez sur le menu déroulant situé à droite de « Agent », près du coin inférieur droit de VS Code.

Cliquez sur l’icône en forme d’engrenage dans le menu déroulant. Vous devriez alors voir la liste des modèles disponibles (qui devrait inclure gemma4).

Dans la colonne la plus à droite associée à Ollama, cliquez sur l’icône en forme de roue dentée et sélectionnez « Ouvrir dans les modèles de langage (JSON) ».

Jack Wallen/ZDNET

Cela ouvrira un nouvel onglet dans la fenêtre de VS Code pour afficher le fichier chat.languageModels.json.

Assurez-vous que la ligne « url » indique : « url » : « http://IP_OF_OLLAMA:11434 », où IP_OF_OLLAMA correspond à l’adresse IP de votre serveur Ollama.

Cliquez sur le X situé à l’extrémité droite de cet onglet, puis cliquez sur « Enregistrer » lorsque vous y êtes invité.

Sélectionnez « gemma4 » dans le menu déroulant des agents.

Vous êtes désormais prêt à créer votre application.

Si vous avez déjà utilisé l’IA, cette procédure devrait vous être familière.

Dans la fenêtre « Décrivez ce que vous souhaitez créer », saisissez la description de l’application que vous souhaitez que VS Code crée. Veillez à être aussi précis que possible, en incluant toutes les fonctionnalités souhaitées. Par exemple, lorsque j’avais besoin que Quillmarker intègre des options de mise en forme, j’ai ajouté « options de mise en forme similaires à celles de LibreOffice ». Si vous n’êtes pas précis ou si vous omettez des fonctionnalités, vous devrez refaire plusieurs itérations de l’application pour les ajouter.

Cela prendra un certain temps, et vous devrez autoriser VS Code à effectuer certaines actions (comme exécuter des commandes) pendant la compilation. Vous pouvez vous absenter et faire autre chose, mais à votre retour, il se peut qu’il vous demande d’approuver une autorisation. Ne vous inquiétez pas, VS Code vous attendra.

La compilation initiale a pris environ deux heures. Après cela, j’ai dû relancer le processus, car j’avais peut-être oublié une fonctionnalité ou souhaité un raffinement supplémentaire. Au total, je pense qu’il a fallu environ sept itérations pour mener le projet à bien. Une fois terminé, j’ai retrouvé l’AppImage Linux (c’est ce que je lui avais demandé de créer, afin qu’il puisse être utilisé sur n’importe quelle distribution Linux) dans ~/quillmarker/releases. Après l’installation, je me suis mis à écrire.

C’est un processus long, mais au final, cela en valait la peine. J’utilise Quillmarker pour mon prochain roman, et j’ai découvert que c’était un vrai plaisir d’écrire avec cet outil.