Faire tourner un LLM en local : quel modèle choisir ?

Faire tourner un LLM en local, c'est exécuter un modèle d'intelligence artificielle directement sur son propre ordinateur, sans passer par un service en ligne. On utilise pour cela des modèles dits « open-weights », librement téléchargeables. L'intérêt : vos données restent chez vous, c'est gratuit et ça marche même hors ligne. La vraie question n'est pas « quel est le meilleur modèle » dans l'absolu, mais « quel modèle ma machine peut-elle faire tourner ». Et la réponse tient en un mot : la VRAM.

Pourquoi faire tourner une IA en local

Utiliser un modèle sur sa propre machine présente trois avantages concrets face aux services en ligne. D'abord la confidentialité : vos documents et vos requêtes ne quittent jamais votre ordinateur, un point décisif pour un usage professionnel ou sensible. Ensuite le coût : une fois le modèle téléchargé, il n'y a ni abonnement ni facturation à l'usage. Enfin l'autonomie : ça fonctionne sans connexion et sans dépendre d'un prestataire qui peut changer ses tarifs ou fermer un modèle. En contrepartie, la qualité et la vitesse dépendent de votre matériel, là où le cloud offre une puissance quasi illimitée.

La VRAM, le critère numéro un

Un modèle de langage doit être chargé en mémoire pour fonctionner, et c'est la mémoire de la carte graphique (VRAM) qui compte le plus. Plus un modèle a de paramètres (on parle de 7B, 13B, 70B pour des milliards de paramètres), plus il est capable mais plus il réclame de VRAM. Pour tenir sur du matériel grand public, on utilise la quantification : une compression qui réduit fortement la taille du modèle (formats GGUF, 4 bits) en ne perdant qu'un peu de précision.

En ordre de grandeur, avec une quantification en 4 bits : un modèle 7B tient sur une carte d'environ 6 à 8 Go de VRAM, un modèle autour de 13B demande plutôt 10 à 12 Go, et les gros modèles de 70B réclament des cartes très haut de gamme ou plusieurs GPU. Sans carte graphique dédiée, on peut faire tourner de petits modèles sur le processeur et la mémoire vive, mais plus lentement. La vitesse se mesure en tokens par seconde : au-delà d'une dizaine de tokens/s, l'usage devient confortable.

Quel modèle selon votre machine

Avec quels outils, et comment choisir

Deux logiciels dominent pour débuter sans ligne de commande compliquée : Ollama, léger et piloté en quelques commandes, et LM Studio, qui offre une interface graphique complète pour télécharger et discuter avec les modèles. Tous deux gèrent la quantification et le téléchargement des modèles automatiquement.

Reste le plus délicat : savoir précisément quel modèle correspond à votre configuration et comment l'installer. Des ressources spécialisées font ce travail. Le guide francophone https://quelllm.fr/ propose par exemple un configurateur où l'on renseigne son GPU, sa mémoire et son système pour savoir ce qui peut tourner et à quelle vitesse, un catalogue de modèles avec la VRAM requise par niveau de quantification, et des tutoriels d'installation pas à pas pour Windows, macOS et Linux. C'est le type d'outil qui évite d'installer un modèle trop lourd pour sa carte.

Choisir selon l'usage, pas seulement la taille

À taille égale, les modèles ne se valent pas selon la tâche. Certains sont taillés pour le code, d'autres excellent en français, d'autres encore pour le raisonnement, le RAG (interroger vos propres documents) ou les agents. Avant de télécharger, mieux vaut partir de votre usage principal, puis vérifier que le modèle visé tient dans votre VRAM. Un bon classement par usage, à jour, fait gagner beaucoup de temps.

Questions fréquentes

Qu'est-ce qu'un LLM en local ?

C'est un modèle de langage que l'on exécute directement sur son ordinateur, à partir d'un modèle open-weights téléchargé, sans passer par un service en ligne. Les données restent sur la machine et l'usage est gratuit une fois le modèle installé.

Faut-il une bonne carte graphique pour faire tourner une IA en local ?

C'est l'idéal, car la mémoire de la carte graphique (VRAM) détermine la taille des modèles utilisables. Sans GPU dédié, on peut tout de même faire tourner de petits modèles sur le processeur et la mémoire vive, mais plus lentement.

Combien de VRAM pour tel modèle ?

En quantification 4 bits, comptez environ 6 à 8 Go de VRAM pour un modèle 7B, 10 à 12 Go pour un 13B, et des cartes très haut de gamme ou plusieurs GPU pour un 70B. Ce sont des ordres de grandeur, variables selon la quantification choisie.

Ollama ou LM Studio : lequel choisir ?

Ollama est léger et se pilote en quelques commandes, idéal pour intégrer un modèle à ses outils. LM Studio propose une interface graphique complète, plus accessible pour débuter. Les deux gèrent le téléchargement et la quantification automatiquement.

Est-ce vraiment gratuit ?

Oui pour les modèles open-weights : le téléchargement et l'exécution ne coûtent rien, hormis l'électricité et le matériel. Seuls certains guides ou services d'accompagnement peuvent être payants.

Sources

Fonctionnement des modèles locaux (VRAM, quantification, tailles de modèles, tokens/s) et outils d'installation (Ollama, LM Studio) : documentation des outils et guide francophone quelllm.fr, consultés le 14 octobre 2026. Les valeurs de VRAM sont des ordres de grandeur, variables selon le modèle et la quantification, et ne constituent pas une garantie de performance.