ElmonyDocuments

Guides

Modèles locaux

Exécutez un modèle sur votre propre ordinateur avec LM Studio ou Ollama. L'inférence locale maintient le temps d'exécution du modèle sous votre contrôle, mais la vitesse et la fiabilité dépendent de votre matériel et du modèle que vous chargez.

Ce qu'Elmony détecte

Studio LM

Builder Chat découvre les modèles de langage téléchargés à partir du serveur LM Studio à l'adresse http://localhost:1234. Ils apparaissent sous Modèles locaux → LM Studio dans le sélecteur de modèle.

Ollama

Ollama est détecté dans les flux de travail Elmony qui affichent une option de modèle Ollama, y compris les flux de configuration Elmony Design pertinents. L'hôte par défaut est http://localhost:11434 et peut être modifié avec OLLAMA_HOST.

Utiliser LM Studio dans Builder Chat

  1. Installez LM Studio et téléchargez un modèle de langage compatible avec le chat.
  2. Démarrez le serveur local et assurez-vous que le modèle est disponible dans LM Studio.
  3. Dans Elmony, ouvrez le sélecteur de modèles Builder Chat.
  4. Ouvert Modèles locaux, alors Studio LM, puis sélectionnez le modèle.

Elmony actualise périodiquement la liste des modèles locaux lorsque vous ouvrez ce menu. Si un modèle récemment téléchargé est manquant, fermez et rouvrez le sélecteur après avoir confirmé que le serveur est en cours d'exécution.

Utilisez Ollama là où il est disponible

  1. Installez Ollama et extrayez le modèle que vous souhaitez utiliser.
  2. Démarrez Ollama et vérifiez que le modèle est répertorié par le service local.
  3. Ouvrez le workflow Elmony qui propose un sélecteur de modèles Ollama et actualisez ses modèles.
  4. Sélectionnez le modèle avant de poursuivre le transfert de construction ou de conception.

Pour utiliser un autre serveur local compatible OpenAI dans Builder Chat, suivez les Guide des modèles personnalisés avec l'URL de base fournie par ce serveur.

Dépannage

Aucun modèle LM Studio n'apparaît

  • Vérifiez que LM Studio est en cours d'exécution et que son serveur écoute sur le port 1234.
  • Confirmez qu'au moins un modèle de langue téléchargé est visible sur le serveur LM Studio.
  • Autorisez les connexions localhost si le pare-feu ou le logiciel de sécurité bloque la demande.
  • Pour un autre port ou hôte, ajoutez le serveur en tant que fournisseur personnalisé avec son URL de base compatible OpenAI.

Ollama ne parvient pas à se connecter

  • Confirmez que le service Ollama est en cours d'exécution et que le modèle a déjà été extrait.
  • Vérifier OLLAMA_HOST si Ollama n'utilise pas l'adresse ou le port localhost par défaut.
  • Redémarrez le flux Elmony après avoir modifié la variable d'environnement hôte.

La sortie est lente ou incomplète

  • Essayez un modèle plus petit ou plus quantifié qui correspond à votre mémoire disponible.
  • Fermez les autres applications gourmandes en GPU ou en mémoire.
  • Utilisez une invite ciblée et un contexte plus petit pour les modifications de routine.
  • Basculez vers un modèle cloud configuré ou un agent d'abonnement pour un travail multi-fichiers difficile si le modèle local ne peut pas suivre les instructions de construction de manière fiable.