ElmonyDocumenti

Guide

Modelli locali

Esegui un modello sul tuo computer con LM Studio o Ollama. L'inferenza locale mantiene il runtime del modello sotto il tuo controllo, ma la velocità e l'affidabilità dipendono dall'hardware e dal modello caricato.

Cosa rileva Elmony

Studio LM

Builder Chat rileva i modelli linguistici scaricati dal server LM Studio all'indirizzo http://localhost:1234. Appaiono sotto Modelli locali → LM Studio nel selettore del modello.

Ollama

Ollama viene rilevato nei flussi di lavoro Elmony che mostrano un'opzione del modello Ollama, inclusi i flussi di configurazione di Elmony Design pertinenti. L'host predefinito è http://localhost:11434 e può essere modificato con OLLAMA_HOST.

Utilizza LM Studio nella chat di Builder

  1. Installa LM Studio e scarica un modello linguistico compatibile con la chat.
  2. Avvia il server locale e assicurati che il modello sia disponibile in LM Studio.
  3. In Elmony, apri il selettore del modello Builder Chat.
  4. Aperto Modelli locali, quindi Studio LMe selezionare il modello.

Elmony aggiorna periodicamente l'elenco dei modelli locali quando apri quel menu. Se manca un modello appena scaricato, chiudi e riapri il selettore dopo aver confermato che il server è in esecuzione.

Utilizzare Ollama ove disponibile

  1. Installa Ollama ed estrai il modello che desideri utilizzare.
  2. Avvia Ollama e verifica che il modello sia elencato dal servizio locale.
  3. Apri il flusso di lavoro Elmony che offre un selettore di modelli Ollama e aggiorna i suoi modelli.
  4. Seleziona il modello prima di continuare la creazione o il passaggio di progettazione.

Per utilizzare un altro server locale compatibile con OpenAI in Builder Chat, segui le istruzioni Guida ai modelli personalizzati con l'URL di base fornito da quel server.

Risoluzione dei problemi

Non viene visualizzato alcun modello LM Studio

  • Confermare che LM Studio sia in esecuzione e che il suo server sia in ascolto sulla porta 1234.
  • Confermare che almeno un modello linguistico scaricato sia visibile al server LM Studio.
  • Consenti connessioni localhost se il firewall o il software di sicurezza blocca la richiesta.
  • Per una porta o un host diverso, aggiungi il server come provider personalizzato con il suo URL di base compatibile con OpenAI.

Ollama non riesce a connettersi

  • Conferma che il servizio Ollama è in esecuzione e che il modello è già stato estratto.
  • Controlla OLLAMA_HOST se Ollama non utilizza l'indirizzo o la porta locale host predefinita.
  • Riavviare il flusso Elmony dopo aver modificato la variabile di ambiente host.

L'output è lento o incompleto

  • Prova un modello più piccolo o maggiormente quantizzato che si adatti alla tua memoria disponibile.
  • Chiudi altre applicazioni che richiedono molta GPU o memoria.
  • Utilizza un prompt mirato e un contesto più ristretto per le modifiche di routine.
  • Passa a un modello cloud configurato o a un agente di sottoscrizione per lavori complessi su più file se il modello locale non è in grado di seguire le istruzioni di creazione in modo affidabile.