ElmonyDokumente

Führer

Lokale Modelle

Führen Sie mit LM Studio oder Ollama ein Modell auf Ihrem eigenen Computer aus. Durch die lokale Inferenz bleibt die Modelllaufzeit unter Ihrer Kontrolle, Geschwindigkeit und Zuverlässigkeit hängen jedoch von Ihrer Hardware und dem von Ihnen geladenen Modell ab.

Was Elmony erkennt

LM Studio

Builder Chat erkennt heruntergeladene Sprachmodelle vom LM Studio-Server unter http://localhost:1234. Sie erscheinen unten Lokale Modelle → LM Studio in der Modellauswahl.

Ollama

Ollama wird in Elmony-Workflows erkannt, die eine Ollama-Modelloption anzeigen, einschließlich relevanter Elmony Design-Setup-Flows. Der Standardhost ist http://localhost:11434 und kann mit geändert werden OLLAMA_HOST.

Verwenden Sie LM Studio im Builder-Chat

  1. Installieren Sie LM Studio und laden Sie ein chatfähiges Sprachmodell herunter.
  2. Starten Sie den lokalen Server und stellen Sie sicher, dass das Modell in LM Studio verfügbar ist.
  3. Öffnen Sie in Elmony die Modellauswahl im Builder Chat.
  4. Offen Lokale Modelle, dann LM Studio, und wählen Sie das Modell aus.

Elmony aktualisiert die Liste der lokalen Modelle regelmäßig, wenn Sie dieses Menü öffnen. Wenn ein neu heruntergeladenes Modell fehlt, schließen Sie die Auswahl und öffnen Sie sie erneut, nachdem Sie sich vergewissert haben, dass der Server ausgeführt wird.

Verwenden Sie Ollama, sofern verfügbar

  1. Installieren Sie Ollama und ziehen Sie das Modell, das Sie verwenden möchten.
  2. Starten Sie Ollama und überprüfen Sie, ob das Modell vom lokalen Dienst aufgeführt wird.
  3. Öffnen Sie den Elmony-Workflow, der einen Ollama-Modellselektor bietet, und aktualisieren Sie seine Modelle.
  4. Wählen Sie das Modell aus, bevor Sie mit der Bau- oder Designübergabe fortfahren.

Um einen anderen OpenAI-kompatiblen lokalen Server im Builder Chat zu verwenden, folgen Sie den Anweisungen Leitfaden für benutzerdefinierte Modelle mit der von diesem Server bereitgestellten Basis-URL.

Fehlerbehebung

Es werden keine LM Studio-Modelle angezeigt

  • Bestätigen Sie, dass LM Studio ausgeführt wird und sein Server Port 1234 überwacht.
  • Stellen Sie sicher, dass mindestens ein heruntergeladenes Sprachmodell für den LM Studio-Server sichtbar ist.
  • Erlauben Sie Localhost-Verbindungen, wenn Firewall- oder Sicherheitssoftware die Anfrage blockiert.
  • Fügen Sie für einen anderen Port oder Host den Server als benutzerdefinierten Anbieter mit seiner OpenAI-kompatiblen Basis-URL hinzu.

Ollama kann keine Verbindung herstellen

  • Bestätigen Sie, dass der Ollama-Dienst ausgeführt wird und das Modell bereits abgerufen wurde.
  • Überprüfen OLLAMA_HOST wenn Ollama nicht die Standard-Localhost-Adresse oder den Standard-Port verwendet.
  • Starten Sie den Elmony-Flow neu, nachdem Sie die Host-Umgebungsvariable geändert haben.

Die Ausgabe ist langsam oder unvollständig

  • Versuchen Sie es mit einem kleineren oder stärker quantisierten Modell, das zu Ihrem verfügbaren Speicher passt.
  • Schließen Sie andere GPU- oder speicherintensive Anwendungen.
  • Verwenden Sie eine fokussierte Eingabeaufforderung und einen kleineren Kontext für routinemäßige Änderungen.
  • Wechseln Sie für schwierige Arbeiten mit mehreren Dateien zu einem konfigurierten Cloud-Modell oder Abonnement-Agenten, wenn das lokale Modell den Build-Anweisungen nicht zuverlässig folgen kann.