ElmonyDocumentos

Guías

Modelos locales

Ejecute un modelo en su propia computadora con LM Studio u Ollama. La inferencia local mantiene el tiempo de ejecución del modelo bajo su control, pero la velocidad y la confiabilidad dependen de su hardware y del modelo que carga.

Lo que detecta Elmony

Estudio LM

Builder Chat descubre modelos de lenguaje descargados del servidor LM Studio en http://localhost:1234. Aparecen bajo Modelos locales → LM Studio en el selector de modelo.

Ollama

Ollama se detecta en los flujos de trabajo de Elmony que muestran una opción de modelo de Ollama, incluidos los flujos de configuración relevantes de Elmony Design. El host predeterminado es http://localhost:11434 y se puede cambiar con OLLAMA_HOST.

Utilice LM Studio en Builder Chat

  1. Instale LM Studio y descargue un modelo de lenguaje compatible con chat.
  2. Inicie el servidor local y asegúrese de que el modelo esté disponible en LM Studio.
  3. En Elmony, abra el selector de modelos de Builder Chat.
  4. Abierto Modelos locales, entonces Estudio LMy seleccione el modelo.

Elmony actualiza la lista de modelos locales periódicamente cuando abre ese menú. Si falta un modelo recién descargado, cierre y vuelva a abrir el selector después de confirmar que el servidor se está ejecutando.

Utilice Ollama donde esté disponible

  1. Instala Ollama y extrae el modelo que deseas utilizar.
  2. Inicie Ollama y verifique que el modelo esté incluido en el servicio local.
  3. Abra el flujo de trabajo de Elmony que ofrece un selector de modelos Ollama y actualice sus modelos.
  4. Seleccione el modelo antes de continuar con la entrega de construcción o diseño.

Para utilizar otro servidor local compatible con OpenAI en Builder Chat, siga las instrucciones Guía de modelos personalizados con la URL base proporcionada por ese servidor.

Solución de problemas

No aparecen modelos de LM Studio

  • Confirme que LM Studio se esté ejecutando y que su servidor esté escuchando en el puerto 1234.
  • Confirme que al menos un modelo de idioma descargado sea visible para el servidor de LM Studio.
  • Permita conexiones de host local si el firewall o el software de seguridad bloquean la solicitud.
  • Para un puerto o host diferente, agregue el servidor como proveedor personalizado con su URL base compatible con OpenAI.

Ollama no puede conectarse

  • Confirme que el servicio Ollama se esté ejecutando y que el modelo ya haya sido retirado.
  • comprobar OLLAMA_HOST si Ollama no está utilizando la dirección o el puerto de host local predeterminado.
  • Reinicie el flujo de Elmony después de cambiar la variable de entorno del host.

La salida es lenta o incompleta

  • Pruebe con un modelo más pequeño o más cuantificado que se ajuste a su memoria disponible.
  • Cierre otras aplicaciones que consuman mucha memoria o GPU.
  • Utilice un mensaje enfocado y un contexto más pequeño para ediciones de rutina.
  • Cambie a un modelo de nube configurado o a un agente de suscripción para trabajos difíciles con varios archivos si el modelo local no puede seguir las instrucciones de compilación de manera confiable.