¿Ollama lento en Mac? Revisa carga, contexto y memoria

Ollama puede ir lento porque un modelo todavía se está cargando, un prompt tiene un contexto grande, parte del modelo se está ejecutando en la CPU o la Mac está bajo presión de memoria. Esos casos necesitan cambios diferentes. Eliminar los modelos descargados puede liberar espacio en disco, pero no hace automáticamente que el modelo que está generando una respuesta sea más rápido.

Compara la carga en frío con una segunda solicitud

Mantén el modelo, el prompt y la configuración igual. Ejecuta una solicitud corta y luego repítela mientras el modelo permanece cargado. Si solo la primera solicitud es lenta, la carga es una pista útil. Si ambas generan lentamente, investiga la ejecución y la memoria. Registra la comparación en lugar de tratar una respuesta como un benchmark.

La documentación de la API de Ollama expone campos de tiempo separados como load_duration, prompt_eval_duration y eval_duration en las respuestas completadas. Estos distinguen la carga, la lectura del prompt y la generación de salida. No compares tasas de tokens de diferentes modelos, tamaños de contexto o prompts como si midieran un solo cambio.

Medir una solicitud local por etapa

Para un servidor local en el puerto habitual, la siguiente solicitud facilita la inspección de los campos de tiempo al devolver una única respuesta JSON. Sustituye MODEL_NAME por un modelo local ya instalado de ollama list; no uses un modelo en la nube para esta comparación. La solicitud realiza inferencia y consume recursos, pero no elimina datos del modelo.

curl -sS http://localhost:11434/api/generate \
  -H 'Content-Type: application/json' \
  -d '{"model":"MODEL_NAME","prompt":"Explain what a file cache does in two sentences.","stream":false,"options":{"num_predict":128}}'

Ejecuta de nuevo la misma solicitud mientras el modelo permanece cargado. Con la transmisión por secuencias desactivada, la terminal muestra la respuesta tras completarse, así que este comando sirve para los campos de tiempo devueltos, no para cronometrar el primer token a ojo. Si la solicitud falla, conserva su error y detén la comparación en lugar de interpretar un campo ausente como cero.

Las duraciones documentadas están en nanosegundos. Divide una duración entre 1.000.000.000 para obtener segundos. Para la velocidad de salida, divide eval_count entre eval_duration / 1,000,000,000, siempre que la duración sea positiva. Como ejemplo aritmético, 100 tokens en 5,000,000,000 nanosegundos son 20 tokens por segundo; eso no es un resultado medido para ningún Mac ni modelo.

No dividas los tokens de salida entre la duración total y luego lo llames velocidad de generación pura. Eso incluiría la carga y el trabajo de entrada. Anota también si el prompt repetido usa entrada en caché, porque una segunda solicitud más rápida puede reflejar tanto un modelo caliente como la reutilización del prompt. Conserva la respuesta completa en lugar de informar solo la cifra más favorecedora.

Ve lo que está realmente cargado

En Terminal, inspecciona el estado actual:

ollama ps

Las preguntas frecuentes de Ollama explican la columna PROCESSOR. Puede mostrar GPU, CPU o una división. La guía de hardware documenta la aceleración Metal en GPUs Apple. Si esperabas que un modelo local usara la GPU, el resultado en ejecución es más útil que una suposición basada en el nombre de la Mac.

También confirma que la solicitud va al servidor local que estás inspeccionando. Un front end puede apuntar a otro host o a un modelo en la nube. En ese caso, la salida local de ollama ps no describe la solicitud remota.

Reduce el contexto antes de culpar al tamaño del modelo

Los archivos del modelo son solo parte del requisito de memoria. Un contexto más grande necesita memoria adicional, y las solicitudes concurrentes añaden trabajo. La documentación de longitud de contexto de Ollama describe los valores predeterminados dependientes del hardware y el control de contexto de la aplicación. No asumas que cada instalación tiene el mismo valor predeterminado.

Para una prueba controlada, usa un prompt corto, una solicitud y un contexto más pequeño que aún contenga la información necesaria para esa prueba. Si la tarea de codificación completa luego requiere más contexto, restaura lo suficiente para preservar su significado. Una respuesta más rápida que pierde silenciosamente instrucciones necesarias no es una optimización exitosa.

Prueba un modelo más pequeño o una cuantización solo como una comparación separada. Cambia tanto el uso de recursos como la calidad de la respuesta. Mantén algunas preguntas representativas para poder evaluar si la opción más rápida sigue siendo útil.

Probar un cambio de contexto sin hacerlo permanente

Para un prompt de diagnóstico breve, la API acepta una opción de contexto por solicitud. En la solicitud anterior, añade "num_ctx":4096 dentro de options junto a num_predict, usando un modelo local que admita ese contexto. Este es un tamaño de prueba de ejemplo, no un ajuste recomendado para todos los modelos ni tareas de programación.

Mantén el modelo y el prompt sin cambios, luego inspecciona el modelo en ejecución con ollama ps y compara la presión de memoria. No reduzcas el contexto en torno a una conversación larga y asumas que la respuesta sigue incluyendo todas las instrucciones. Primero compara una tarea pequeña que quepa; después prueba la carga de trabajo real con contexto suficiente para sus entradas.

Las preguntas frecuentes y la página dedicada a la longitud de contexto describen los valores predeterminados de forma distinta, así que esta guía no se basa en un valor predeterminado universal. Un ajuste de la aplicación, un front end o una opción a nivel de solicitud también pueden afectar el valor en ejecución. Donde la versión instalada informe CONTEXT en ollama ps, registra ese valor junto a PROCESSOR en lugar de inferirlo del tamaño del archivo del modelo.

Una lectura de memoria más baja no es la única condición de éxito. La tarea debe completarse igualmente con respuestas aceptables, y el resto del Mac debe seguir siendo usable. Si un contexto más pequeño omite hechos importantes o el cambio no produce una diferencia repetible, elimina la opción de prueba y restaura la configuración de trabajo anterior.

Vigila toda la Mac durante la generación

Abre Monitor de Actividad › Memoria y observa la presión mientras se genera, no solo después de que termine la respuesta. Apple Silicon usa memoria compartida del sistema, así que otras apps también importan. Que un modelo quepa en disco no establece que quepa cómodamente junto con el resto de tu carga de trabajo.

Guarda el trabajo y cierra una tarea pesada innecesaria, luego repite la misma solicitud. Si la presión mejora y la lentitud cambia con ella, tienes una pista útil. La guía de presión de memoria cubre cómo leer los indicadores de la Mac sin tratar cada byte en caché como desperdicio.

Descarga un modelo inactivo sin eliminarlo

Primero espera a que termine cualquier solicitud que use el modelo. Para liberar un modelo cargado que ya no necesitas, usa ollama stop seguido de su nombre exacto de ollama ps:

ollama stop MODEL_NAME

Reemplaza MODEL_NAME antes de ejecutar el comando. Esto descarga el modelo de la memoria. No elimina sus archivos descargados, y la próxima solicitud puede pagar nuevamente el costo de carga. Por lo tanto, descargar repetidamente un modelo entre solicitudes puede hacer que la experiencia sea más lenta.

Si el espacio en disco es la restricción real, revisa los modelos almacenados por separado en la guía de limpieza de modelos de IA. Conserva los modelos creados localmente y cualquier cosa que no puedas volver a descargar de manera confiable. Para el rendimiento, compara un cambio a la vez y mantén el resultado ligado a la misma carga de trabajo.

Investigar una discrepancia con el registro del servidor

Si la solicitud local sigue siendo lenta o el reparto del procesador es inesperado, la guía de solución de problemas de Ollama ubica el registro del servidor de Mac en ~/.ollama/logs/server.log. Lee la parte correspondiente al momento de la prueba y busca fallos de carga, problemas de asignación de memoria o el backend de ejecución seleccionado. Para un servidor iniciado manualmente, los mensajes correspondientes pueden estar en su terminal en su lugar.

Registra la versión de Ollama, la etiqueta exacta del modelo, el contexto, el reparto del procesador y la etapa que domina los tiempos. Revisa los fragmentos del registro en busca de prompts privados y rutas locales antes de compartirlos. No cambies varias variables de entorno de GPU o del servidor solo porque aparezcan en una publicación de optimización antigua; el registro primero debe identificar la discrepancia que un cambio pretende resolver.