Ist Ollama auf dem Mac langsam? Prüfen Sie Ladevorgang, Kontext und Arbeitsspeicher

Ollama kann langsam sein, weil ein Modell noch lädt, ein Prompt einen großen Kontext hat, ein Teil des Modells auf der CPU läuft oder der Mac unter Speicherdruck steht. Diese Fälle brauchen unterschiedliche Änderungen. Das Löschen heruntergeladener Modelle kann Speicherplatz auf der Festplatte freigeben, macht aber das Modell, das gerade eine Antwort erzeugt, nicht automatisch schneller.

Vergleichen Sie kaltes Laden mit einer zweiten Anfrage

Behalten Sie Modell, Prompt und Einstellungen bei. Stellen Sie eine kurze Anfrage und wiederholen Sie sie, während das Modell geladen bleibt. Wenn nur die erste Anfrage langsam ist, ist das Laden ein sinnvoller Hinweis. Wenn beide langsam erzeugen, untersuchen Sie Ausführung und Arbeitsspeicher. Halten Sie den Vergleich fest, statt eine einzelne Antwort als Benchmark zu behandeln.

Die API-Dokumentation von Ollama stellt in abgeschlossenen Antworten getrennte Zeitfelder wie load_duration, prompt_eval_duration und eval_duration bereit. Diese unterscheiden das Laden, das Lesen des Prompts und das Erzeugen der Ausgabe. Vergleichen Sie keine Token-Raten von verschiedenen Modellen, Kontextgrößen oder Prompts, als ob sie eine einzelne Änderung gemessen hätten.

Eine lokale Anfrage nach Phasen messen

Bei einem lokalen Server auf dem üblichen Port erleichtert die folgende Anfrage die Prüfung der Zeitfelder, da sie eine einzelne JSON-Antwort zurückgibt. Ersetzen Sie MODEL_NAME durch ein bereits installiertes lokales Modell aus ollama list; verwenden Sie für diesen Vergleich kein Cloud-Modell. Die Anfrage führt Inferenz aus und verbraucht Ressourcen, löscht jedoch keine Modelldaten.

curl -sS http://localhost:11434/api/generate \
  -H 'Content-Type: application/json' \
  -d '{"model":"MODEL_NAME","prompt":"Explain what a file cache does in two sentences.","stream":false,"options":{"num_predict":128}}'

Führen Sie dieselbe Anfrage erneut aus, während das Modell geladen bleibt. Da Streaming deaktiviert ist, zeigt das Terminal die Antwort erst nach Abschluss an; dieser Befehl dient daher den zurückgegebenen Zeitfeldern und nicht dazu, das erste Token nach Augenmaß zu messen. Wenn die Anfrage fehlschlägt, behalten Sie den Fehler und brechen Sie den Vergleich ab, anstatt ein fehlendes Feld als null zu interpretieren.

Die dokumentierten Dauern sind in Nanosekunden angegeben. Teilen Sie eine Dauer durch 1.000.000.000, um Sekunden zu erhalten. Für die Ausgabegeschwindigkeit teilen Sie eval_count durch eval_duration / 1,000,000,000, sofern die Dauer positiv ist. Als Rechenbeispiel: 100 Tokens über 5,000,000,000 Nanosekunden ergeben 20 Tokens pro Sekunde; das ist kein gemessenes Ergebnis für einen bestimmten Mac oder ein bestimmtes Modell.

Teilen Sie Ausgabe-Tokens nicht durch die Gesamtdauer und bezeichnen Sie das Ergebnis nicht als reine Generierungsgeschwindigkeit. Das würde Lade- und Eingabearbeit einschließen. Beachten Sie außerdem, ob der wiederholte Prompt zwischengespeicherte Eingabe nutzt, denn eine schnellere zweite Anfrage kann sowohl ein warmes Modell als auch die Wiederverwendung des Prompts widerspiegeln. Bewahren Sie die vollständige Antwort auf, anstatt nur die schmeichelhafteste Zahl zu berichten.

Sehen Sie, was tatsächlich geladen ist

Prüfen Sie im Terminal den aktuellen Zustand:

ollama ps

Die Ollama-FAQ erläutert die Spalte PROCESSOR. Sie kann GPU, CPU oder eine Aufteilung zeigen. Der Hardware-Leitfaden dokumentiert die Metal-Beschleunigung auf Apple-GPUs. Wenn Sie erwartet haben, dass ein lokales Modell die GPU nutzt, ist das laufende Ergebnis nützlicher als eine Annahme aufgrund des Namens des Macs.

Stellen Sie außerdem sicher, dass die Anfrage an den lokalen Server geht, den Sie untersuchen. Ein Frontend kann auf einen anderen Host oder ein Cloud-Modell zeigen. In diesem Fall beschreibt die lokale ollama ps-Ausgabe nicht die entfernte Anfrage.

Reduzieren Sie den Kontext, bevor Sie die Modellgröße verantwortlich machen

Modelldateien sind nur ein Teil des Speicherbedarfs. Ein größerer Kontext braucht zusätzlichen Arbeitsspeicher, und gleichzeitige Anfragen erhöhen die Arbeit. Die Dokumentation zur Kontextlänge von Ollama beschreibt hardwareabhängige Standardwerte und die Kontextsteuerung der App. Gehen Sie nicht davon aus, dass jede Installation denselben Standardwert hat.

Nutzen Sie für einen kontrollierten Test einen kurzen Prompt, eine Anfrage und einen kleineren Kontext, der noch die für diesen Test nötigen Informationen enthält. Wenn die vollständige Programmieraufgabe später mehr Kontext braucht, stellen Sie genug wieder her, um ihre Bedeutung zu erhalten. Eine schnellere Antwort, die stillschweigend benötigte Anweisungen verliert, ist keine erfolgreiche Optimierung.

Probieren Sie ein kleineres Modell oder eine andere Quantisierung nur als separaten Vergleich. Das ändert sowohl die Ressourcennutzung als auch die Antwortqualität. Behalten Sie einige repräsentative Fragen, damit Sie beurteilen können, ob die schnellere Option weiterhin nützlich ist.

Eine Kontextänderung testen, ohne sie dauerhaft zu machen

Für einen kurzen Diagnose-Prompt akzeptiert die API eine Kontextoption pro Anfrage. Fügen Sie in der vorherigen Anfrage "num_ctx":4096 innerhalb von options neben num_predict hinzu und verwenden Sie ein lokales Modell, das diesen Kontext unterstützt. Dies ist eine Beispiel-Testgröße, keine empfohlene Einstellung für jedes Modell oder jede Programmieraufgabe.

Lassen Sie Modell und Prompt unverändert, prüfen Sie dann das laufende Modell mit ollama ps und vergleichen Sie den Speicherdruck. Verkleinern Sie den Kontext nicht um eine lange Unterhaltung herum und nehmen Sie nicht an, dass die Antwort noch jede Anweisung enthält. Vergleichen Sie zuerst eine kleine passende Aufgabe; testen Sie danach die tatsächliche Arbeitslast mit ausreichend Kontext für ihre Eingaben.

Die FAQ und die eigene Seite zur Kontextlänge beschreiben Standardwerte unterschiedlich; dieser Leitfaden stützt sich daher nicht auf einen universellen Standardwert. Eine App-Einstellung, ein Frontend oder eine Option auf Anfrageebene kann den laufenden Wert ebenfalls beeinflussen. Wo die installierte Version CONTEXT in ollama ps meldet, halten Sie diesen Wert neben PROCESSOR fest, anstatt ihn aus der Dateigröße des Modells abzuleiten.

Ein niedrigerer Speicherwert ist nicht die einzige Erfolgsbedingung. Die Aufgabe muss weiterhin mit akzeptablen Antworten abgeschlossen werden, und der übrige Mac muss nutzbar bleiben. Wenn ein kleinerer Kontext wichtige Fakten verliert oder die Änderung keinen wiederholbaren Unterschied bewirkt, entfernen Sie die Testoption und stellen Sie die vorherige funktionierende Konfiguration wieder her.

Beobachten Sie den ganzen Mac während der Erzeugung

Öffnen Sie in der Aktivitätsanzeige › Speicher und beobachten Sie den Speicherdruck während der Erzeugung, nicht erst nach dem Ende der Antwort. Apple Silicon nutzt gemeinsamen Systemspeicher, daher spielen auch andere Apps eine Rolle. Dass ein Modell auf die Festplatte passt, bedeutet nicht, dass es bequem neben dem Rest Ihrer Arbeitslast Platz findet.

Speichern Sie Ihre Arbeit und schließen Sie eine unnötig schwere Aufgabe, dann wiederholen Sie dieselbe Anfrage. Wenn sich der Druck verbessert und die Verlangsamung sich damit ändert, haben Sie einen sinnvollen Hinweis. Der Leitfaden zum Speicherdruck erklärt, wie Sie die Anzeigen des Macs lesen, ohne jedes zwischengespeicherte Byte als Verschwendung zu behandeln.

Entladen Sie ein ungenutztes Modell, ohne es zu löschen

Warten Sie zuerst, bis jede Anfrage, die das Modell nutzt, abgeschlossen ist. Um ein geladenes Modell freizugeben, das Sie nicht mehr brauchen, verwenden Sie ollama stop gefolgt von seinem genauen Namen aus ollama ps:

ollama stop MODEL_NAME

Ersetzen Sie MODEL_NAME, bevor Sie den Befehl ausführen. Dadurch wird das Modell aus dem Arbeitsspeicher entladen. Es löscht nicht seine heruntergeladenen Dateien, und die nächste Anfrage kann die Ladekosten erneut tragen. Ein Modell zwischen Anfragen wiederholt zu entladen, kann das Erlebnis daher langsamer machen.

Wenn der Speicherplatz die eigentliche Einschränkung ist, prüfen Sie gespeicherte Modelle separat im Leitfaden zur Bereinigung von KI-Modellen. Behalten Sie lokal erstellte Modelle und alles, was Sie nicht zuverlässig erneut herunterladen können. Vergleichen Sie für die Leistung jeweils eine Änderung und halten Sie das Ergebnis an dieselbe Arbeitslast gebunden.

Eine Abweichung mit dem Serverprotokoll untersuchen

Wenn die lokale Anfrage weiterhin langsam bleibt oder die Prozessoraufteilung unerwartet ist, verortet Ollamas Fehlerbehebungsleitfaden das Mac-Serverprotokoll unter ~/.ollama/logs/server.log. Lesen Sie den Abschnitt um den Testzeitpunkt und suchen Sie nach Ladefehlern, Problemen bei der Speicherzuweisung oder dem ausgewählten Ausführungs-Backend. Bei einem manuell gestarteten Server können die entsprechenden Meldungen stattdessen in dessen Terminal stehen.

Halten Sie die Ollama-Version, das genaue Modell-Tag, den Kontext, die Prozessoraufteilung und die Phase fest, die die Zeiten dominiert. Prüfen Sie Protokollauszüge auf private Prompts und lokale Pfade, bevor Sie sie weitergeben. Ändern Sie nicht mehrere GPU- oder Server-Umgebungsvariablen, nur weil sie in einem alten Optimierungsbeitrag auftauchen; das Protokoll sollte zuerst die Abweichung benennen, die eine Änderung beheben soll.