datasette-llm 0.1a11 unterstützt OpenAI-kompatible Modell-Endpoints
Mit der neuen Version des Plugins datasette-llm kann Datasette jeden OpenAI-kompatiblen Endpoint nutzen, auch lokale Server wie LM Studio, Ollama und llama.cpp.
Mit datasette-llm 0.1a11 kann Datasette Sprachmodelle von jedem Modellserver verwenden, der das Web-Protokoll im Stil von OpenAI spricht, auch ein Modell, das auf dem eigenen Rechner läuft. Simon Willison hat die Version am 14. November veröffentlicht. Es handelt sich um eine Vorabversion des Plugins, das Sprachmodelle konfiguriert, auf die andere Datasette-Plugins zurückgreifen. Die wichtigste Neuerung: Ein Modell muss nicht mehr über ein separates LLM-Plugin registriert werden, bevor Datasette es nutzen kann.
Als lokale Laufzeitumgebungen für Modelle nennt Willison LM Studio, Ollama und llama.cpp. Er merkt an, dass llama.cpp gerade Version 1.0.0 erreicht hat. Das OpenAI-Protokoll bezeichnet der Beitrag als „Pseudo-Standard“ unter den Web-Protokollen. Laut Release Notes lässt sich ein Endpoint über eine Modellreferenz mit api_base konfigurieren, die auf einen Chat-Completions- oder Responses-Endpoint verweist. Endpoint-Modelle unterstützen standardmäßig Tools und Streaming.
Im Beispiel des Beitrags läuft Datasette über uvx mit dem Plugin datasette-agent. Dabei wird plugins.datasette-llm.default_model auf ein JSON-Objekt gesetzt. Dieses enthält eine lokale ID (lmstudio-qwen), den vom Server erwarteten Modellnamen qwen/qwen3.8-27b sowie als api_base http://localhost:1234/v1. Laut Willisons Beitrag entsteht so „ein lokaler Server, auf dem eine Datasette-Agent-Instanz läuft, angetrieben von Ihrem lokalen Modell“. Das Beispiel ist ein Konfigurationsausschnitt. Testergebnisse dazu, wie sich der Agent mit einem lokalen Modell schlägt, enthält der Beitrag nicht.
Wer das einrichten möchte, findet in den Release Notes weitere Details. Die lokale ID eines Endpoints darf mit keiner installierten Modell-ID und keinem Alias übereinstimmen; das Feld model_name enthält die ID, die der entfernte Server erwartet. Zugangsdaten gehören in ein Feld key, das zuerst in datasette-secrets und danach in den gespeicherten Keys von LLM nachgeschlagen wird. Ein Endpoint ohne Key gilt laut den Notes als nicht authentifiziert und erhält nie den Standard-Key eines Anbieters. Außerdem wird davor gewarnt, Zugangsdaten in headers statt in key abzulegen, weil zusätzliche Header in Datasettes /-/config.json sichtbar sind.
Die Notes führen mehrere Kompatibilitätsänderungen auf, die bestehende Setups betreffen können. Allowlists, Blocklists und llm_filter_models-Hooks gelten nun neben models() auch für model() und group(). Die Auswahl eines ausgeschlossenen Modells löst daher jetzt einen ModelNotFoundError aus, was bisher nicht der Fall war. Fehlende Keys führen bei aktiviertem require_keys nun schon bei der Auswahl eines Modells zu einem Fehler und nicht erst beim ersten Prompt. Ein explizit angegebener Key fällt nicht mehr auf die Standard-Zugangsdaten des Anbieters zurück. Die Version setzt LLM 0.37.1 oder neuer voraus. Willisons Beitrag erwähnt keine dieser Änderungen; wer eine bestehende Konfiguration aktualisiert, sollte daher zuerst die Release Notes auf GitHub lesen.
Was sich ändert
Art: Neue Funktion · Betrifft: datasette-llm 0.1a11, LM Studio, Ollama, llama.cpp
Warum es wichtig ist
Teams, die Daten und Modellaufrufe auf eigener Hardware halten wollen, können Datasette-Tools ohne eigenen Integrationscode an selbst gehostete Modelle anbinden.
Was Sie tun können
Teams, die Datasette bereits mit lokalen Modellen betreiben, können die neue Endpoint-Konfiguration testen, bevor sie sich darauf verlassen.
Originalquelle
Wo wir es gesehen haben
Simon Willison
KI hat diese Zusammenfassung aus den genannten Quellen geschrieben und ins Deutsche übersetzt. Niemand hat sie vor der Veröffentlichung einzeln geprüft. Bitte prüfen Sie die Originalquelle, bevor Sie sich darauf verlassen. So funktioniert es