Open Notebook - Teil 4
21. Juni 2026 - Lesezeit: 6 Minuten
Die Oberfläche von Open Notebook kann nun im Browser aufgerufen werden.
Konfiguration der lokalen KI-Modelle für Ollama
Unter Modelle - Ollama fügt man eine neue Konfiguration hinzu, nennt sie z.B. "Ollama in Docker" und gibt die URL "http://ollama:11434" zum verbinden an.
Das Kontextfenster ist das "Kurzzeitgedächtnis" der KI. Es gibt an, wie viele Wörter oder Zeichen die KI in einem einzigen Durchlauf (z.B. in einem Chat) behalten und verarbeiten kann. Je größer das Fenster, desto mehr Informationen (wie längere Dokumente oder der bisherige Gesprächsverlauf) kann die KI gleichzeitig berücksichtigen.
Wie der Modelltabelle in Teil 3 zu entnehmen ist haben alle Modelle ein Kontextfenster von mindestens 8k bzw. 8192, was der Standardwert in der Konfiguration ist. Bei leistungsstärkerer Hardware und geeignetem Modell kann der Wert erhöht werden.
Danach klickt man im Ollama-Bereich auf Test und ein grüner Haken bescheinigt eine erfolgreiche Verbindung.
Im Anschluß klickt man im Ollama-Bereich auf Models und fügt passende Modelle hinzu.
Zunächst für "language", also Chat...
Dann für "Embedding", also Scan von Dokumenten in die Datenbank...
Abschließend kann man das Ergebnis begutachten.
Konfiguration Cloud Ki-Modelle: Google AI
Viele besitzen einen Google Account. Wenn Privatsphäre/Datenschutz nicht im Vordergrund stehen oder man zu Testzwecken z.B. die Leistungsfähigkeit zwischen kommerziellen Cloud KI-Modellen und lokalen freien KI-Modellen anhand eigener Testdaten vergleichen möchte, dann ist das eine weitere Option. Natürlich gibt es in der kostenlosen Variante Limits, die schnell erreicht werden können.
Zunächst muß man sich, falls noch nicht vorhanden, ein Google Konto erstellen und dann in Google AI Studio anmelden. Dort erstellt man ein Projekt und benennt es z.B. "Open Notebook" und erstellt einen API-Key.
Unter Modelle - Google AI legt man eine neue Konfiguration an, nennt sie z.B. "Gemini API Key open-notebook" und gibt den zuvor erstellten API-Key an. Danach führt man einen Verbindungstest durch.
Mit dem Druck auf models kann man Modelle für Chat und Embedding hinzufügen.
Zuletzt ist noch Modelle - Standardmodell-Zuweisungen einzurichten. D.h. es wird eingestellt für welche Aufgabe welches KI-Modell standardmäßig verwendet werden soll.
Hinweis
TTS/STT wurde noch nicht konfiguriert.
Weiter gehts mit der Benutzung von Open Notebook in Teil 5.