Speaches

Speaches ist eine freie Software für Audio-KI-Modelle.

Damit lässt sich TTS (text to speech) und STT (speech to text) bereitstellen. Das wiederum kann über die OpenAI-kompatible API an andere KI-Lösungen angeschlossen werden, z.B. Open Notebook. Speaches möchte das Gegenstück zu Ollama sein, dass KI-Modelle für Embedding, Chat, Tools, Vision, Thinking im Angebot hat.

Installationsvorbereitung

Speaches kann am einfachsten über Docker bereitgestellt werden. Dazu kann die bestehende Docker-Bauanleitung für Open Notebook um die Komponenten für speaches erweitert werden.

Zuächst ist der Open Notebook Projektordner für Docker zu öffnen und dort die Datei docker-compose.yml mit einem Texteditor zu bearbeiten. 

Mit Nvidia GPU Unterstützung

# Docker Compose - 100% Local AI Setup
#
# This is the complete privacy-focused setup with NO external APIs needed:
# - Ollama: Local LLM and embeddings (mistral, llama, nomic-embed, etc.)
# - Speaches: Local TTS (text-to-speech) and STT (speech-to-text)
# - Open Notebook: Your research assistant
# - SurrealDB: Local database
#
# Perfect for:
# - Complete privacy (nothing leaves your machine)
# - Offline work
# - No API costs
# - Air-gapped environments
# - Testing and development
#
# Usage:
#   1. Copy this file to your project folder as docker-compose.yml
#   2. Change OPEN_NOTEBOOK_ENCRYPTION_KEY below
#   3. Run: docker compose up -d
#   4. Pull models (see instructions below)
#   5. Configure providers in UI
#
# Full documentation:
# - Ollama setup: https://github.com/lfnovo/open-notebook/blob/main/examples/README.md
# - TTS setup: https://github.com/lfnovo/open-notebook/blob/main/docs/5-CONFIGURATION/local-tts.md
# - STT setup: https://github.com/lfnovo/open-notebook/blob/main/docs/5-CONFIGURATION/local-stt.md

services:
  surrealdb:
    image: surrealdb/surrealdb:v2
    command: start --log info --user root --pass root rocksdb:/mydata/mydatabase.db
    user: root  # Required for bind mounts on Linux
    ports:
      - "8000:8000"
    volumes:
      - ./surreal_data:/mydata
    environment:
      - SURREAL_EXPERIMENTAL_GRAPHQL=true
    restart: always
    pull_policy: always    
    
  open_notebook:
    image: lfnovo/open_notebook:v1-latest
    ports:
      - "8502:8502"  # Web UI
      - "5055:5055"  # REST API
    environment:
      # REQUIRED: Change this to your own secret string
      # This encrypts your API keys in the database
      - OPEN_NOTEBOOK_ENCRYPTION_KEY=topsecretstring

      # Database connection (default values - no need to change)
      - SURREAL_URL=ws://surrealdb:8000/rpc
      - SURREAL_USER=root
      - SURREAL_PASSWORD=root
      - SURREAL_NAMESPACE=open_notebook
      - SURREAL_DATABASE=open_notebook
      
      # Ollama (required when running Ollama via Docker, as in this compose file)
      - OLLAMA_BASE_URL=http://ollama:11434
      
    volumes:
      - ./notebook_data:/app/data
    depends_on:
      - surrealdb
    restart: always
    pull_policy: always

  ollama:
    image: ollama/ollama:latest
    ports:
      - "11434:11434"
    volumes:
      - ./ollama_models:/root/.ollama
    restart: always
    # Optional: set GPU support if available
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

  speaches:
    image: ghcr.io/speaches-ai/speaches:latest-cuda
    container_name: speaches
    ports:
      - "8969:8000"
    volumes:
      - hf-hub-cache:/home/ubuntu/.cache/huggingface/hub
    restart: unless-stopped
    # For CPU acceleration, use: ghcr.io/speaches-ai/speaches:latest-cpu
    # For GPU acceleration, use: ghcr.io/speaches-ai/speaches:latest-cuda
    # and add GPU device mapping (see docs/5-CONFIGURATION/local-tts.md)
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

volumes:
  hf-hub-cache:  
            
# ==========================================
# AFTER STARTING: Download Models
# ==========================================
#
# Ollama Models (LLM):
#   docker exec open_notebook-ollama-1 ollama pull mistral
#   docker exec open_notebook-ollama-1 ollama pull llama3.1
#   docker exec open_notebook-ollama-1 ollama pull qwen2.5
#
# Ollama Models (Embeddings):
#   docker exec open_notebook-ollama-1 ollama pull nomic-embed-text
#   docker exec open_notebook-ollama-1 ollama pull mxbai-embed-large
#
# Speaches (TTS):
#   docker compose exec speaches uv tool run speaches-cli model download speaches-ai/Kokoro-82M-v1.0-ONNX
#
# Speaches (STT):
#   docker compose exec speaches uv tool run speaches-cli model download Systran/faster-whisper-small
#
# ==========================================
# CONFIGURATION IN OPEN NOTEBOOK
# ==========================================
#
# 1. Configure Ollama:
#    - Go to Settings → API Keys
#    - Add Credential → Select "Ollama"
#    - Base URL: http://ollama:11434
#    - Save → Test Connection → Discover Models → Register Models
#
# 2. Configure Speaches (TTS/STT):
#    - Go to Settings → API Keys
#    - Add Credential → Select "OpenAI-Compatible"
#    - Name: "Local Speaches"
#    - Base URL for TTS: http://host.docker.internal:8969/v1  (macOS/Windows)
#                    or: http://172.17.0.1:8969/v1           (Linux)
#    - Base URL for STT: (same as TTS)
#    - Save → Test Connection
#
# 3. Discover Speech Models:
#    - In the Speaches credential you just created, click Discover Models
#    - Select and register the models you need (e.g. TTS and STT)
#    - If models aren't discovered automatically, add them manually:
#      * TTS: speaches-ai/Kokoro-82M-v1.0-ONNX
#      * STT: Systran/faster-whisper-small
#
# ==========================================
# RECOMMENDED MODELS
# ==========================================
#
# For LLM (choose based on your hardware):
# - Fast: mistral (7B), qwen2.5 (7B)
# - Balanced: llama3.1 (8B)
# - Best quality: qwen2.5 (14B+), llama3.1 (70B) - requires powerful GPU
#
# For Embeddings:
# - nomic-embed-text (recommended, 137M params)
# - mxbai-embed-large (334M params, better quality)
#
# For TTS:
# - speaches-ai/Kokoro-82M-v1.0-ONNX (good quality, fast)
#
# For STT (Whisper):
# - faster-whisper-small (balanced, ~500MB)
# - faster-whisper-base (faster, less accurate)
# - faster-whisper-large-v3 (best quality, slower, ~3GB)
#
# ==========================================
# HARDWARE REQUIREMENTS
# ==========================================
#
# Minimum (CPU only):
# - 8 GB RAM
# - 20 GB disk space
# - 4 CPU cores
#
# Recommended (with GPU):
# - 16+ GB RAM
# - 8+ GB VRAM (NVIDIA GPU)
# - 50 GB disk space
# - 8+ CPU cores
#
# ==========================================
# COST COMPARISON
# ==========================================
#
# Local (this setup):
# - Cost: $0 (after hardware)
# - Privacy: 100% private
# - Speed: Depends on hardware
#
# Cloud (OpenAI + ElevenLabs):
# - LLM: ~$0.01-0.10 per 1K tokens
# - Embeddings: ~$0.0001 per 1K tokens
# - TTS: ~$0.015 per minute
# - STT: ~$0.006 per minute
# - Privacy: Data sent to providers
# - Speed: Usually faster

Mit reiner CPU-Nutzung

# Docker Compose - 100% Local AI Setup
#
# This is the complete privacy-focused setup with NO external APIs needed:
# - Ollama: Local LLM and embeddings (mistral, llama, nomic-embed, etc.)
# - Speaches: Local TTS (text-to-speech) and STT (speech-to-text)
# - Open Notebook: Your research assistant
# - SurrealDB: Local database
#
# Perfect for:
# - Complete privacy (nothing leaves your machine)
# - Offline work
# - No API costs
# - Air-gapped environments
# - Testing and development
#
# Usage:
#   1. Copy this file to your project folder as docker-compose.yml
#   2. Change OPEN_NOTEBOOK_ENCRYPTION_KEY below
#   3. Run: docker compose up -d
#   4. Pull models (see instructions below)
#   5. Configure providers in UI
#
# Full documentation:
# - Ollama setup: https://github.com/lfnovo/open-notebook/blob/main/examples/README.md
# - TTS setup: https://github.com/lfnovo/open-notebook/blob/main/docs/5-CONFIGURATION/local-tts.md
# - STT setup: https://github.com/lfnovo/open-notebook/blob/main/docs/5-CONFIGURATION/local-stt.md

services:
  surrealdb:
    image: surrealdb/surrealdb:v2
    command: start --log info --user root --pass root rocksdb:/mydata/mydatabase.db
    user: root  # Required for bind mounts on Linux
    ports:
      - "8000:8000"
    volumes:
      - ./surreal_data:/mydata
    environment:
      - SURREAL_EXPERIMENTAL_GRAPHQL=true
    restart: always
    pull_policy: always    
    
  open_notebook:
    image: lfnovo/open_notebook:v1-latest
    ports:
      - "8502:8502"  # Web UI
      - "5055:5055"  # REST API
    environment:
      # REQUIRED: Change this to your own secret string
      # This encrypts your API keys in the database
      - OPEN_NOTEBOOK_ENCRYPTION_KEY=topsecretstring
      # Database connection (default values - no need to change)
      - SURREAL_URL=ws://surrealdb:8000/rpc
      - SURREAL_USER=root
      - SURREAL_PASSWORD=root
      - SURREAL_NAMESPACE=open_notebook
      - SURREAL_DATABASE=open_notebook
      
      # Ollama (required when running Ollama via Docker, as in this compose file)
      - OLLAMA_BASE_URL=http://ollama:11434
      
    volumes:
      - ./notebook_data:/app/data
    depends_on:
      - surrealdb
    restart: always
    pull_policy: always

  ollama:
    image: ollama/ollama:latest
    ports:
      - "11434:11434"
    volumes:
      - ./ollama_models:/root/.ollama
    restart: always
    # Optional: set GPU support if available
    # deploy:
    #  resources:
    #    reservations:
    #      devices:
    #        - driver: nvidia
    #          count: all
    #          capabilities: [gpu]

  speaches:
    image: ghcr.io/speaches-ai/speaches:latest-cpu
    container_name: speaches
    ports:
      - "8969:8000"
    volumes:
      - hf-hub-cache:/home/ubuntu/.cache/huggingface/hub
    restart: unless-stopped
    # For CPU acceleration, use: ghcr.io/speaches-ai/speaches:latest-cpu
    # For GPU acceleration, use: ghcr.io/speaches-ai/speaches:latest-cuda
    # and add GPU device mapping (see docs/5-CONFIGURATION/local-tts.md)
    # deploy:
    #  resources:
    #    reservations:
    #      devices:
    #        - driver: nvidia
    #          count: all
    #          capabilities: [gpu]
volumes:
  hf-hub-cache:  
            

# ==========================================
# AFTER STARTING: Download Models
# ==========================================
#
# Ollama Models (LLM):
#   docker exec open_notebook-ollama-1 ollama pull mistral
#   docker exec open_notebook-ollama-1 ollama pull llama3.1
#   docker exec open_notebook-ollama-1 ollama pull qwen2.5
#
# Ollama Models (Embeddings):
#   docker exec open_notebook-ollama-1 ollama pull nomic-embed-text
#   docker exec open_notebook-ollama-1 ollama pull mxbai-embed-large
#
# Speaches (TTS):
#   docker compose exec speaches uv tool run speaches-cli model download speaches-ai/Kokoro-82M-v1.0-ONNX
#
# Speaches (STT):
#   docker compose exec speaches uv tool run speaches-cli model download Systran/faster-whisper-small
#
# ==========================================
# CONFIGURATION IN OPEN NOTEBOOK
# ==========================================
#
# 1. Configure Ollama:
#    - Go to Settings → API Keys
#    - Add Credential → Select "Ollama"
#    - Base URL: http://ollama:11434
#    - Save → Test Connection → Discover Models → Register Models
#
# 2. Configure Speaches (TTS/STT):
#    - Go to Settings → API Keys
#    - Add Credential → Select "OpenAI-Compatible"
#    - Name: "Local Speaches"
#    - Base URL for TTS: http://host.docker.internal:8969/v1  (macOS/Windows)
#                    or: http://172.17.0.1:8969/v1           (Linux)
#    - Base URL for STT: (same as TTS)
#    - Save → Test Connection
#
# 3. Discover Speech Models:
#    - In the Speaches credential you just created, click Discover Models
#    - Select and register the models you need (e.g. TTS and STT)
#    - If models aren't discovered automatically, add them manually:
#      * TTS: speaches-ai/Kokoro-82M-v1.0-ONNX
#      * STT: Systran/faster-whisper-small
#
# ==========================================
# RECOMMENDED MODELS
# ==========================================
#
# For LLM (choose based on your hardware):
# - Fast: mistral (7B), qwen2.5 (7B)
# - Balanced: llama3.1 (8B)
# - Best quality: qwen2.5 (14B+), llama3.1 (70B) - requires powerful GPU
#
# For Embeddings:
# - nomic-embed-text (recommended, 137M params)
# - mxbai-embed-large (334M params, better quality)
#
# For TTS:
# - speaches-ai/Kokoro-82M-v1.0-ONNX (good quality, fast)
#
# For STT (Whisper):
# - faster-whisper-small (balanced, ~500MB)
# - faster-whisper-base (faster, less accurate)
# - faster-whisper-large-v3 (best quality, slower, ~3GB)
#
# ==========================================
# HARDWARE REQUIREMENTS
# ==========================================
# Minimum (CPU only):
# - 8 GB RAM
# - 20 GB disk space
# - 4 CPU cores
#
# Recommended (with GPU):
# - 16+ GB RAM
# - 8+ GB VRAM (NVIDIA GPU)
# - 50 GB disk space
# - 8+ CPU cores
#
# ==========================================
# COST COMPARISON
# ==========================================
#
# Local (this setup):
# - Cost: $0 (after hardware)
# - Privacy: 100% private
# - Speed: Depends on hardware
#
# Cloud (OpenAI + ElevenLabs):
# - LLM: ~$0.01-0.10 per 1K tokens
# - Embeddings: ~$0.0001 per 1K tokens
# - TTS: ~$0.015 per minute
# - STT: ~$0.006 per minute
# - Privacy: Data sent to providers
# - Speed: Usually faster

Installation

Dann ist der Projektordner in einer Shell zu öffnen und die Bauanleitung mit Docker auszuführen:

docker compose up -d

Jetzt laufen Container für Open Notebook, surreal db, Ollama und Speaches.

Welche Modelle für speaches zur Verfügung stehen kann man lokal abfragen mit http://localhost:8969/v1/registry oder über huggingface einsehen.

TTS Modell

Text to speech lokal mit speaches ermöglicht das Erstellen von Podcasts.

docker compose exec speaches uv tool run speaches-cli model download speaches-ai/Kokoro-82M-v1.0-ONNX

Kokoro ist zwar multilingual, enthält aber kein Deutsch. Deshalb noch deutsche Modelle, Piper enthält das:

speaches-ai/piper-de_DE-thorsten-high
speaches-ai/piper-de_DE-thorsten_emotional-medium
speaches-ai/piper-de_DE-thorsten-medium
speaches-ai/piper-de_DE-thorsten-low
speaches-ai/piper-de_DE-mls-medium
speaches-ai/piper-de_DE-karlsson-low
speaches-ai/piper-de_DE-pavoque-low
speaches-ai/piper-de_DE-kerstin-low
speaches-ai/piper-de_DE-ramona-low
speaches-ai/piper-de_DE-eva_k-x_low

STT Modell

Speech to text lokal mit speaches ermöglicht das transkribieren von Video- und Audiodateien als Quellen.

docker compose exec speaches uv tool run speaches-cli model download Systran/faster-whisper-small

Konfiguration in Open Notebook

Modell-Grundkonfiguration

In Open Notebook muß jetzt das OpenAI Compatible Modell eingerichtet werden. Hier gibt man als Namen speaches an und als URL http://host.docker.internal:8969/v1 (MacOs und Windows) bzw. http://172.17.0.1:8969/v1 (Linux). Ein Klick auf Test sollte eine erfolgreiche Verbindung bestätigen.

Mit einem Klick auf Models sit für TTS "speaches-ai/Kokoro-82M-v1.0-ONNX" und für STT "Systran/faster-whisper-small" zuzuweisen.

Danach sind die beiden Modelle bei TTS und STT in den Standardmodellzuweisungen auszuwählen.

Podcasts konfigurieren

Unter Podcasts gibt es den Bereich Profile. Dort muß man im Arbeitsbereich folgendes beide Profiltypen konfigurieren. Am einfachsten beginnt man damit bei den existierenden Profilen folgendes zu bearbeiten:

Sprecherprofile

• Stimmenmodell
• Stimmen-ID: manche Stimmenmodelle enthalten mehr als eine Stimme, in der Doku des Modells sind die Namen/IDs der Stimmen mit ihren Eigenschaften zu finden - bei Sprecherprofilen mit mehr als einer Sprecher ist jeweils eine unterschiedliche Stimme zuzuweisen!
• TTS-Überschreibung pro Sprecher: wenn ein Stimmenmodell nur eine Stimme enthält (z.B. bei den Piper-Modellen in Deutsch) kann für jeden Sprecher das Stimmenmodell übersteuert werden

Episodenprofile

• Gliederungsmodell: KI-Modell, dass die Episode in die gewünschte Anzahl an Gliederungspunkten aufteilt
• Transkriptmodell: KI-Modell, dass den finalen, gesamten Episodentext zusammenstellt.
• Podcastsprache: Sprache, in der der Podcast erzeugt werden soll (Achtung! Abhängigkeit: nicht jedes Stimmenmodell unterstützt alle Sprachen!)

Podcast erzeugen

Unter Podcast - Episoden lassen sich einzelne Postcast-Folgen erzeugen.

1. auf Podcast erzeugen drücken
2. Auswahl der einzubeziehenden Quellen
3. Auswahl Episodenprofil
4. Episodenname: Festlegung des Podcast-Themas
5. Zusätzliche anweisungen: weitere Festlegungen zum Podcast-Inhalt
6. Erzeugen

Bei mir wird die Podcast Sprache ignoriert, die Ausgabe ist leider immer in Englisch.

Dazu gab es einen Bug, der eigentlich bereits gefixt sein sollte. Ich habe das mal kommentiert und hoffe auf Fehlerbehebung. 

Neues Notebook

Nachdem die KI-Modelle eingerichtet wurden (außer TTS/STT) kann ein neues Notebook unter Notebooks - Neues Notebook eingerichtet werden.

Quelle(n)

Danach wechselt man in das neue Notebook und fügt eine Quelle hinzu. Am häufigsten wird das wohl ein PDF, Office-Dokument oder eine Website sein.

Ich habe zum Test die Website des BSI zum Standard BSI-200-4 hinzugefügt. Man sollte jeder Quelle einen aussagekräftigen Titel geben.

Nachdem die Quelle eingegeben wurde startet die Verarbeitung der Daten im Hintergrund. Hier liest ein integrierter Webcrawler die Website aus und übergibt sie dem KI-Modell für Embedding, das die gesammelten Daten in der Datenbank speichert.

Transformationen

Im Anschluß an Embedding wird automatisiert ein Bericht "dense summary" erstellt. Dazu wird das zugewiesene KI-Modell für Transformationen verwendet. Nach Abschluß erscheint das Ergebnis einer Transformation als "Erkenntnis" neben der Quelle und die Hintergrundverarbeitung ist abgeschlossen.

Die Einstellung zu den verschiedenen Berichten befinden sich unter Transformationen. Dort kann man auch einstellen, ob ein Bericht automatisch beim Hinzufügen einer neuen Quelle erzeugt wird oder ob das manuell gestartet werden soll. Zudem kann man auch eigene Berichte bzw. Transformationen erstellen.

Verwendung des Notebooks

Ich empfehle in der Dokumentation den User-Guide zu lesen, in dem die Konzepte einzelner Funktionen anhand Beispielen gut erklärt werden. 

Chat

Der Chat stellt eine Möglichkeit zur Verfügung interaktiv mit dem Notebook zu arbeiten. Der bisherige Chatverlauf wird dabei auch berücksichtigt, limitiert durch das Kontextfenster des KI-Modells.

Fragen und Suchen

Bei Fragen und Suchen werden alle Quellen aller Notebooks berücksichtigt. Das ist im Gegensatz zum Chat nicht interaktiv, sondern liefert nur einmal ein Ergebnis.

Wissensbasis durchsuchen

Mit der Option Textsuche werden exakt angegebene Schlüsselbegriffe in der Datenbank gefunden und die Quellen gelistet, in denen ein Treffer erfolgte. 

Mit der Option Vektorsuche werden auch semantisch verwandte Begriffe in der Datenbank gefunden und die Quellen gelistet, in denen ein Treffer erfolgte. Die Suche geht über alle Quellen aller Notebooks.

Wissensbasis fragen (Beta)

Mit Fragen kann man sich gezielt Inhalte aufbereiten lassen. Dazu wird ein dreistufiges Verfahren verwendet, bestehend aus

1. Strategie
2. Antworten
3. Zusammengefasste Endantwort

Notizen

Es gibt 2 Möglichkeiten Notizen zu erstellen:

• Chat als Notiz speichern
• Manuell eine Notiz erstellen

Bei Fragen und Suchen können sowohl Quellen als auch Notizen eingeschloßen werden.

Fazit

Open Notebook liefert für eine Version 1.0 bereits einen guten Start ab. Man kann durchaus damit arbeiten, auch wenn es noch an Feinarbeit und manchen Funktionen fehlt. So ist z.B. das wissenschaftliche Zitieren von Quellen noch rudimentär implementiert. Die Ausgabe von Ergebnissen erfolgt teils noch in Englisch. 

Open Notebook verfolgt den Ansatz eine Managementplattform für Wissen zu sein mit eigener lokaler Datenhaltung. Die KI-Komponenten sollen wahlfrei sein, so dass sowohl (kommerzielle) Cloud-KI-Anbieter als auch (freie) lokale KI-Lösungen integriert werden können.

Es empfiehlt sich Testquellen (z.B. URLs und PDFs) in einem Testnotebook anzulegen, um mit diesen verschiedene KI-Tools (für Embedding, Transformation, Suche und Chat) und deren Ergebinsqualität und Ressourcenverbrauch zu evaluieren. Wenn die optimalen Modelle für das eigene System gefunden und in der Konfiguration festgelegt sind können weitere Notebooks angelegt werden.

Weiter gehts mit Audio in Teil 6.

Die Oberfläche von Open Notebook kann nun im Browser aufgerufen werden.

http://localhost:8502

Konfiguration der lokalen KI-Modelle für Ollama

Unter Modelle - Ollama fügt man eine neue Konfiguration hinzu, nennt sie z.B. "Ollama in Docker" und gibt die URL "http://ollama:11434" zum verbinden an.

Das Kontextfenster ist das "Kurzzeitgedächtnis" der KI. Es gibt an, wie viele Wörter oder Zeichen die KI in einem einzigen Durchlauf (z.B. in einem Chat) behalten und verarbeiten kann. Je größer das Fenster, desto mehr Informationen (wie längere Dokumente oder der bisherige Gesprächsverlauf) kann die KI gleichzeitig berücksichtigen.

Wie der Modelltabelle in Teil 3 zu entnehmen ist haben alle Modelle ein Kontextfenster von mindestens 8k bzw. 8192, was der Standardwert in der Konfiguration ist. Bei leistungsstärkerer Hardware und geeignetem Modell kann der Wert erhöht werden.

Danach klickt man im Ollama-Bereich auf Test und ein grüner Haken bescheinigt eine erfolgreiche Verbindung.

Im Anschluß klickt man im Ollama-Bereich auf Models und fügt passende Modelle hinzu.

Zunächst für "language", also Chat...

Dann für "Embedding", also Scan von Dokumenten in die Datenbank...

Abschließend kann man das Ergebnis begutachten.

Konfiguration Cloud Ki-Modelle: Google AI

Viele besitzen einen Google Account. Wenn Privatsphäre/Datenschutz nicht im Vordergrund stehen oder man zu Testzwecken z.B. die Leistungsfähigkeit zwischen kommerziellen Cloud KI-Modellen und lokalen freien KI-Modellen anhand eigener Testdaten vergleichen möchte, dann ist das eine weitere Option. Natürlich gibt es in der kostenlosen Variante Limits, die schnell erreicht werden können. 

Zunächst muß man sich, falls noch nicht vorhanden, ein Google Konto erstellen und dann in Google AI Studio anmelden. Dort erstellt man ein Projekt und benennt es z.B. "Open Notebook" und erstellt einen API-Key.

Unter Modelle - Google AI legt man eine neue Konfiguration an, nennt sie z.B. "Gemini API Key open-notebook" und gibt den zuvor erstellten API-Key an. Danach führt man einen Verbindungstest durch.

Mit dem Druck auf models kann man Modelle für Chat und Embedding hinzufügen.

Zuletzt ist noch Modelle - Standardmodell-Zuweisungen einzurichten. D.h. es wird eingestellt für welche Aufgabe welches KI-Modell standardmäßig verwendet werden soll.

Hinweis

TTS/STT wurde noch nicht konfiguriert.

Weiter gehts mit der Benutzung von Open Notebook in Teil 5.

Docker Desktop wird über das Startmenü oder Shell gestartet

systemctl --user start docker-desktop

Die Container sind aufgelistet und im Status erfolgreich gestartet.

Neben den Containern sind die zugehörigen Portnummer zu sehen (bzw. aufklappbar) und und klickbar.

Ollama

Ollama ist ein lokales KI-Tool, das verschiedene KI-Modelle betreiben kann. In dieser installation wurde Ollama innerhalb eines Docker-Containers gestartet.

KI-Modelle auswählen

Zunächst einmal müssen KI-Modelle für Ollama heruntergeladen und installiert werden. Später können verschiedene KI-Modelle für verschiedene Aufgaben in Open Notebook zugewiesen werden, z.B. Embedding und Chatbot.

Es gibt Modelle unterschiedlicher Hersteller und häufig verschiedene Varianten des selben Modells mit unterschiedlicher Genauigkeit/Qualität (Anzahl Parameter). Dabei erhöht die Wahl eines Modells mit besserer Genauigkeit/Qualität den Bedarf an (V)RAM und die Rechenleistung. Die verwendeten Modelle sollten also passend zur eigenen Rechnerausstattung sein. Die verfügbaren Modelle und Varianten für Ollama können in der Library eingesehen werden. Es gibt unterschiedliche Modelle für unterschiedliche Aufgaben. Multimodale Modelle sind für mehr als eine Aufgabe geeignet, z.B. Text- und Bildanalyse. Auf huggingface können Modelle eingesehen und online getestet werden.

• Allzweck- und Chat-Modelle
  Diese Modelle sind wahre Alleskönner. Sie eignen sich hervorragend für allgemeine Fragen, das Zusammenfassen von Texten oder das Befolgen komplexer Anweisungen.
  • Llama von Meta AI (z.B. Llama 3): Eines der leistungsstärksten Standardmodelle, das eine exzellente Balance zwischen Geschwindigkeit und Qualität bietet.
  • Gemma von Google AI (z.B. Gemma 4 / 3): Ein Modell, das besonders schnell ist und sich gut für alltägliche Unterhaltungen und Assistenzaufgaben eignet.
  • Qwen von Alibaba Cloud (z.B. Qwen 2.5 / 3): Ein weiteres leistungsstarkes Open-Source-Modell, das bei einer Vielzahl von Aufgaben sehr gut abschneidet.
  • Mistral von Mistral AI (z.B. Mistral-Nemo): Hervorragend bei Textübersetzungen, Zusammenfassungen und Logikaufgaben, sehr stark in Deutsch und vielen anderen Sprachen.
• Programmierung (Coding)
  Diese Modelle sind speziell darauf trainiert, Quellcode zu verstehen, zu schreiben, zu debuggen und in verschiedenen Programmiersprachen zu optimieren.
  • Qwen-Coder von Alibaba Cloud (z.B. Qwen3 Coder): Führend in seiner Klasse und exzellent für das Entwickeln ("Vibe Coding") sowie für komplexe Programmieraufgaben. 
  • DeepSeek von DeepSeek AI (z.B. DeepSeek R1): Sehr stark bei mathematischen und logischen Denkaufgaben sowie der Codegenerierung.
  • Codestral von Mistral AI: Reine Spezialisierung auf Programmierung und Code-Generierung, beherrscht über 80 Programmiersprachen.
• Kompakte Modelle
  Besonders ressourcenschonende Modelle, die sich hervorragend für ältere Computer, Handys oder den Einsatz als schnelle Hintergrund-KI (z.B. für Smarthome-Befehle) eignen.
  • Phi von Microsoft (z.B. Phi-4 Mini): Trotz seiner geringen Größe (benötigt nur ca. 4 GB VRAM) verfügt dieses Modell über starke logische Fähigkeiten.
  • Qwen-Mini von Alibaba Cloud: Eine kleinere, sehr schnelle Variante der Qwen-Familie.
• Weitere Spezialmodelle
  Neben textbasierten Modellen bietet Ollama z.B. auch Unterstützung für sogenannte multimodale Aufgaben.
  • Vision-Modelle (Qwen-VL von Alibaba Cloud, Llama-Vision von Meta AI): Diese Modelle können neben Text auch Bilder analysieren, beschreiben oder Bildunterschriften generieren.
  • Embedding-Modelle (nomic-embed-text von Nomic AI, jina-embeddings-v2-base-de  von Jina AI, BGE-M3 von BAAI) erzeugen numerische Vektoren (Zahlenreihen) für Texte, keine Sprachausgaben. Für mehrsprachige oder rein deutsche Texte benötigt man ein geeignetes mehrsprachiges Modell.
  • Reasoning-Modelle: Deep Thinking ist eine Funktion die hilft knifflige Probleme zu lösen. Es funktioniert so, dass man mehrere Ideen gleichzeitig mit parallelem Denken durchdenkt, sie vergleicht und dann die beste Lösung auswählt.
  • TTS/STT-Modelle (text to speech / Speech to text) für Sprachausgaben müssen als lokale Instalation via OpenAI-kompatibler API angebunden werden. Ollama unterstützt das nicht. Man braucht dazu einen weiteren Container z.B. mit speaches-ai.
  • Mixture of Experts Modelle: MoE ist eine KI-Architektur, bei der ein großes neuronales Netz in viele kleine, spezialisierte Teilnetze (die "Experten") unterteilt wird. Ein Steuerungsmechanismus (der "Router") leitet jede Anfrage dynamisch nur an die Experten weiter, die für das jeweilige Problem am besten geeignet sind. 
  • Tools (Function Calling) ist die Fähigkeit eines Sprachmodells selbstständig Programme, APIs, Webseiten oder andere externe Skripte auszuführen, anstatt nur Text zu generieren
  • MLX ist Apples eigenes Machine-Learning-Framework. Modelle mit MLX im Namen sind für Apple Silicon CPUs.

Open Notebook verwendet Esperanto zur Anbindung der verschiedener KI-Provider. Es gibt eine Übersicht, welche Anbieter/Modelle welche Aufgaben (Embedding, Chat, TTS, STT) erledigen können. Da mit Ollama keine Audio Ein- oder Ausgabe angebunden werden kann wird Audio erstmal vertagt.

Man sollte mindestens ein auf Chat/Suche und ein auf Embedding optimiertes Modell herunterladen. Dabei ist zu beachten, wie viel freier (V)RAM auf der eigenen Hardware zur Verfügung steht.

KI-Modelle installieren

• Empfehlung für kleine Hardwareausstattung ~4,7GB (V)RAM:

docker exec open-notebook-ollama-1 ollama pull jina/jina-embeddings-v2-base-de

docker exec open-notebook-ollama-1 ollama pull mistral

• Empfehlung für mittlere Genauigkeit/Qualität ~7,8GB (V)RAM:

docker exec open-notebook-ollama-1 ollama pull bge-m3

docker exec open-notebook-ollama-1 ollama pull qwen3.5

• Empfehlung für hohe Genauigkeit/Qualität ~12,1GB (V)RAM:

docker exec open-notebook-ollama-1 ollama pull qwen3-embedding:4b

docker exec open-notebook-ollama-1 ollama pull gemma4

• Empfehlung für höchste Genauigkeit/Qualität ~22,7GB (V)RAM:

docker exec open-notebook-ollama-1 ollama pull qwen3-embedding:8b

docker exec open-notebook-ollama-1 ollama pull gemma4:26b

GPU-Nutzung überprüfen

Wenn in der Ollama-Docker-Konfiguration die Unterstützung für NVidia-GPUs aktiviert wurde kann die Funktionalität überprüft werden. Bei der Ollama-Prozessübersicht muß die Spalte PROCESSOR mit GPU gefüllt sein.

docker exec open-notebook-ollama-1 ollama ps
NAME             ID              SIZE      PROCESSOR    CONTEXT    UNTIL
llama2:latest    78e26419b446    6.0 GB    100% GPU     4096       3 minutes from now

Die Abfrage kann auch direkt in Docker Desktop erfolgen.

Weiter gehts mit der Konfiguration in Teil 4.

Voraussetzung für die Bereitstellung von Open Notebook ist eine vorhandene Installation der Containervirtualisierung Docker Engine (Docker CE) oder Docker Desktop. Letzteres steht für die gängigen Betriebssysteme Linux, Windows und MacOs zur Verfügung.

Open Notebook besteht aus mehreren Komponenten:

• Datenbank surrealdb als Docker Container
• Anwendung Open Notebook als Docker Container (Python-Anwendung mit Webserver uvicorn und next.js-Webframework)
• KI Tools / LLMs
  • Cloud-basiert (z.B. Google AI, Anthropic, OpenAI, ElevenLabs, ...) über API-Zugriff
  • Lokal installiert (Ollama oder LM Studio) über API-Zugriff
  • Lokal als Docker Container (Ollama) über API-Zugriff

Installation vorbereiten

Zunächst legt man sich einen Ordner für die Anwendung an, in der die Container-Daten gespeichert werden. Dort kann kann man sich zunächst die Bauanleitung von Open Notebook für Docker einrichten.

KI-Tools cloud-basiert 

Wer nur mit Cloud-basierten KI-Tools arbeiten will kann auf den zusätzlichen Docker-Container für Ollama verzichten. 

docker-compose.yml herunterladen

curl -o docker-compose.yml https://raw.githubusercontent.com/lfnovo/open-notebook/main/docker-compose.yml

docker-compose.yml mit Texteditor öffnen und Schlüssel für Verschlüsselung anpassen

OPEN_NOTEBOOK_ENCRYPTION_KEY=change-me-to-a-secret-string

KI-Tools lokal installiert

Wer bereits Ollama oder LM Studio lokal installiert hat kann das als lokalen LLM-Provider für Open Notebook verwenden und auf den zusätzlichen Docker-Container für Ollama verzichten. 

docker-compose.yml herunterladen

curl -o docker-compose.yml https://raw.githubusercontent.com/lfnovo/open-notebook/main/docker-compose.yml

docker-compose.yml mit Texteditor öffnen und Schlüssel für Verschlüsselung anpassen

OPEN_NOTEBOOK_ENCRYPTION_KEY=change-me-to-a-secret-string

KI-Tools lokal als Docker Container

Wer mit lokaler KI arbeiten will, aber noch keine bereitgestellt hat, kann das am einfachsten über einen zusätzlichen Docker-Container mit Ollama realisieren.

Mit Texteditor docker-compose.yml erstellen:

services:
  surrealdb:
    image: surrealdb/surrealdb:v2
    command: start --log info --user root --pass root rocksdb:/mydata/mydatabase.db
    user: root  # Required for bind mounts on Linux
    ports:
      - "8000:8000"
    volumes:
      - ./surreal_data:/mydata
    environment:
      - SURREAL_EXPERIMENTAL_GRAPHQL=true
    restart: always
    pull_policy: always

  open_notebook:
    image: lfnovo/open_notebook:v1-latest
    ports:
      - "8502:8502"  # Web UI
      - "5055:5055"  # REST API
    environment:
      # REQUIRED: Change this to your own secret string
      # This encrypts your API keys in the database
      - OPEN_NOTEBOOK_ENCRYPTION_KEY=change-me-to-a-secret-string

      # Database connection (default values - no need to change)
      - SURREAL_URL=ws://surrealdb:8000/rpc
      - SURREAL_USER=root
      - SURREAL_PASSWORD=root
      - SURREAL_NAMESPACE=open_notebook
      - SURREAL_DATABASE=open_notebook
      
      # Ollama (required when running Ollama via Docker, as in this compose file)
      - OLLAMA_BASE_URL=http://ollama:11434
      
    volumes:
      - ./notebook_data:/app/data
    depends_on:
      - surrealdb
    restart: always
    pull_policy: always

  ollama:
    image: ollama/ollama:latest
    ports:
      - "11434:11434"
    volumes:
      - ./ollama_models:/root/.ollama
    restart: always
    # Optional: set GPU support if available
    # deploy:
    #  resources:
    #    reservations:
    #      devices:
    #        - driver: nvidia
    #          count: 1
    #          capabilities: [gpu]

NVidia GPU-Support

Wer über eine NVidia GPU verfügt kann in der docker-compose.yml GPU-Unterstützung aktivieren.

    # Optional: set GPU support if available
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

Installation / Deployment

Nun können die Container gemäß der Bauanleitung erzeugt werden.

docker compose up -d
[+] up 26/26
 ✔ Image surrealdb/surrealdb:v2            Pulled                                                                   2.0s
 ✔ Image lfnovo/open_notebook:v1-latest    Pulled                                                                 274.2s
 ✔ Image ollama/ollama:latest              Pulled                                                                1116.3s
 ✔ Container open-notebook-ollama-1        Started                                                                  0.7s
 ✔ Container open-notebook-open_notebook-1 Started                                                                  0.9s
 ✔ Container open-notebook-surrealdb-1     Started                                                                  0.2s

What's next:
    Filter, search, and stream logs from all your Compose services
    in one place with Docker Desktop's Logs view. docker-desktop://dashboard/logs?appId=open-notebook

docker ps
CONTAINER ID   IMAGE                            COMMAND                  CREATED          STATUS          PORTS                                                                                      NAMES
ca2e70575fe9   lfnovo/open_notebook:v1-latest   "/usr/bin/supervisor…"   13 minutes ago   Up 13 minutes   0.0.0.0:5055->5055/tcp, [::]:5055->5055/tcp, 0.0.0.0:8502->8502/tcp, [::]:8502->8502/tcp   open-notebook-open_notebook-1
576e87ed7f57   ollama/ollama:latest             "/bin/ollama serve"      13 minutes ago   Up 13 minutes   0.0.0.0:11434->11434/tcp, [::]:11434->11434/tcp                                            open-notebook-ollama-1
1029532d05e5   surrealdb/surrealdb:v2           "/surreal start --lo…"   5 days ago       Up 13 minutes   0.0.0.0:8000->8000/tcp, [::]:8000->8000/tcp                                                open-notebook-surrealdb-1

Docker Desktop 

Jetzt kann Docker Desktop gestartet werden.

Weiter gehts mit der Installation der KI-Modelle in Teil 3.

NotebookLM

Für KI-unterstütztes Lernen und Recherchieren mit Quellennachweis setzt das kommerzielle Google NotebookLM, basierend auf Gemini, aktuell die Referenz.

Es können verschiedene Quellen als Eingabe hinzugefügt werden:

• Dokumente: PDF, EPUB, DOCX (Word), TXT und Markdown
• Tabellen: XLSX (Excel)
• Präsentationen: PPTX (PowerPoint)
• Medien: Audio-Dateien, Video-Transkripte sowie direkte YouTube-Links
• Web: Öffentliche URLs und kopierter Text

Als Ausgabe können die Quellen und Chats in unterschiedlichster Form aufbereitet werden.

• Berichte, Zusammenfassungen und Briefings
• Audio-Übersichten/Podcasts
• Erklärvideos
• Datentabellen
• Notizen
• Quiz
• Karteikarten
• Mindmap
• Präsentation

Hier ein Screenshot für ein Notebook in Google NotebookLM: 

AnythingLLM

Ich habe als lokale, freie Alternative bislang mit AnythingLLM eine RAG-Pipeline selbst gebastelt.

Open Notebook

Open Notebook ist eine weitere freie Alternative, bietet ein schönes Frontend, dass schon nahe an das NotebookLM-Erlebnis herankommt und unterstützt dabei die Anbindung verschiedener KI-Tools über APIs - lokal (Ollama) und über Cloud (z.B. Google Gemini).

• Die in Open Notebook hochgeladenen Dokumente und URLs, Embeddings, Analysen und Chatverläufe bleiben in jedem Fall lokal gespeichert.
• Bei der Benutzug lokaler LLMs (für z.B. Embeddings, Chatbot, etc.) verlassen auch zur Verarbeitung keine Daten den Rechner.

Unterstützte Quellen sind:

• Dokumente: PDF, Epub, Text, Markdown, Office (doc, ppt)
• Medien: YouTube videos, Lokale Videos, Audio Aufnahmen
• Web Content: Web Artikel, Blog posts, News Artikel

 Die Features von Open Notebook sind:

• Support für LLM-Modelle verschiedener KI-Anbieter
• Support unterschiedlicher Formate für Inhalte
• KI-Chatbot
• KI-unterstützte Notien
• Verschiedene Berichte (Transformationen)
• (Volltext- und Vektor-) Suche und Fragen
• Umwandeln von  Notizen in Podcasts

Hier ein Screenshot für ein Notebook in Open Notebook:: 

Interesse geweckt? Dann schaut euch Teil 2 der Artikelreihe zu Open Notebook an.