Skip to content

Latest commit

 

History

History
49 lines (40 loc) · 3.01 KB

TODOS.md

File metadata and controls

49 lines (40 loc) · 3.01 KB

TODOS — llmjson CLI

Generated by /plan-eng-review on 2026-04-30

Post-Launch (Woche 2)

TODO-001: HTTP-Server llmjson serve

  • What: FastAPI-Server mit POST /generate, GET /health, Fehler-Codes 400/413/422/503
  • Why: n8n/LangChain/CrewAI-Nutzer brauchen HTTP-API, nicht CLI
  • Pros: Öffnet Pipeline-Integration, eigene API (nicht Ollama-kompatibel wegen Logit-Zugriff)
  • Cons: FastAPI + Uvicorn als zusätzliche Dependencies, eigene Tests nötig
  • Context: Design-Doc spezifiziert API-Kontrakt bereits. ~100 Zeilen Code + Tests. Blocked by: llmjson Package fertig.
  • Depends on: llmjson Package (Step 1-3 des Sprint)

TODO-002: Ollama-Vergleichstest ✅ DONE (2026-04-30)

  • Ergebnis: Ollama qwen2.5:14b --format json: 40/40 = 100% schema compliance
  • Konsequenz: "100% valid JSON" ist kein USP. Differenzierer ist Speed (10-25x schneller) und keine Server-Abhängigkeit.
  • Test: tests/test_ollama_comparison.py
  • Marketing angepasst: Tagline, Vergleichstabelle, Blogpost aktualisiert.

TODO-003: Blogpost-Titel und Claims ehrlich formulieren ✅ DONE (2026-04-30)

  • Ergebnis: Schema-Support-Tabelle auf Landing Page, Qualifier im Blogpost, Ollama-Vergleich ehrlich dokumentiert.
  • Tagline: "Valid JSON from local LLMs. No server, no retries, 10x faster than Ollama."

Post-Launch (Woche 3+)

TODO-004: Linux-Support via llama-cpp-python

  • What: Backend-Abstraktion einführen, llama-cpp-python als zweites Backend
  • Why: Erweitert Zielgruppe auf Linux-Server. Erst wenn Nachfrage validiert (GitHub Issues).
  • Pros: Viel größerer adressierbarer Markt, CUDA-GPU-Support
  • Cons: Backend-Abstraktion-Design, neue Dependency, eigene Tests. Logit-API von llama-cpp-python muss verifiziert werden.
  • Context: llama-cpp-python bietet logits Property auf LlamaState. Machbarkeitstest: 4h.
  • Depends on: Mindestens 3 GitHub Issues die Linux-Support anfragen

TODO-005: MRC als opt-in Feature

  • What: Soft-Resonanz-Layer zurück ins Package als generate(..., use_mrc=True)
  • Why: Verbessert Inhaltsqualität (nicht Korrektheit). Könnte bei sinnvolleren Werten in JSON-Values helfen.
  • Pros: Zeigt volle OGJ-CF Architektur, differenziert von reinem Grammar-Constraining
  • Cons: +1200 Zeilen Code, Schema-Encoder als Dependency, höhere Komplexität
  • Context: MRC/WMS/QAS wurden in D9 aus dem Prototyp ausgeschlossen. Wieder einbauen nur wenn Content-Qualität ohne MRC unbefriedigend ist.
  • Depends on: Nutzerfeedback zur Content-Qualität

TODO-006: Chat-Template Fallback-Strategie

  • What: Robuster Fallback wenn tokenizer.apply_chat_template() fehlt oder fehlerhaft ist
  • Why: Outside Voice: nicht alle HF-Tokenizer haben chat_template. Stiller Qualitätsverlust möglich.
  • Pros: Funktioniert mit jedem Modell, nicht nur HF-Standard-Modelle
  • Cons: Muss pro-Modellfamilie getestet werden
  • Context: 99% der HF-Modelle haben chat_template. Fallback: Warnung loggen + generischer Prompt ohne Chat-Wrapper.
  • Depends on: —