LLMs selbst betreiben

Warum

überhaupt?

SLM - Small Language
Models

• Zugänglichkeit: jeder kann sie verwenden
• Anpassbarkeit: selbst trainierbar
   
• Spezialisierung: Gut für spezielle Aufgaben
  • RAG
  • Summarization
  • Tool Calling & Agent Reasoning
     
• Bei hohem Read/Write-Quotienten statt RAG
   
• Ressourcenbedarf : Training und Inferenz
• Kosten & Sustainability

Ressourcenbedarf in $ 

Privacy & Security

• Microsoft ist so mittel in Cloud Security
• Offline Access
• Datensouveränität
• Unabhängigkeit
• Vendor Control

Wann sollte ich
das nicht tun?

Wenn ich die DSGVo
einhalten will.

Praktisch jeder grössere LLM-SAAS bietet inzwischen GDPR-compliant an.

Weil ich möchte, dass auf meinen Daten nicht trainiert wird.

Das ist in praktisch allen kostenpflichtigen Angeboten konfigurierbar.

Weil ich PII-Daten
verarbeite.

Die meisten größeren LLM-Libraries bieten reversible data anonymization an.

Sind offene oder proprietäre LLMs besser?

LMSYS Chatbot Arena Leaderboard

https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard

Die offenen Top-Modelle laut Chatbot Arena

https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard

Die offenen Top-Modelle laut Huggingface-Benchmarks

https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard

Die offenen Top-Modelle laut Huggingface-Benchmarks

Modelauswahl

• Filtern und Sortieren 
• verschiedene Benchmarks
• Größe
  
  
  
  
   
• Mehrsprachig:
  https://huggingface.co/spaces/uonlp/open_multilingual_llm_leaderboard

Speicherbedarf 

https://llm-system-requirements.streamlit.app/

48GB GPU, um
3 parallele Anfragen auf einem 8B-Modell zu liefern?

Zwei 80GB-Karten, um mit Batch-Size 6 zu trainieren?

Quantization

GPTQ, AWQ, GGUF, EXL2 ....

Speicherbedarf mit Quantisierung

https://llm-system-requirements.streamlit.app/

Uh, das kann ich ja sogar auf dem Rechner aller Kollegen laufen lassen.

Ja, genau.

LLMing on the Edge: LLamaCPP

Warum muss man eine GPU haben, wenn man C++ kann?

• 2022: GGML-C-Library für GPT-Inference auf normaler Hardware
• 2023: auf er Basis llama.cpp
• Support für Apple, ARM, Accelerate,
  AVX1-512, 1.5-8 bit, Cuda, AMD GPU,
• Hybrid & Offloading
• Support für Multimodal
• Built-In Webserver mit OpenAi-API
   
• ollama basiert auf llama.cpp

curl -fsSL https://ollama.com/install.sh | sh

ollama run llama3

curl -X POST http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt":"Why is the sky blue?"
 }'

ollama on the Edge

exLlamav2

• Von @turboderp 
• Focus auf Consumer GPUs
• 7B-Modell mit 207 token/s auf einer 4090
• OpenAI-Style-API mit TabbyAPI

🤗 Transformers

• Huggingface Transformers lokal
• für in-code-inference
• AWQ, GPTQ-Support
• On-the-Fly-Quantisierung über BitsAndBytes
• Flash-attention für bessere Speichernutzung

Apple MLX

• Apples Antwort auf llama.cpp
• Teil der "Apple Intelligence" Strategie
• Optimiert auf die eigene Hardware
• Training und Inference
• Quantisierung in 4- und 8bit
• 891 Models auf Huggingface

Microsoft CoPilot+

• Teil des Microsoft CoPilot Plus PCs
• Eingebettet in die AI-Strategie
• NPUs von Qualcomm mit Apple-vergleichbarer Performance
• lokale LLMs, MLLMs, TTS, SST und vieles mehr
• DirectLM, ONNX, PyTorch uvm

Ok, lokal schön und gut,
aber ich meinte jetzt zentral gesteuert. Durch mich.

On Premises: 🤗 TGI

On Premises: 🤗 TGI

• Production Ready
   
•  OTel & Prometheus Support
   
• Zwischendrin eine seltsame Lizenz, jetzt aber wieder gut
   
• Nvidia, AMD, Intel Gaudi, AWS Inferentia
   
• Docker von HF, Helm Charts verfügbar
   
• OpenAI-kompatible Messages API

On Premises: 🤗 TGI

• Inzwischen schnell: Flash Attention, Fast Attention,
  Tensor Parallelism
   
• Speculation & noch mehr Performance via Medusa
   
• Support for JSON & Tool Calling
  • "Tools" Parameter unterstützt
  • Pydantic & JSON Schema Integration
     
• Support für Quantisierung, GPTQ & BitsAndBytes

On Premises:             

• Als TGI mal eine komische Lizenz hatte und langsam war
• von den Erfindern von PagedAttention

On Premises: vLLM

• Support für GPTQ, AWQ, SqueezeLLM
• Eigene Cuda-Kernels, Support für AMD, Intel
• Prefix-Caching ! 
• Multi-Lora-Support! 
• Super lebendige Community ❤️
• Served die LMSYS ChatBot Arena
• Seit 2 Wochen auch Tool Support mit Guided Json
• Docker, Kubernetes: Check 
• OpenAI-kompatible API

On Premises: vLLM

• Continuous Batching 
• Docker Support
• Kubernetes-Verteilung über KubeRay oder KServe

On Premises: LIGHTLLM

• Apache-2-Lizenz
• OpenAI-kompatible API
• Speicher-Effizient mit Token Attention
• zum Teil (LLaMa)  schneller als TGI und vLLM
• Support für multimodale Modelle

https://arxiv.org/pdf/2311.03687

On Premises:
NVIDIA TensorRT-LLM

• Python-API analog zu PyTorch
• Apache2-lizensiert
• Eigene CUDA-Kernel und Quantisierungen
• Wirklich schnell
• keine openai-messages-API, aber:
  https://github.com/npuichigo/openai_trtllm
• Support für Docker, Kubernetes 
• Backend-Integration für NVIDIA-Triton

On Premises:          
NVIDIA NIM          

• Weil: Nvidia verdient nicht genug Geld.
   
• Models als einfache Container
• Direkt in Docker oder per Helm in Kubernetes
• Supported die OpenAI API
• Prometheus-Metrics
• Kommerziell, $4.500 per GPU/Jahr oder
  $1 pro Cloud-GPU/Stunde
• laut Werbung viel schneller und einfacher.

https://github.com/lapp0/lm-inference-engines

Auswahl

On Premises: Hardware

Memory als Kostentreiber

Aber: 

• A16 sind deutlich langsamer, für die gleichen token/s braucht mal also deutlich mehr Geräte
• LlaMa3-8B ist deutlich schneller, sprich viel mehr token/s parallel
• NVidia NIM sieht auf einmal gar nicht mehr so teuer aus

Ok, dann vielleicht doch mieten.

https://cloud-gpus.com/

Rent or Buy?

Aber was ist, wenn ich nur zwischen 8 und 18 Uhr wirklich zugreife?

Spot-Instanzen < Reserviert < On Demand

Deployment mit SkyPilot

Deployment mit dstack

Und selbst trainieren?

Selbst trainieren

Internal
Sources

Human
Feedback

DataSet
Generation

Supervised
Finetuning

DPO-
Training

https://argilla.io/blog/argilla-for-llms/

Human
Feedback

DPO

Datasets aus eigenen Quellen

• Ebenfalls von Argilla: Distilabel - https://distilabel.argilla.io/
• Pipelines zur Erzeugung von Datasets.
• Automatisches Erzeugen von Instruktions per selfinstruct
• Aus Dokumenten, Datenbanken, etc

• Tool zum Kuratieren von Datasets
• Korrektur falscher Antworten aus Produktion oder Dataset
• Kann automatisch Daten sammeln
• zB aus LangChain-Applikationen
• Ranking für DPO

• Von Redhat/ IBM, um OpenSource zu "unterstützen"
• Grundidee:
  • man liefert seine Trainingdaten in ein Repository,
  • IBM trainiert darauf.
• Methode
  1. Frage und Antwort-Paare erzeugen
  2. Diese in Taxonomien einordnen und speichern
  3. InstructLab baut auf der Basis synthetische Daten
• Überraschend gute kleine Modelle sind das Resultat

Trainieren

• 8,4 TRL von Huggingface
  
  
   
• 6,3 Axolotl vom OpenAI Collective
  
  
   
• 23,1 LLama_Factory von Yaowei Zheng

Hugging Face TRL

Features

• SFT, DPO, PPO, ORPO
• Unsloth-Support
• Eingebettet in HF-Stack

Axolotl

Features

• SFT, Lora, qlora, flashattn
• Config-Getrieben
• Viele Beispiele
• Gute Community

LLaMA-Factory

Features

• Sehr grosse Community ...
• ... in Asien
• adaptiert unglaublich schnell
• Web-Interface & Config
• praktisch alle Algorithmen enthalten, inkl. Unsloth
• Diverse deutsche Datasets enthalten

Benchmarking

• Strategie 1: programmatisch
  • mein LLM wählt aus einer Liste von Optionen
  • die Distanz zur "richtigen" Antwort wird gemessen
     
• Strategie 2: "LLM as a Judge"
  • Ein Teacher-LLM prüft das Ergebnis
  • Sehr schnell und einfach

Benchmarking

https://github.com/occiglot/euro-lm-evaluation-harness

Programmatisch, Version des EleutherAI-Frameworks

Internationale Standard-Evals auf Deutsch

https://github.com/mayflower/FastEval
 

Einfache Implementierung von mt-bench mit LLM-as-a-judge

https://github.com/ScandEval/ScandEval

Programmatisch, Skandinavische Test-Suite mit Support für Deutsch

https://github.com/EQ-bench/EQ-Bench
 

Benchmark mit EQ und Kreativität im Fokus, LLM-as-a-judge.

Model
im Betrieb

Fazit - der volle Loop

Feedback

Collection

Dataset
Creation

Model
Training

Unternehmens-
Daten/Skills

vLLM
TGI
On-the-Edge

Argilla
LangSmith
LangFuse

Haystack
LangChain

Distilabel
InstructLab

Axolotl
LLaMa_Factory

Vielen Dank! 

Ich freue mich über Gespräche oder Fragen per Linked-In (QR links) :-)

Slides finden sich im QR-Code rechts.