LiteLLM vs OpenRouter vs Portkey – welcher LLM-Gateway?

Worum es geht

LiteLLM, OpenRouter und Portkey sind die drei wichtigsten LLM-Gateways im Mai 2026. Ein LLM-Gateway sitzt zwischen Ihrer Anwendung und den LLM-Anbietern (OpenAI, Anthropic, Mistral, Cohere, Google, lokales Ollama). Ein einziges API-Schema deckt alle Anbieter ab – Sie wechseln Modelle, ohne Code-Änderungen.

LiteLLM ist ein in Python geschriebenes Open-Source-Projekt (MIT-Lizenz). Self-host üblich (Docker-Container), unterstützt 100+ Provider, vollständig OpenAI-kompatibel. Cloud-Tier optional. Wir bei fairlane.systems betreiben LiteLLM produktiv seit 2025 für Schweizer Treuhand-Kunden.

OpenRouter ist ein US-amerikanischer SaaS-Anbieter – ein API-Key für über 200 Modelle inklusive aller proprietären und Open-Source-Varianten. Sehr einfacher Einstieg, transparente Pay-per-Use-Preise. Cloud-only, US-Hosting (Mai 2026 kein dedizierter EU-Tier).

Portkey ist ein Enterprise-Gateway aus den USA, mit Cloud-Service und Self-Host-Tier. Bietet eingebaute Observability, Semantic-Caching, Guardrails, Cost-Tracking und Multi-Tenant-Verwaltung. EU-Region verfügbar; Pricing Subscription-basiert.

Mai 2026 sind alle drei produktionsreif, aber Ziel-Gruppen und Compliance-Profile unterscheiden sich klar.

Warum dieser Vergleich?

Ohne Gateway ist Multi-LLM-Routing in einer Schweizer KMU-Anwendung schmerzhaft: jeder Anbieter hat eigenes SDK, eigenes Authentifizierungs-Schema, eigene Quirks. Ein Anbieterwechsel = Code-Wechsel. Mit Gateway: ein Schema, alle Anbieter.

Die Gateway-Wahl entscheidet über vier harte Folgen.

Erstens Datenresidenz. LiteLLM self-host läuft auf Ihrer EU/CH-Infrastruktur – kein Drittland-Hop. OpenRouter routet über US-Server, jeder Request wird dort durchgereicht (auch wenn das Modell bei Mistral Paris liegt). Portkey hat eine EU-Region (Frankfurt) seit Q3 2025; ohne EU-Tarif fliesst auch hier Traffic durch die US-Hauptregion.

Zweitens Compliance-Routing. Für Schweizer Treuhandbüros oder Anwaltskanzleien muss "Daten unter Berufsgeheimnis = nur EU-Region-Modelle, alles andere = OpenAI/Anthropic erlaubt" als Regel im Gateway erzwingbar sein. LiteLLM und Portkey unterstützen Routing-Regeln. OpenRouter bietet das via "Preferred Provider"-Setting, aber weniger granular.

Drittens Beobachtbarkeit. Wer für 50+ Mandanten LLM-Calls macht, braucht Cost-Pro-Mandant, Audit-Trail, Anomalie-Erkennung. Portkey hat das eingebaut. LiteLLM liefert Basis-Logging plus Loki/Grafana-Integration (selbst aufzusetzen). OpenRouter zeigt nur Aggregat-Verbrauch.

Viertens Pricing-Modell. LiteLLM kostet Server-Stunden (Hetzner CX22 ca. EUR 4/Monat). OpenRouter macht Aufschlag von ca. 5 Prozent auf Vendor-Preise plus eigene Cloud-Marge. Portkey hat Subscription ab USD 49/Monat plus Provider-Kosten.

Head-to-Head auf 6 Achsen

Datenschutz und EU-Hosting. LiteLLM gewinnt: voll self-host, Daten bleiben in Ihrem Rechenzentrum (Hetzner, Exoscale, Infomaniak). Portkey EU-Region verfügbar (Frankfurt) auf Enterprise-Tier; Standard-Tier läuft US-zentral. OpenRouter ist Mai 2026 ohne dedizierten EU-Tier, alle Requests laufen durch US-Server.

Preis. LiteLLM Server: EUR 4-20/Monat für einen Hetzner-Container, je nach Last. OpenRouter: Pay-per-Use, Vendor-Preis plus ca. 5 Prozent Markup (z.B. GPT-4o USD 2.50 in / 10 out wird ca. USD 2.65 / 10.50). Portkey: Subscription ab USD 49/Monat (Starter, 10000 Requests), USD 199/Monat (Production, 100000 Requests), Enterprise nach Quote – plus Provider-Kosten.

Anzahl Provider / Modelle. OpenRouter führt: 200+ Modelle, inklusive proprietäre und Open-Source, Lobby für neue Modelle als erstes da. LiteLLM: 100+ Provider inkl. lokales Ollama, Open-Router selbst, Bedrock, Azure, Vertex. Portkey: 100+ Modelle über 30+ Provider, plus eigene Caching-Schicht.

Compliance-Routing. Portkey führt: visuelle Routing-Regeln im UI, Guardrails (PII-Filter, prompt-injection-Schutz), Audit-Log für Compliance-Beweise. LiteLLM: routing rules in Python-Code oder via YAML, voll konfigurierbar aber kein UI. OpenRouter: einfache Preferred-Provider-Einstellung, kein Guardrail-Layer.

Lock-in. LiteLLM: keinerlei Lock-in, MIT-Lizenz, Code offen, Daten in Ihrer DB. Portkey: Lock-in zur Portkey-Plattform; Migration zu LiteLLM möglich (gleiches OpenAI-Schema), aber Konfiguration manuell übertragen. OpenRouter: niedriger technischer Lock-in (OpenAI-Schema), aber wirtschaftlich Markup-Pflicht.

Operations-Aufwand. OpenRouter am einfachsten: API-Key holen, fertig. Portkey: Account, Subscription, Config – ca. 2 Stunden. LiteLLM: Docker-Container, Postgres-Backend, virtual keys, Loki – ca. 4-8 Stunden Setup, dann 2 Stunden/Monat Betrieb.

Entscheidungsweg in 6 Schritten

1. 01Datenklassifikation: Sind die Daten unter Berufsgeheimnis oder revDSG-streng? Wenn ja, LiteLLM self-host Pflichtkandidat.
2. 02Anzahl Provider zählen: einer = kein Gateway, 2-5 = LiteLLM oder OpenRouter, 5+ mit Compliance-Reports = Portkey.
3. 03Volumen schätzen: Anfragen pro Monat. Unter 10k = OpenRouter (zero ops). Über 10k = LiteLLM oder Portkey.
4. 04Compliance-Reports prüfen: Audit-Trail, Cost-Pro-Mandant, PII-Filter nötig? Wenn ja, Portkey oder LiteLLM mit Loki/Grafana.
5. 05Setup-Knowhow prüfen: Docker + Postgres + Routing-YAML möglich? Wenn ja, LiteLLM. Wenn nein, OpenRouter oder Portkey.
6. 06Pilot bauen: 14 Tage produktiv, über 100 echte Anfragen messen, Latenz und Cost dokumentieren, dann skalieren.

Wann welcher Gateway

Wann LiteLLM. Sie sind Schweizer Treuhand, Anwalt, Versicherung oder Arzt. Ihre Daten dürfen kein Drittland sehen (nicht einmal Routing-Server). Sie wollen volle Kontrolle über Routing-Regeln, Logging, Audit-Trail. Sie haben einen Sysadmin oder Dienstleister für Docker. Sie wollen keinen monatlichen Subscription-Aufschlag auf die Vendor-Preise. LiteLLM ist die Default-Wahl für regulierte CH-KMU mit DSG- und Berufsgeheimnis-Vorgaben.

Wann OpenRouter. Sie sind Solo-Entwickler, früh-stage Startup oder Marketing-Agentur mit Standard-Daten. Sie wollen in 5 Minuten loslegen, ohne Server zu betreiben. Sie experimentieren mit 10+ Modellen pro Woche und schätzen die "ein Key, 200 Modelle"-Bequemlichkeit. Sie sind preissensitiv auf das Vendor-Listing, nicht auf den Markup. Sie haben keine Datenresidenz-Vorgabe. OpenRouter ist die Default-Wahl für Prototypen, Hobby-Projekte, Englisch-sprachige Use-Cases.

Wann Portkey. Sie sind ein grösseres Unternehmen mit 100+ Mitarbeitern und 10+ AI-Use-Cases parallel. Sie brauchen eingebaute Observability, Cost-Pro-Mandant, Audit-Reports für Compliance. Sie wollen einen Vendor mit Enterprise-Support und SOC-2 oder ISO-27001. Ihr Budget hat 200-2000 USD/Monat für den Gateway selbst. Sie haben kein Engineering-Team, das LiteLLM self-host operativ stabil halten will. Portkey ist die Wahl für mittelständische Unternehmen mit Enterprise-Anforderungen.

Wann KEINES. Wenn Sie nur einen einzigen LLM-Anbieter nutzen (z.B. nur OpenAI), brauchen Sie kein Gateway – direktes SDK reicht. Wenn Ihre Last sehr klein ist (unter 1000 Anfragen pro Monat) und Sie noch keine Routing-Komplexität haben, ist jeder Gateway Overengineering. Wenn Sie absolute Tier-A-Souveränität brauchen und nur lokale Modelle nutzen, ist Ollama oder vLLM direkt der bessere Endpoint.

Wann KEINER der drei

Wenn Sie nur einen einzigen Anbieter nutzen und es dabei bleibt (z.B. eine reine OpenAI-Anwendung mit Function-Calling), bringt der Gateway-Layer nur Komplexität ohne Mehrwert. Direkt OpenAI-SDK ist einfacher.

Wenn Ihre LLM-Last sehr niedrig ist (unter 100 Anfragen pro Tag) und Sie noch keine Compliance-Anforderung haben, ist jeder Gateway Overengineering. Setzen Sie ein simples Python-Module mit zwei If-Branches auf – solange die Last es zulässt.

Wenn Sie ausschliesslich lokale Modelle (Ollama, vLLM) nutzen, ist LiteLLM zwar möglich, aber der direkte Ollama-API-Call reicht oft. Gateway-Sinn entsteht erst, wenn mehrere Provider kombiniert werden.

Wenn Sie eine sehr exotische Anforderung haben (z.B. Realtime-Voice-Streaming via WebSocket, Bidirectional-RPC mit OpenAI), unterstützen alle drei Gateways das nur teilweise. Hierfür direkte SDK-Calls am betroffenen Endpoint, sonst geht Latenz und Streaming-Fähigkeit verloren.

Wenn Ihr Compliance-Profil so streng ist, dass selbst der Gateway-Server nicht in Ihrer Hand sein darf (FINMA-Tier-A, Bundesinfrastruktur), brauchen Sie ein Hardware-Gated-Setup – auch LiteLLM self-host muss dann in einem Air-Gapped-Bereich laufen, kombiniert mit dedizierten Audit-Pipelines.

Vor- und Nachteile

Häufige Fragen

Verwandte Themen

Quellen

1. LiteLLM – GitHub repository · 2026-05
2. OpenRouter – Pricing and providers · 2026-05
3. Portkey – Documentation · 2026-05
4. ToolHalla – OpenRouter vs LiteLLM vs Portkey 2026 · 2026-04
5. PkgPulse – Portkey vs LiteLLM vs OpenRouter LLM Gateway 2026 · 2026-03