OpenRouter: Multi-Modell-Marktplatz für schnellen LLM-Vergleich

Was ist OpenRouter?

OpenRouter (openrouter.ai) ist ein proprietärer Cloud-Marktplatz mit Stand Mai 2026 über 200 LLM-Modellen von rund 60 Anbietern hinter einer einzigen OpenAI-kompatiblen REST-API. Wer den Endpoint POST https://openrouter.ai/api/v1/chat/completions ansteuert, kann das Feld model frei wählen: openai/gpt-4o, anthropic/claude-opus-4.7, mistralai/mistral-large-2411, deepseek/deepseek-r1, google/gemini-2.5-pro, meta-llama/llama-3.3-70b und Dutzende mehr. Die Anwendung im Code bleibt unverändert, der Anbieter ist eine Zeichenkette im Request-Body.

Das Geschäftsmodell ist Credit-basiert. Nutzer laden USD-Credits auf den Account und bezahlen pro 1.000 Tokens den Listenpreis des jeweiligen Modells plus 5% OpenRouter-Markup. Es gibt keine monatliche Grundgebühr und keine Bindung an einzelne Provider. Abgerechnet wird taggenau, Restguthaben verfällt nicht. Für Teams existiert ein Workspace-Modell mit gemeinsamem Credit-Pool, Mitgliederrollen und Usage-Reports.

Technisch ist OpenRouter ausschliesslich Cloud. Stand Mai 2026 gibt es keinen Self-Host-Tier und keinen EU-Tier; der Dienst läuft auf US-Infrastruktur (primär Cloudflare und AWS us-east). Aus der Schweiz erreicht man OpenRouter typisch mit 80 bis 150 Millisekunden zusätzlicher Latenz gegenüber einem direkten Provider-Call. Die OpenRouter-Engine wählt pro Modell den jeweiligen Upstream (OpenAI, Anthropic, Together AI, Fireworks, Groq, Cerebras) und kann automatisch auf einen Ersatz-Upstream wechseln, wenn der primäre ausfällt – das ist das auto-fallback-Feature.

Für fairlane.systems-Mandate ist OpenRouter primär als Test- und Sondierungs-Werkzeug interessant. Produktive Workloads mit Mandantendaten gehen aus Datenschutz-Gründen über LiteLLM auf EU-Provider; OpenRouter ist die schnelle Spielwiese, um neue Modelle ohne Account-Eröffnung beim jeweiligen Provider in Minuten zu vergleichen.

Warum es relevant ist

Drei Gründe erklären die hohe Verbreitung. Erstens: Zeit bis zum ersten Vergleich. Wer Claude Opus gegen GPT-4o gegen Mistral Large gegen DeepSeek R1 testen will, braucht ohne OpenRouter vier separate Accounts, vier API-Keys, vier Billing-Setups. Mit OpenRouter genügt ein Account und der Modell-Name im Request. Für eine Treuhand, die einen RAG-Prototyp innerhalb von zwei Tagen vorlegen will, ist das ein realer Beschleuniger.

Zweitens: Auto-Fallback. Wenn Anthropic gerade einen Ausfall hat (die letzten 12 Monate gab es mehrere bekannte Störungen), schaltet OpenRouter automatisch auf einen Anthropic-Upstream bei einem anderen Datacenter um. Das deckt zwar nicht Anbieter-Wechsel ab (Anthropic-Outage = kein Claude verfügbar), aber es deckt Provider-interne Routing-Probleme zuverlässig ab.

Drittens: Markttransparenz. OpenRouter veröffentlicht ein öffentliches Ranking pro Modell mit Latenz, Verfügbarkeit und Token-Durchsatz. Wer wissen will, ob Llama 3.3 70B auf Groq oder Cerebras schneller liefert, sieht das live im Dashboard. Diese Transparenz hat in den letzten 12 Monaten dafür gesorgt, dass viele KMU OpenRouter als Sondierungs-Layer in der Prototyping-Phase nutzen.

Aus CH-DSG-Sicht ist OpenRouter aber kritisch. Jeder Request läuft über US-Server. Wer Mandanten-PII durchsendet, führt einen Drittland-Transfer durch und braucht eine Transfer-Impact-Assessment plus geeignete Garantien (DPA, SCCs, ggf. Verschlüsselung). Für offene Recherche-Anfragen ohne PII ist OpenRouter unter revDSG vertretbar; für Mandantendaten ist es der falsche Layer. Diese Trennung – OpenRouter für Recherche, LiteLLM-EU für Mandantendaten – ist die übliche Empfehlung in CH-Setups.

Wie es funktioniert

Der Einstieg ist minimal. Nach Account-Eröffnung auf openrouter.ai und Aufladung von Credits (Stripe, Crypto, USD-Wire) bekommt man einen API-Key der Form sk-or-v1-... . Jede Anfrage geht an die OpenAI-kompatible Basis-URL https://openrouter.ai/api/v1 mit diesem Bearer-Token. Ein Beispiel-Request in Python:

import openai client = openai.OpenAI(api_key="sk-or-v1-...", base_url="https://openrouter.ai/api/v1") resp = client.chat.completions.create(model="anthropic/claude-opus-4.7", messages=[{"role":"user","content":"Was ist die MWST-Sätze 2026?"}]) print(resp.choices[0].message.content)

Das Modell-Feld folgt dem Schema provider/model-name. Provider und Modell-Listen werden im Dashboard geführt; Suffixe wie :nitro (latenz-optimiert) oder :free (kostenfreie Test-Variante) erweitern die Auswahl. Für einige Modelle bietet OpenRouter mehrere Upstreams an – z. B. Llama 3.3 70B auf Together, Groq oder Fireworks. Mit dem Parameter provider.order kann man die Reihenfolge der Upstreams steuern, mit provider.allow_fallbacks=true den Auto-Fallback aktivieren.

Für Cost-Tracking liefert jede Antwort im Header X-OpenRouter-Cost den exakten Verbrauch in USD. Das lässt sich an einen lokalen Logger weiterreichen – z. B. an einen LiteLLM-Proxy davor, der die OpenRouter-Calls als externen Provider behandelt. In dieser Konstellation läuft OpenRouter als upstream von LiteLLM, und LiteLLM übernimmt die zentralen Funktionen (virtuelle Keys, PostgreSQL-Audit, Modell-Whitelist).

Rate-Limits sind grosszügig: Standard-Accounts liegen bei rund 200 Requests pro Minute pro Modell, über Enterprise-Pläne auf Anfrage höher. Token-Limits folgen dem zugrundeliegenden Provider – Claude Opus also bei 200k Kontext, GPT-4o bei 128k, Mistral Large bei 128k. OpenRouter selbst erzwingt keine engeren Limits als die Upstream-Provider.

OpenRouter-Pilot in 5 Schritten

1. 01Account auf openrouter.ai eröffnen, USD 20 Credits aufladen, API-Key (sk-or-v1-...) generieren.
2. 02Vergleichs-Set definieren: 3-4 Modelle (z. B. claude-opus-4.7, gpt-4o, mistral-large-2411, deepseek-r1) und 20-30 reale Test-Prompts ohne PII.
3. 03Test-Skript schreiben: jeden Prompt durch jedes Modell laufen lassen, Antworten plus Cost-Header in eine CSV speichern.
4. 04Evaluation: Antwort-Qualität (LLM-as-Judge oder Mensch), Latenz, Kosten pro Anfrage und Token-Verbrauch pro Modell vergleichen.
5. 05Entscheidung dokumentieren und das Gewinner-Modell über LiteLLM-EU produktiv anbinden – OpenRouter nur als Recherche- oder Fallback-Layer behalten.

Wann OpenRouter passt

Erstens für schnelle Modell-Vergleiche. Wenn ein Mandant einen RAG-Chat will und das Team zwischen Claude, Mistral und Llama wählen muss, ist OpenRouter der kürzeste Weg von Idee zu A-B-Test. Ein Wochenende reicht, um drei Modelle gegen den gleichen Goldstandard zu vergleichen.

Zweitens für Anwendungen ohne PII. Marketing-Texte, Markt-Recherche, Wettbewerbs-Analysen, öffentliche Daten – alles, was unter dem Begriff offene Recherche fällt – kann auf OpenRouter laufen. Ein Beispiel: ein Treuhand-Büro will pro Woche eine Branchen-Übersicht der wichtigsten DSG-Änderungen erstellen lassen. Das ist keine Mandantenarbeit, sondern interne Recherche. OpenRouter mit Perplexity oder Claude Sonnet ist hier gut geeignet.

Drittens als Backup-Provider hinter einem Self-Host-Gateway. In einem LiteLLM-Setup mit Mistral-EU als Primär-Provider kann OpenRouter als Fallback-Upstream konfiguriert werden, wenn der Primär ausfällt. Wichtig: das Fallback darf nur für nicht-sensible Anfragen aktiv sein, sonst ist der Datenschutz-Layer ausgehebelt.

Viertens für Bildungs- und Demo-Setups. Wer einem Mandanten zeigen will, was unterschiedliche LLM-Familien können, kann OpenRouter im Live-Demo nutzen, ohne 60 Provider-Accounts anzulegen. Für interne Trainings im Büro ist OpenRouter ein etabliertes Werkzeug.

Wann NICHT

Erstens für Mandantendaten unter Berufsgeheimnis. Anwalts-, Notar-, Treuhand- und Arztdaten gehören nach StGB Art. 321 nicht in einen US-Cloud-Service ohne explizite Einwilligung des Mandanten und ohne Garantien. OpenRouter erfüllt diese Garantien Stand Mai 2026 nicht – es gibt kein EU-Datenzentrum, keinen Auftragsdatenverarbeitungs-Vertrag in CH-Standard und keinen Zero-Retention-Modus mit verbindlicher Zertifizierung.

Zweitens für revisionsfeste Audit-Trails unter Art. 957a OR. Zwar liefert OpenRouter pro Anfrage einen Cost-Header und ein Usage-Dashboard, aber kein WORM-Audit-Log und kein Hash-Anchor. Wer die Datenströme prüffest dokumentieren muss, braucht einen self-hostbaren Gateway dazwischen (LiteLLM, Helicone Self-host) – der dann auch für interne Compliance-Reports zuständig ist.

Drittens bei Latenz-Budget unter 100 ms. Real-Time-Voice-Bots und Streaming-Chat mit niedriger Time-to-First-Byte vertragen die 80-150 ms zusätzliche Latenz von der Schweiz aus typisch nicht. Hier ist der direkte Provider-Call (Mistral La Plateforme, Anthropic, OpenAI) oder ein Edge-Gateway wie Cloudflare AI Gateway die bessere Wahl.

Viertens, wenn das Budget vollständig in CHF geführt wird. OpenRouter rechnet in USD, was Kurs-Risiken einbringt. Bei Kleinmandaten ist das egal, bei grösseren Volumen mit festem CHF-Budget führt es zu Abweichungen, die man monatlich erklären muss.

Vor- und Nachteile

Häufige Fragen

Verwandte Themen

Quellen

1. OpenRouter Documentation – API, models, pricing, fallbacks · 2026-05
2. OpenRouter Models Catalogue – 200+ models with live latency ranking · 2026-05
3. OpenRouter Privacy and Data Retention policy · 2026-04
4. OpenRouter Status page – uptime and incident history · 2026-05