Portkey: Enterprise-LLM-Gateway mit EU-Hosting und Self-Host-Tier

Was ist Portkey?

Portkey (portkey.ai) ist ein proprietäres LLM-Gateway mit zusätzlichem Self-Host-Tier für Enterprise-Kunden. Stand Mai 2026 unterstützt der Dienst nach Anbieterangaben über 1.600 LLMs und Embedding-Modelle von 250+ Providern hinter einer OpenAI-kompatiblen Schnittstelle. Die Firma wurde 2023 gegründet, hat nach eigenen Angaben im Februar 2026 eine Series-A-Runde über rund USD 15 Mio. abgeschlossen (genannter Lead-Investor: Lightspeed Venture Partners; bitte aktuell prüfen) und betreibt Cloud-Regionen in USA (us-east, us-west), EU (Frankfurt) und Indien (Mumbai).

Der Funktionsumfang geht über ein klassisches Routing-Gateway hinaus. Portkey kombiniert vier Bausteine: erstens AI-Gateway mit Modell-Routing, Fallback-Ketten, Retries und Lastverteilung; zweitens Observability mit Prompt-/Response-Tracing, Cost-Tracking pro Mandant/Workspace und Audit-Trail; drittens Guardrails mit über 50 vorgefertigten Filtern (PII-Erkennung, Toxicity, Prompt-Injection-Detection, Jailbreak-Mustererkennung); viertens Prompt-Management mit Versionierung, A/B-Testing und Template-Bibliothek.

Die Architektur ist hybrid. Der Standard-Tier ist Multi-Tenant-Cloud (portkey.ai-Endpoint). Der Enterprise-Tier läuft als Single-Tenant-Cloud in einer der drei Regionen oder als Self-Host-Deployment auf Kunden-Infrastruktur (Kubernetes Helm Chart, Docker-Compose-Stack). Self-Host ist kostenpflichtig und beginnt im Enterprise-Vertrag – typische Lizenz-Kosten liegen bei USD 30.000-80.000/Jahr je nach Volumen und Support-Level.

Für fairlane.systems-Mandate ist Portkey eine valide Alternative zu LiteLLM, wenn der Mandant Guardrails und Prompt-Management aus einer Hand will und das Budget die Enterprise-Lizenz trägt. Für reine Routing- und Audit-Anforderungen bleibt LiteLLM die preiswertere Wahl; sobald 50+ Guardrails, semantische Caches und ein gepflegtes Prompt-Repository gefragt sind, wird Portkey wettbewerbsfähig.

Warum es für CH-Mandate relevant ist

Drei Eigenschaften machen Portkey für CH-DSG- und Berufsgeheimnis-Kontexte interessant. Erstens: EU-Region Frankfurt. Portkey lässt sich so konfigurieren, dass jeder Request, jeder Log-Eintrag und jeder Trace ausschliesslich auf Frankfurt-Servern landet – kein Routing über US-Knoten, auch nicht für Telemetrie. Das deckt die revDSG-Anforderung an Drittland-Vermeidung ab, sofern auch die Upstream-LLMs in EU-Regionen liegen (Azure OpenAI EU, Mistral La Plateforme, Anthropic Claude on AWS Bedrock EU).

Zweitens: Guardrails als Konfigurations-Layer. Eine Treuhand kann eine PII-Maskierung vor dem LLM-Call zentral aktivieren; der Filter erkennt CH-AHV-Nummern, IBAN, UID-Nummern und ersetzt sie durch Platzhalter, bevor der Prompt das Gateway verlässt. Bei der Antwort kann ein zweiter Guardrail Halluzinations-Pattern erkennen oder Output-Schema validieren. Das alles lässt sich als YAML- oder UI-Konfiguration pflegen – keine Eigenentwicklung nötig.

Drittens: Audit-Trail in einem Format, das Auditoren akzeptieren. Portkey schreibt pro Request einen Audit-Eintrag mit Timestamp, Virtual-Key, Modell, Token-Zahl, Kosten, Guardrail-Verstössen und Antwort-Hash. Diese Daten lassen sich als CSV/JSON exportieren oder per API in ein WORM-Backend (Hetzner Storage Box mit Append-Only, AWS S3 Object Lock) replizieren. Für Art. 957a OR-Prüfungen ist das die richtige Abstraktion.

Die nach Anbieter-Angaben im Februar 2026 abgeschlossene Series-A-Finanzierung hat ausserdem für Konsolidierung im Roadmap gesorgt. Portkey nennt laut eigenen Angaben die Konformitäts-Zertifikate SOC 2 Type II und ISO 27001 (Stand und Geltungsbereich bitte direkt im Trust Center prüfen); ein dedizierter EU-Account-Manager für DACH-Kunden ist laut Anbieter seit März 2026 erreichbar. Das senkt die Schwelle für Procurement-Prozesse in grösseren CH-Unternehmen.

Wie es funktioniert

Der Einstieg erfolgt über das Portkey-Dashboard auf app.portkey.ai. Nach Account-Eröffnung – für EU-Compliance wird die Region Frankfurt im Onboarding ausgewählt – entsteht ein Workspace mit Mitgliedern, Rollen (Admin, Developer, Viewer) und Provider-Keys. Provider-Keys (OpenAI, Anthropic, Azure, Mistral, Google) werden zentral hinterlegt; Anwendungen verwenden nicht diese, sondern virtuelle Portkey-Keys.

Die Anwendungs-Anbindung folgt dem OpenAI-Schema:

import openai client = openai.OpenAI( api_key="pk-...", # Portkey Virtual Key base_url="https://api.portkey.ai/v1", default_headers={"x-portkey-virtual-key": "vk-mistral-eu", "x-portkey-config": "config-id-prod"} ) resp = client.chat.completions.create(model="mistral-large-2411", messages=[...])

Die x-portkey-config zeigt auf eine Konfiguration im Dashboard. Diese Konfiguration definiert: Modell-Fallback-Kette (z. B. mistral-large -> claude-opus-eu -> gpt-4o-eu), Retry-Strategie, Cache-Verhalten (exakt oder semantisch), aktive Guardrails und Output-Schema. Änderungen an der Konfiguration sind ohne Code-Release wirksam.

Die Observability-Schicht zeichnet jeden Call mit Prompt, Antwort, Token, Latenz, Modell, Cost und Guardrail-Result auf. Im Dashboard sind Mandanten- und Workspace-Filter eingebaut; ein Cost-Report pro Mandant pro Monat ist drei Klicks weit. Exports gehen als CSV, JSON oder per Webhook in externe Systeme. Die Daten-Retention ist konfigurierbar (7, 30, 90 Tage oder unbeschränkt im Enterprise-Tier).

Self-Host-Setups laufen über ein Helm-Chart für Kubernetes oder über Docker-Compose für kleinere Installationen. Die Datenhaltung erfolgt in PostgreSQL und ClickHouse; Object-Storage (S3-kompatibel) ist für Prompt-Archive vorgesehen. Eine Pilot-Installation auf Hetzner mit 3 Nodes läuft in einem Tag, eine Production-Installation mit HA und Backup-Strategie in 3-5 Tagen.

Portkey-Pilot in 5 Schritten

1. 01Workspace auf app.portkey.ai mit Region Frankfurt anlegen, Provider-Keys (Mistral, Anthropic, OpenAI) hinterlegen.
2. 02Konfiguration definieren: Fallback-Kette mistral-eu -> claude-eu, Guardrails PII-Mask + Toxicity, Cache exakt 24h, Retention 90 Tage.
3. 03Virtuelle Keys pro Anwendung erstellen, Budget (z. B. CHF 50/Monat für Pilot-Mandant), Modell-Whitelist (nur mistral-eu-*).
4. 04Anwendungen umstellen: base_url=https://api.portkey.ai/v1, Header x-portkey-virtual-key, x-portkey-config; Tests mit Eval-Set.
5. 05Compliance-Prüfung: Cost-Report pro Mandant, Guardrail-Report, Audit-Trail-Export prüfen; Self-Host-Migration bei Bedarf einplanen.

Wann Portkey passt

Erstens bei mittleren bis grossen Setups mit Compliance-Anforderungen, die LiteLLM allein nicht abbildet. Wenn ein Mandant pro Quartal eine Audit-Prüfung will, mit Guardrail-Verstoss-Reports, Prompt-Versionierungs-Historie und Cost-Reports pro Mandant in einem System, ist Portkey die ein-Werkzeug-Lösung. Mehrere LiteLLM-Komponenten plus Langfuse plus eigener PII-Filter wären der zerlegte Selbstbau.

Zweitens bei Multi-Tenant-Plattformen, die LLMs als Sub-Feature anbieten. Eine SaaS-Plattform mit 200 Mandanten und einem Chat-Feature kann Portkey-Workspaces nutzen, um pro Mandant ein eigenes Budget, eigene Modell-Whitelist und einen eigenen Cost-Report zu führen. Das Workspace-Modell ist auf Multi-Tenancy ausgelegt.

Drittens bei Teams, die Prompt-Management ernst nehmen wollen. Wer 30+ Prompts in Produktion pflegt, mit verschiedenen Versionen pro Mandant und A-B-Tests, profitiert vom Portkey-Prompt-Repository. Prompts werden dort als versionierte Artefakte gespeichert, deployed pro Umgebung (dev/staging/prod) und mit Eval-Sets gegen Goldstandards getestet.

Viertens, wenn das Procurement Cert-Anforderungen stellt. Grosse CH-Unternehmen verlangen oft SOC 2 Type II und ISO 27001 als Mindest-Anforderung – Portkey nennt diese Zertifikate nach eigenen Angaben (bitte aktuell prüfen). Reine OSS-Lösungen ohne Zertifikat scheitern an dieser Hürde.

Wann NICHT

Erstens bei kleinen Setups mit einem Provider und unter 10.000 Anfragen pro Monat. Hier ist Portkey überdimensioniert. Ein direkter OpenAI- oder Mistral-Aufruf mit etwas Logging in PostgreSQL reicht – oder eine kleine LiteLLM-Instanz auf einem CHF 12/Monat-Hetzner-Server.

Zweitens, wenn das Budget die Enterprise-Lizenz nicht trägt. Der Self-Host-Tier kostet ab USD 30.000/Jahr, der Cloud-Pro-Tier ab USD 99/Monat plus Token-basierte Gebühren. Für ein KMU mit fünf produktiven LLM-Calls pro Tag ist das nicht angemessen – LiteLLM Self-Host auf Hetzner läuft bei CHF 240/Jahr Server-Kosten.

Drittens bei reinen OSS-Stack-Anforderungen. Einige Mandate (etwa öffentliche Hand, Universitäten) fordern explizit OSS-Komponenten ohne kommerzielle Lizenz. Portkey ist proprietär – die OSS-Variante existiert nicht. In diesen Fällen sind LiteLLM, Helicone Self-Host oder APISIX die richtigen Wahl.

Viertens, wenn ein bestehendes Kong/APISIX/NGINX-Gateway bereits in Produktion ist. Eine zweite Gateway-Schicht ist redundant und erschwert das Debugging. Hier lässt sich das AI-Plugin des bestehenden Gateways nachrüsten und ggf. Langfuse als reine Observability-Komponente parallel betreiben.

Vor- und Nachteile

Häufige Fragen

Verwandte Themen

Quellen

1. Portkey AI Documentation – gateway, observability, guardrails, prompts · 2026-05
2. Portkey Pricing and Enterprise Tier (Cloud and Self-Host) · 2026-05
3. Portkey Series A announcement (vendor blog) – stated ~USD 15M led by Lightspeed; verify current · 2026-02
4. Portkey Trust Center (vendor self-attestation) – SOC 2 Type II, ISO 27001, EU region; verify current · 2026-04