FlashRank: ultraschneller Reranker auf CPU via ONNX-Runtime

Was ist FlashRank?

FlashRank ist eine quelloffene Python-Library von Prithiviraj Damodaran, gehostet auf github.com/PrithivirajDamodaran/FlashRank unter MIT-Lizenz. Die Library spezialisiert sich auf eine einzige Aufgabe: Cross-Encoder-Reranking mit extrem niedriger Latenz auf CPU. Anders als BGE-Reranker oder Cohere Rerank, die schwere Modelle mit 500+ Millionen Parametern nutzen, setzt FlashRank auf eine Auswahl kleiner Modelle (4 bis 35 Millionen Parameter), die durch ONNX-Runtime und Optimum-Tuning auf CPU sehr schnell laufen – unter 100 ms für 50 Kandidaten auf einer Standard-CPU.

Die Library bündelt mehrere vorgewandelte Modelle. Mai 2026 sind verfügbar: ms-marco-TinyBERT-L-2-v2 (4M Parameter, am schnellsten, einfache Qualität), ms-marco-MiniLM-L-12-v2 (33M Parameter, guter Kompromiss), ms-marco-MultiBERT-L-12 (mehrsprachig, 35M Parameter), rank-T5-flan (60M, qualitativ am stärksten in der FlashRank-Familie). Alle Modelle sind Cross-Encoder im klassischen ms-marco-Stil – auf der MS MARCO Passage-Ranking-Aufgabe trainiert.

Qualitativ liegen die FlashRank-Modelle deutlich unter BGE-Reranker-v2-m3 oder Cohere Rerank – typisch 5-10 Punkte weniger nDCG@10 auf MTEB-Reranking. Die Differenz ist signifikant, aber im Austausch bekommt man drei Vorteile, die in bestimmten Setups entscheidend sind. Erstens: extrem niedrige Latenz auf CPU ohne GPU-Anforderung. Zweitens: kleine Modelle (4-60 MB statt 2 GB), die in einen Container-Image-Layer passen. Drittens: simple API mit drei Zeilen Code von Install bis Erstes-Reranken.

Für Live-Chat, Voice-Agents oder Edge-Setups, in denen 200 ms Reranking-Latenz zu viel sind, ist FlashRank Mai 2026 die offensichtliche Wahl. Wer hingegen einen Standard-RAG-Stack mit Sub-Sekunden-Latenz-Budget baut, ist mit Cohere Rerank oder BGE-Reranker besser bedient.

Warum es für die Schweiz wichtig ist

Drei Gründe machen FlashRank im Schweizer Kontext interessant. Erstens die Latenz-Welt der Live-Anwendungen. Schweizer Treuhand- und Anwaltsbüros bauen zunehmend Voice-Interfaces – Diktat, Telefon-Triage, sprachgesteuerte Akten-Suche. In diesen Setups muss die End-to-End-Latenz vom Mikro zur Antwort unter 800 ms bleiben, sonst wirkt das System langsam. Ein 300-ms-Reranker füllt das Budget zu schnell. FlashRank mit 50-100 ms ist hier die einzige praktikable Option für Self-Host-RAG.

Zweitens die MIT-Lizenz und das kleine Footprint. Wer eine RAG-Pipeline so klein bauen will, dass sie in einem 1-GB-Container-Image lebt und auf einer 4-GB-RAM-VM läuft, kommt mit FlashRank weiter als mit BGE-Reranker (2.3 GB Modell, 8 GB VRAM empfohlen). Diese Lean-Architektur ist im Schweizer KMU-Markt Mai 2026 gefragt – viele Mandate wollen RAG-Funktionalität, aber nicht die volle Enterprise-Infrastruktur.

Drittens – und das ist ein eher unterschätzter Punkt – die simple API und Wartung. FlashRank installiert sich mit pip install flashrank, das Modell lädt sich beim ersten Aufruf, weitere Konfiguration ist minimal. Ein einzelner Backend-Engineer kann den Reranker in einer Stunde in eine bestehende RAG-Pipeline einbauen. Das ist im Vergleich zu BGE-Reranker (FlagEmbedding-Library, GPU-Setup, Container-Wartung) ein deutlicher Aufwandsunterschied.

Der Schwachpunkt: Qualität. FlashRank-Modelle sind 5-10 Punkte hinter Cohere oder BGE-Reranker-v2-m3. In einem hoch-präzisen Anwalts-Setup, wo das richtige Urteil zwischen Position 4 und 5 zählt, ist das spürbar. Für Standard-Treuhand-Fälle oder für einen Voice-Agent, der Wegweiser für Mandanten gibt, reicht die Qualität – eine zweistellige Recall-Verbesserung über Stage 1 bleibt erhalten.

Wie es funktioniert

FlashRank ist eine Python-Library, die kleine Cross-Encoder-Modelle in ONNX-Format bündelt und über Microsoft Optimum-Runtime mit Quantisierung und Operator-Fusion ausführt. Die Modelle wurden ursprüblich in PyTorch trainiert (auf MS MARCO Passage-Ranking), dann nach ONNX konvertiert und mit Dynamic-Int8-Quantisierung auf CPU-optimiert. Das Ergebnis: ein 33-Millionen-Parameter-Modell, das auf einer Standard-x86-CPU rund 500 Reranks pro Sekunde schafft.

Installation und Basisnutzung:

```bash pip install flashrank ```

```python from flashrank import Ranker, RerankRequest

ranker = Ranker(model_name="ms-marco-MiniLM-L-12-v2")

request = RerankRequest( query="Welche Frist gilt für die MWST-Abrechnung?", passages=[ {"id": 1, "text": "Die MWST-Abrechnung muss innert 60 Tagen erfolgen."}, {"id": 2, "text": "Bei verspäteter Zahlung droht eine Verzugsgebühr."}, # weitere 30-50 Kandidaten aus Stage 1 ], )

results = ranker.rerank(request) # results ist sortiert nach score, Top-5 nehmen ```

Das Modell wird beim ersten Aufruf aus einem CDN-Mirror heruntergeladen (Modell-Cache im ~/.cache/flashrank-Verzeichnis). Das lässt sich umgehen, wenn man die Modell-Dateien manuell in das Cache-Verzeichnis legt – wichtig in Air-Gap-Setups, in denen kein Internetzugriff erlaubt ist.

Für Produktion empfehlen wir den Wrapper in einem FastAPI-Endpoint:

```python from fastapi import FastAPI from flashrank import Ranker, RerankRequest

app = FastAPI() ranker = Ranker(model_name="ms-marco-MiniLM-L-12-v2", cache_dir="/app/cache")

@app.post("/v1/rerank") async def rerank(query: str, documents: list[dict], top_n: int = 5): request = RerankRequest(query=query, passages=documents) results = ranker.rerank(request) return {"results": results[:top_n]} ```

Modellauswahl in der FlashRank-Familie: - ms-marco-TinyBERT-L-2-v2 (4M, ~50 ms für 50 Docs, basale Qualität): nur für ultra-extreme Latenz-Fälle. - ms-marco-MiniLM-L-12-v2 (33M, ~80 ms für 50 Docs, gute Qualität): empfohlener Standard für Englisch-Setups. - ms-marco-MultiBERT-L-12 (35M, ~90 ms für 50 Docs, mehrsprachig): die richtige Wahl für DE/FR-Bestände. - rank-T5-flan (60M, ~150 ms für 50 Docs, beste FlashRank-Qualität): für Setups mit etwas mehr Latenz-Budget.

Wichtig: alle FlashRank-Modelle haben einen 512-Token-Kontextlimit. Dokumente werden bei langen Passagen abgeschnitten. Für juristische Texte mit langen Klauseln muss vor dem Reranking auf 400 Tokens chunked werden.

FlashRank in 5 Schritten produktiv

1. 01Modell wählen: ms-marco-MiniLM-L-12-v2 als Default für Englisch, ms-marco-MultiBERT-L-12 für DE/FR, rank-T5-flan wenn Qualität über Latenz geht.
2. 02Installation via pip install flashrank, Modell-Cache-Verzeichnis explizit setzen (cache_dir-Parameter), in Container-Image als Layer einbinden.
3. 03FastAPI-Wrapper bauen: POST /v1/rerank mit query, passages, top_n. Modell einmal in der App-Initialisierung laden, danach wiederverwenden.
4. 04Pipeline-Integration: Stage 1 Qdrant zieht 30-50 Kandidaten, Stage 2 ruft FlashRank-Endpoint, Top 3-5 gehen an Stage 3 (LLM). Latenz-Profile messen.
5. 05Eval-Suite gegen Baseline: vor FlashRank Recall@5 messen, dann mit, Differenz dokumentieren. Erwartung +8-12 Punkte über reine Vektor-Suche. Bei mehr Bedarf: zweistufiges Reranking FlashRank + Cohere/BGE-Reranker.

Wann FlashRank einsetzen

FlashRank ist die richtige Wahl, wenn (a) die End-to-End-Latenz unter 800 ms gehalten werden muss, (b) keine GPU verfügbar oder gewünscht ist, (c) das Container-Image minimal bleiben soll, oder (d) ein Air-Gap- oder Edge-Setup ohne Internet-Zugriff vorliegt.

Konkrete Fälle: ein Voice-Agent für Mandanten-Telefonie, der eingehende Fragen mit der Wissensbasis abgleicht und in unter 1 Sekunde antworten muss. Ein Live-Chat-Widget auf einer Treuhand-Website mit Tippanzeige, das einen schnellen RAG-Hintergrund braucht. Eine Edge-Deployment in einem Mandanten-Büro, wo ein lokaler RAG-Stack auf einer Mini-PC-Hardware (Intel NUC, ARM-Mac mini) laufen muss.

Auch für Batch-Setups mit grossen Volumina ist FlashRank attraktiv. Wer eine Million Anfragen pro Tag verarbeitet und keine GPU-Cluster betreibt, kann mit FlashRank auf einer Handvoll Standard-CPUs durchcomputieren. Die Qualität ist niedriger als bei Cohere oder BGE-Reranker, aber bei Standard-RAG-Aufgaben über Mandanten-Akten bringt selbst FlashRank-Niveau einen klaren Recall-Gewinn über reine Dense-Suche.

Eine intelligente Kombi-Strategie: FlashRank als Stage 1.5 vor einem schwereren Reranker. Stage 1: Qdrant zieht 200 Kandidaten. Stage 1.5: FlashRank reduziert auf 30 in 100 ms. Stage 2: Cohere Rerank oder BGE-Reranker rankt die 30 in 150-300 ms auf 5. Insgesamt schneller als ein einziger schwerer Reranker auf 200 Kandidaten – und qualitativ besser, weil der zweite Reranker noch in seinem Sweet-Spot arbeitet.

Wann NICHT

Wenn Reranking-Qualität das oberste Ziel ist, ist FlashRank klar unterlegen. BGE-Reranker-v2-m3 oder Cohere Rerank liefern 5-10 Punkte mehr nDCG@10. In Hoch-Präzisions-Setups (juristische Recherche, medizinische Diagnose-Unterstützung, regulatorische Compliance) ist diese Differenz signifikant. Hier ist FlashRank das falsche Werkzeug.

Wenn Ihr Bestand viele lange Dokumente enthält – Passagen über 512 Tokens – schneidet FlashRank ab und verliert Kontext. BGE-Reranker mit 8192 Tokens oder Cohere Rerank mit ähnlich langem Kontext sind besser, für juristische Setups oft die richtige Wahl.

Wenn Sie ohnehin eine GPU im Setup haben (etwa für Embedding mit BGE-M3 oder für ein lokales LLM), schenken Sie sich den FlashRank-Vorteil. BGE-Reranker auf derselben GPU läuft mit besserer Qualität bei vergleichbarer Latenz. FlashRank macht primär dann Sinn, wenn keine GPU im Spiel ist.

Wenn Ihre Anwendung Mehrsprachigkeit mit starkem DE/FR/IT-Anteil verlangt, ist die FlashRank-Auswahl begrenzt – nur ms-marco-MultiBERT-L-12 ist wirklich mehrsprachig, und auch das ist auf MTEB-Reranking-DE 3-5 Punkte hinter BGE-Reranker. Für mehrsprachige Hoch-Qualität bleibt BGE-Reranker-v2-m3 die bessere Wahl, selbst wenn das ein GPU-Setup verlangt.

Vor- und Nachteile

Häufige Fragen

Verwandte Themen

Quellen

1. FlashRank GitHub – PrithivirajDamodaran/FlashRank repository · 2026-05
2. ms-marco passage ranking – base task for FlashRank models · 2026-04
3. Microsoft Optimum – ONNX runtime tuning for transformers · 2026-05
4. MTEB Leaderboard – reranking sub-track · 2026-05