Was ist Mixture of Experts (MoE)? Sparse Models erklärt Mai 2026

Was ist Mixture of Experts?

Mixture of Experts, kurz MoE, ist eine Architektur-Variante grosser Sprachmodelle, in der nicht alle Parameter pro Token aktiviert werden. Statt ein einziges grosses Feedforward-Netzwerk in jeder Transformer-Schicht zu haben, gibt es viele "Experten" (typisch 8, 16, 64 oder 128) – und ein kleiner Router wählt für jedes Token aus, welche 1-2 Experten aktiv werden. Das Modell hat insgesamt sehr viele Parameter, aber pro Token wird nur ein Bruchteil davon gerechnet.

Der Gegenbegriff ist "Dense" – alle Parameter sind für alle Tokens aktiv. Llama 3 70B ist Dense: pro Token werden alle 70 Milliarden Parameter durchlaufen. Llama 4 Maverick ist MoE: 400 Milliarden Parameter total, aber pro Token nur 17 Milliarden aktiv. Das ist eine 5x Effizienz-Verbesserung bei vergleichbarer (oder besserer) Qualität – der Hauptgrund, warum MoE seit 2024 Mainstream wurde.

Die Idee ist nicht neu – die ersten MoE-Paper stammen aus den 90ern (Jacobs/Jordan 1991). In der LLM-Welt wurde MoE 2017 mit Google Switch Transformer relevant, blieb aber bis 2023 Forschungs-Thema. Den Durchbruch in Produktion brachte Mistral mit Mixtral 8x7B (Dezember 2023): erstes Open-Source-MoE-Modell, das Mainstream-Aufmerksamkeit bekam. Mai 2026 ist MoE Standard für Top-Modelle:

- Llama 4 Maverick (Meta, Mai 2026): 400B Parameter total, 17B aktiv pro Token, 128 Experten, Top-1 Routing. Vorgänger Llama 4 Scout: 109B/17B/16 Experten. - die aktuelle DeepSeek-V-Generation (DeepSeek, April 2026): 670B/37B aktiv, 256 Experten, sehr aggressive Sparsity (eine der spaersten MoE-Architekturen Mai 2026). - Mixtral 8x22B (Mistral, April 2024, weiterhin in Nutzung): 141B/39B aktiv, 8 Experten, Top-2 Routing. Eine kommende Mistral-Large-Generation ist closed-source, vermutlich MoE basierend auf Architektur-Hinweisen. - Gemini 2.5 Pro/Ultra (Google): MoE, Details proprietär. - das aktuelle Claude-Spitzenmodell, das jeweils aktuelle GPT-Spitzenmodell: Architektur nicht offiziell offengelegt, aber MoE wird in beiden vermutet.

Für KMU-Nutzer ist die wichtigste Konsequenz: MoE-Modelle bieten Frontier-Qualität zu niedrigeren API-Preisen. Die aktuelle DeepSeek-V-Generation (USD 0.27 Input / USD 1.10 Output pro Million Tokens) ist Mai 2026 typisch 5-10x billiger als Claude oder GPT bei vergleichbarer Antwort-Qualität in Standard-Aufgaben. Diese Differenz ist nicht "Anbieter ist nett", sondern Architektur-Konsequenz von MoE.

Warum MoE für KMU wichtig ist

MoE berührt KMU-Entscheidungen direkt in vier Bereichen.

Erstens: Preis pro Anfrage. Mai 2026 sind MoE-Modelle (die aktuelle DeepSeek-V-Generation, Mixtral, Llama 4 via Self-Hosting) typisch 5-10x günstiger als Dense-Modelle gleicher Qualitäts-Klasse. Konkret: ein Treuhand-Chatbot mit 5000 Anfragen/Monat kostet auf Claude Sonnet (Dense, vermutet) ca. USD 30-50/Monat, auf die aktuelle DeepSeek-V-Generation (MoE) USD 3-6/Monat. Bei vergleichbarer Standard-Anfrage-Qualität. Diese Differenz wird Mai 2026 oft übersehen – Anwender bleiben aus Gewohnheit bei OpenAI/Anthropic, obwohl MoE-Alternativen 80% der Aufgaben gleich gut lösen.

Zweitens: Self-Hosting wird realistisch. Llama 4 Maverick (Open-Weight, MoE, 400B/17B aktiv) braucht zur Inferenz nicht 400-GB-VRAM, sondern "nur" etwa 200-280GB (alle Parameter geladen, aber nur Aktive werden ausgeführt) – passt auf 2x H100-80GB oder 1x H200-141GB. Ein 70B-Dense-Modell würde ähnliche Hardware brauchen, aber 70/400 = 17.5% der Qualität liefern. MoE macht Self-Hosting bei Top-Qualität wirtschaftlich. Eine Anwaltskanzlei mit 30 Mitarbeitenden kann Llama 4 Maverick auf einem 2-GPU-Server (CHF 60-100k Anschaffung) hosten – kein API-Abfluss, volle Datenkontrolle.

Drittens: Latenz vs. Qualität. MoE-Modelle haben oft etwas höhere Latenz pro Token als Dense-Modelle gleicher aktiver Parameter-Zahl, weil das Routing einen kleinen Overhead hat. Mai 2026 Praxisniveau: 60-150 Tokens pro Sekunde (Dense 17B vs MoE 400B/17B). Für Chat-Anwendungen ist das egal, für Latenz-kritische Voicebots evtl. ein Punkt.

Viertens: Spezialisierungs-Phänomen. Die einzelnen Experten in MoE-Modellen entwickeln während des Trainings spontane Spezialisierungen – Experte 7 wird "der Code-Experte", Experte 32 "der Deutsch-Experte", Experte 89 "der Recht-Experte". Mai 2026 ist das gut dokumentiert (die aktuelle DeepSeek-V-Generation-Paper, Llama-4-Paper). Praktische Konsequenz: MoE-Modelle haben oft bessere Code- und Multilingual-Fähigkeiten als Dense-Modelle gleicher aktiver Parameter-Zahl. Für Treuhand-Anwendungen mit Excel-Formel-Generierung und mehrsprachiger Mandanten-Kommunikation ist das ein Bonus.

Strategische Konsequenz. Wer Mai 2026 ein neues KI-Projekt startet, prüft MoE-Modelle explizit als Option. Standard-Evaluation: pro Aufgabe 3 Modelle vergleichen – ein Dense-Top-Modell (Claude, GPT), ein MoE-Open-Source (die aktuelle DeepSeek-V-Generation, Llama 4 Maverick), ein MoE-EU-Modell (eine kommende Mistral-Large-Generation). Bei 80% der Standard-KMU-Aufgaben sind die Qualitäts-Unterschiede unter 5% – der Preis-Vorteil von MoE beträgt aber Faktor 5-10.

MoE-Architektur im Detail

Eine MoE-Schicht ersetzt das Standard-Feedforward-Netzwerk in einer Transformer-Schicht durch eine Familie von Experten plus einen Router.

Aufbau einer MoE-Schicht. Statt einem grossen FFN (z.B. 17 Milliarden Parameter) gibt es N Experten (jeder z.B. 17 Milliarden Parameter, also N=128 ergibt 2.176 Billionen FFN-Parameter total – Vorsicht, das ist die theoretische Obergrenze, in der Praxis sind Experten kleiner). Plus einen kleinen Router (ein paar Millionen Parameter), der für jedes Token einen Vektor in den Eingabe-Vektoren verarbeitet und entscheidet, welche K der N Experten aktiv werden. Typische Konfigurationen:

- Mixtral 8x7B: 8 Experten, Top-2 (K=2), pro Token 2 von 8 aktiv. 47B Parameter total, ca. 12B aktiv. - Mixtral 8x22B: 8 Experten, Top-2. 141B total, 39B aktiv. - Llama 4 Maverick: 128 Experten, Top-1. 400B total, 17B aktiv pro Token. - die aktuelle DeepSeek-V-Generation: 256 Experten plus 1 immer-aktiver "Shared Expert", Top-8 unter den 256. 670B total, 37B aktiv.

Routing-Algorithmus. Der Router ist ein einfaches Feedforward-Layer: Eingabe-Vektor (typisch 4096-12288 Dimensionen) → Logits über N Experten → Softmax → Top-K Auswahl. Die K gewählten Experten verarbeiten das Token, ihre Outputs werden gewichtet summiert (Gewichtung ist die Router-Wahrscheinlichkeit). Pro Token gibt es also eine andere Mischung – Tokens für Code-Inhalt landen tendenziell bei den Code-Experten, deutsche Tokens bei DE-spezialisierten Experten.

Load Balancing. Ein Problem: ohne Vorkehrung tendiert der Router dazu, einen kleinen Subset der Experten zu überlasten und andere quasi nie zu nutzen. Das ist ineffizient. Lösung: ein Auxiliary Loss während des Trainings, der gleichmässige Nutzung erzwingt. Mai 2026 Standard: Load-Balancing-Loss aus Switch-Transformer-Paper (Google 2021), plus moderne Varianten wie "Auxiliary-Free Load Balancing" (DeepSeek V3/V4, 2025).

Inference-Verhalten. Bei der Inferenz ändert sich pro Token die aktive Experten-Auswahl. Die Konsequenz für Hardware: alle Experten müssen im VRAM/RAM verfügbar sein (sonst Disk-IO bei Wechsel), aber nur K Experten müssen pro Token gerechnet werden. Das ist Memory-Heavy, Compute-Light. Llama 4 Maverick (400B/17B aktiv) braucht etwa 200-280GB VRAM (BF16, ohne Quantisierung), aber rechnet pro Token nur wie ein 17B-Modell. Mit Quantisierung (siehe was-ist-quantisierung): 4-Bit-Quantisierung bringt VRAM auf ca. 80-110GB, passt auf 1-2 GPUs.

Spezialisierung im Training. Ohne dass Anbieter Experten explizit zuweist, entwickeln Experten während des Pretraining-Verlaufs Spezialisierungen. Die aktuelle DeepSeek-V-Generation dokumentiert: Experte #23 ist "Python-spezialisiert" (über 60% Aktivierungen bei Python-Code), Experte #87 ist "Chinese-language-specialist". Diese Spezialisierungen entstehen durch das Load-Balancing-Druck und die statistischen Muster der Trainings-Daten – sind nicht hart-codiert, aber stabil.

Praktische Anbieter-Tendenzen Mai 2026. Mistral und DeepSeek nutzen aggressive MoE-Sparsity (16-256 Experten, Top-1 oder Top-8). Meta (Llama 4) hat moderate Sparsity (16-128 Experten, Top-1). Google Gemini ist MoE, Details proprietär. Anthropic Claude und OpenAI GPT: Architektur nicht offengelegt. Mai 2026 deutet vieles auf Hybrid-Architekturen – MoE mit Dense-Schichten gemischt, oder MoE nur in bestimmten Schicht-Blöcken – aber das ist proprietär und nicht öffentlich verifizierbar.

MoE verstehen in 5 Schritten

1. 01Unterscheiden Sie Dense und Sparse: Dense rechnet alle Parameter pro Token, Sparse (MoE) nur einen Bruchteil (typisch 5-10%).
2. 02Verstehen Sie die Anbieter-Landschaft Mai 2026: Llama 4 Maverick (400B/17B), the current DeepSeek-V generation (670B/37B), Mixtral 8x22B (141B/39B), an upcoming Mistral Large generation (closed-source MoE).
3. 03Prüfen Sie pro Aufgabe: Standard-KMU-Aufgaben (Chat, Triage, Summary) MoE bevorzugt wegen Preis; Spitzen-Reasoning Dense bevorzugt.
4. 04Prüfen Sie Self-Hosting-Hardware-Bedarf: 400B/17B MoE braucht 2x H100-80GB minimum, kleinere Modelle (109B/17B) reichen 1x H100.
5. 05Treffen Sie API-vs-Self-Hosting-Entscheidung: bei < 100k Tokens/Tag API günstiger, bei > 1M Tokens/Tag Self-Hosting prufen.

Wann MoE die richtige Wahl ist

Drei klare KMU-Szenarien für MoE-Modelle.

Szenario 1: Hohes Anfrage-Volumen, Kosten-Sensitivität. Wenn Sie 1000+ Anfragen pro Tag haben (Mandanten-Chat, Email-Triage, RAG-Antworten) und die Token-Kosten ein realer Faktor werden, ist die aktuelle DeepSeek-V-Generation oder Mixtral Mai 2026 die günstigste Hochqualitäts-Option. Bei 30.000 Anfragen pro Monat (mittelgrosses Treuhand-Büro) liegt der Kosten-Unterschied bei USD 50-200/Monat zugunsten MoE – pro Jahr 600-2400. Über 5 Jahre relevant.

Szenario 2: Self-Hosting für Datenresidenz. Wenn revDSG, EU AI Act oder Berufsgeheimnis (StGB Art. 321) Sie zwingt, Mandantendaten nicht auf US-Cloud zu schicken, ist Self-Hosting Pflicht. Mai 2026 sind die realistischen Self-Hosting-Modelle für Frontier-Qualität alle MoE: Llama 4 Maverick (400B/17B), Llama 4 Scout (109B/17B), Mixtral 8x22B, DeepSeek V3.1 Open-Weight. Dense-Modelle mit vergleichbarer Qualität existieren Mai 2026 nicht in Open-Weight-Form über 70B.

Szenario 3: Mehrsprachige Anwendungen. MoE-Modelle haben Mai 2026 typisch bessere Multilingual-Performance als Dense-Modelle gleicher aktiver Parameter-Zahl. Grund: Experten spezialisieren sich auf einzelne Sprachen oder Sprachfamilien. Für Schweizer KMU mit DE/FR/IT/EN-Mix (Treuhand, Versicherung, Tourismus) ist das ein konkreter Vorteil. Mistral und DeepSeek punkten hier; Llama 4 ist solider als Llama 3, aber noch eher Englisch-zentriert.

Szenario 4: Code-Generierung. MoE-Modelle haben typisch dedizierte Code-Experten und schneiden in Code-Benchmarks (HumanEval, MBPP, SWE-Bench) gut ab. Für Treuhand-Anwendungen mit Excel-Formel-Generierung, SQL-Abfrage-Erstellung oder API-Skripte ist die aktuelle DeepSeek-V-Generation oder Codestral (Mistral Code-Modell) eine Alternative zu Claude/GPT bei Faktor 3-10 niedrigeren Kosten.

Szenario 5: Burst-Loads. Wenn Sie unregelmässige Hochlast-Phasen haben (z.B. Steuer-Saison Februar-April), ist die günstige API-Komponente von MoE-Modellen praktisch – kein "ich muss eine API-Volumen-Tier kaufen". Pay-per-Token-Modelle skalieren linear mit Lastsphasen.

Wann MoE nicht die beste Wahl ist

Drei Fälle, in denen Dense-Modelle gegenüber MoE bevorzugt werden.

Erstens: höchste Reasoning-Qualität auf schwierigsten Aufgaben. Mai 2026 führen in den schwersten Mathematik- und Reasoning-Benchmarks (FrontierMath, GPQA Diamond, MATH-500) weiterhin Dense-Modelle der Top-Klasse (Claude Opus, das jeweils aktuelle GPT-Spitzenmodell Pro) und reine Reasoning-Modelle (siehe was-ist-reasoning-modell). MoE bringt 80-95% dieser Qualität zu 10-20% des Preises – für 95% der KMU-Aufgaben ausreichend, für den verbleibenden 5%-Topdog-Fall aber nicht.

Zweitens: ultra-niedrige Latenz. Wenn Sie unter 100ms Time-to-First-Token brauchen (z.B. Echtzeit-Voicebot), sind die Top-MoE-Modelle (400B+/17B aktiv) zu langsam – die Router-Logik plus die VRAM-IO-Bandbreite drückt Latenz auf 200-400ms. Kleine Dense-Modelle (Claude Haiku, das jeweils aktuelle GPT-Spitzenmodell Mini, Gemini Flash) liefern hier oft 80-150ms TTFT. Für Latenz-kritische Realtime-Anwendungen Dense bevorzugen.

Drittens: VRAM-knappes Self-Hosting. Wenn Sie nur eine einzelne A100-40GB haben, können Sie kein 400B-MoE-Modell überhaupt laden (200+ GB Mindest-VRAM). Hier ist ein 13B-Dense-Modell (Llama 3.1 13B, Mistral 7B Instruct) die richtige Wahl – kleiner, dafür voll im VRAM. Erst ab 2x H100-80GB oder 1x H200 lohnt sich MoE-Self-Hosting.

Falle "MoE ist immer billiger im Self-Hosting". Stimmt nur, wenn die Hardware vorhanden ist. Ein 400B-MoE-Modell braucht 200-280GB VRAM (BF16) oder 80-110GB (4-Bit-Quantisierung). 2x H100-80GB sind ca. CHF 60-80k Anschaffung plus 4-6k/Jahr Strom und Kühlung. Bei 5 Jahren Nutzung sind das CHF 80-110k Total-Cost-of-Ownership. Wer weniger als 100k Tokens pro Tag verarbeitet, fährt mit API-Nutzung billiger.

Falle "alle MoE-Modelle sind gleich". Mai 2026 gibt es grosse Qualitäts-Unterschiede zwischen MoE-Modellen. Llama 4 Maverick ist solide aber nicht Spitze in DE; die aktuelle DeepSeek-V-Generation ist mathematisch sehr stark, aber etwas formaler; Mixtral 8x22B ist verlässlich aber 18 Monate alt; eine kommende Mistral-Large-Generation ist closed-source und unklar ob MoE. Per-Aufgabe-Eval bleibt Pflicht.

Falle "MoE versteht Architektur-Magie". Endkunden interessiert nur, ob das Modell die Aufgabe löst. Ob Dense oder MoE ist Implementation-Detail. Marketing-Sprache wie "modernste MoE-Architektur" sollte nicht über tatsächliche Aufgaben-Eval hinwegtaeuschen.

Vor- und Nachteile

Häufige Fragen

Verwandte Themen

Quellen

1. Shazeer et al. – Outrageously Large Neural Networks: Sparsely-Gated Mixture-of-Experts (arXiv:1701.06538) · 2017-01
2. Mistral – Mixtral of Experts (arXiv:2401.04088) · 2024-01
3. Meta – Llama 4 Herd: Maverick and Scout Technical Report · 2026-05
4. DeepSeek – DeepSeek-V3 Technical Report (arXiv:2412.19437) · 2024-12
5. Artificial Analysis – LLM Pricing and Performance Leaderboard (the current DeepSeek-V generation vs Claude vs GPT) · 2026-05