Haystack: das Enterprise-RAG-Framework von deepset aus Berlin

Was ist Haystack?

Haystack ist ein Open-Source-Framework für RAG-Pipelines, entwickelt seit 2019 von deepset AG (Berlin, Germany). Apache-2.0-Lizenz, Python-only. Mai 2026 in Version 2.x stabil – ein vollständiger Rewrite gegenüber Haystack 1.x, der Mitte 2024 abgeschlossen wurde und seitdem die empfohlene Variante ist.

Das Unternehmen deepset (gegründet 2018 von Milos Rusic, Malte Pietsch, Timo Möller) ist die kommerzielle Hinterseite. deepset bietet deepset Cloud als Managed-Service mit Enterprise-SLA, deepset Studio als visueller Builder für Pipelines und kommerziellen Support für Haystack-Installationen. Mai 2026 sitzt der Hauptsitz in Berlin und Boston, mit Fokus auf europäische Enterprise-Kunden in Finanz, Versicherung, Pharmazie und Behörden.

Das Kern-Konzept von Haystack 2.x ist die Pipeline als gerichteter Graph aus Komponenten. Komponenten implementieren das Component-Protokoll mit definierten Inputs und Outputs (typensicher via Python-Type-Hints). Pipelines verbinden Komponenten über explizite connect-Aufrufe, was den Daten-Fluss klar dokumentiert. Das ist konzeptionell sauberer als LangChains LCEL oder LlamaIndex Settings – eine Pipeline-Konfiguration in Haystack lässt sich als YAML serialisieren, über Git versionieren und in Produktion deployen ohne Code-Änderung.

Komponenten-Inventar Mai 2026: Document Stores (Elasticsearch, Weaviate, Pinecone, Qdrant, ChromaDB, Postgres, OpenSearch). Embedders (SentenceTransformers, OpenAI, Cohere, Voyage, lokale Modelle). Retrievers (BM25, Embedding, Hybrid). Generators (OpenAI, Anthropic, Mistral, AWS Bedrock, Azure OpenAI, Ollama, lokale HuggingFace). Plus Spezial-Komponenten für Tabellen-Extraktion, Bild-Embedding, Re-Ranking, Tool-Calling.

Die Production-Reife ist Haystacks Allein-Verkaufs-Argument. Die Library wird seit 2019 von deepset-Kunden in der Finanzbranche produktiv betrieben – DZ Bank, Airbus, Deutsche Telekom, mehrere Bundes-Ministerien. Stabilität, Sicherheits-Reviews, Dokumentation und kommerzielle Support-Verträge heben Haystack klar vom Hobby-Niveau ab.

Warum es wichtig ist

Für CH-Treuhand und KMU ist Haystack Mai 2026 die richtige Wahl, wenn Enterprise-Anforderungen im Spiel sind. Drei Gründe sprechen für Haystack über LangChain oder LlamaIndex.

Erstens: Stabilität und Vertrauen. Eine RAG-Pipeline für eine Bank, eine Versicherung oder ein Spital muss über Jahre laufen, mit minimalen Breaking-Changes, mit gut dokumentiertem Audit-Trail. Haystack 2.x ist seit Mitte 2024 stabil – kein Breaking-Change-Drama wie bei LangChain. Die deepset-Roadmap kommuniziert Mai 2026 transparent, was geplant ist und was deprecated wird, mit 12-monatigen Deprecation-Fristen.

Zweitens: deutscher Origin und EU-Compliance. deepset ist eine deutsche AG mit Berliner Hauptsitz, was für EU-DSGVO-Verarbeitungs-Verträge ein praktischer Vorteil ist. deepset Cloud läuft in EU-Regionen, ein BDPA mit deutschem Recht ist Standard. Für Schweizer Kunden mit revDSG-Anspruch ist das ein wichtiger Unterschied zu US-Cloud-Anbietern wie LangSmith oder LlamaCloud.

Drittens: Pipeline-Klarheit. Eine Haystack-Pipeline ist explizit dokumentiert in einem YAML-File. Was geht rein, was kommt raus, welche Komponenten sind verbunden, welche Parameter sind gesetzt – alles in einer Datei, versionierbar in Git, durch einen Compliance-Officer reviewbar ohne Python-Kenntnisse. Bei LangChain und LlamaIndex ist die Pipeline in Code verstreut, was Reviews schwieriger macht.

Der Trade-off ist Verbreitung. Haystack ist Mai 2026 weniger Mainstream als LangChain – kleinere Community, weniger Stack-Overflow-Antworten, weniger Tutorials. Die deepset-Dokumentation ist gut, aber externe Lern-Ressourcen sind dünn. Wer ohne kommerziellen Support einsteigen will, muss mehr Eigen-Arbeit leisten.

Für den Schweizer Treuhand-Markt empfehlen wir Mai 2026 Haystack, wenn der Kunde grosse Audit-Anforderungen hat (z.B. FINMA-Beaufsichtigt, Bank-Compliance), wenn ein deepset-Support-Vertrag im Budget Platz hat (rund EUR 30-60k/Jahr für mittlere Setups) oder wenn die Pipeline über YAML-Versionierung gepflegt werden soll. Sonst ist LlamaIndex pragmatischer.

Wie es funktioniert

Eine Haystack-Pipeline besteht aus Komponenten und Verbindungen. Komponenten haben definierte Input-Slots und Output-Slots; Verbindungen mappen Output eines Komponenten auf Input eines anderen.

Beispiel Indexing-Pipeline für eine Treuhand-Wissensbasis:

from haystack import Pipeline from haystack.components.converters import PyPDFToDocument from haystack.components.preprocessors import DocumentSplitter, DocumentCleaner from haystack.components.embedders import SentenceTransformersDocumentEmbedder from haystack_integrations.document_stores.qdrant import QdrantDocumentStore from haystack.components.writers import DocumentWriter

document_store = QdrantDocumentStore(url="http://localhost:6333", index="treuhand_kb")

indexing = Pipeline() indexing.add_component("converter", PyPDFToDocument()) indexing.add_component("cleaner", DocumentCleaner()) indexing.add_component("splitter", DocumentSplitter(split_by="sentence", split_length=5)) indexing.add_component("embedder", SentenceTransformersDocumentEmbedder(model="BAAI/bge-m3")) indexing.add_component("writer", DocumentWriter(document_store=document_store))

indexing.connect("converter", "cleaner") indexing.connect("cleaner", "splitter") indexing.connect("splitter", "embedder") indexing.connect("embedder", "writer")

indexing.run({"converter": {"sources": ["./docs/handbuch.pdf"]}})

Die Query-Pipeline ist ähnlich strukturiert: TextEmbedder -> QdrantEmbeddingRetriever -> PromptBuilder -> OpenAIGenerator. Verbindungen explizit, Inputs und Outputs typensicher.

Das YAML-Export-Feature ist Mai 2026 ein Haystack-Highlight. pipeline.dumps() gibt eine vollständige Pipeline-Definition als YAML zurück – Komponenten, Parameter, Verbindungen. Diese YAML lässt sich über Pipeline.loads() wieder einlesen, ohne Code-Änderung. Eine Pipeline kann von Compliance-Officern oder externen Auditoren gelesen und freigegeben werden.

Für Tool-Calling und Agentic-Workflows bietet Haystack 2.x den ToolInvoker-Komponenten und ChatGenerator-Komponenten. Mai 2026 ist die Agent-Funktionalität weniger reif als LangGraph – für komplexe Multi-Step-Agents weiter LangGraph empfehlenswert. Für einfache Tool-Use-Patterns reicht Haystack.

deepset Cloud bietet drei Stufen: Free (Pilot), Pro (USD 750/Monat) und Enterprise (Vertrag). Die Cloud-Variante umfasst gehostete Pipelines, Vektor-DB, Monitoring-Dashboard und Studio-UI. EU-Region als Standard, US-Region optional.

deepset Studio (Web-UI) ermöglicht visuelles Pipeline-Bauen ohne Code – für Daten-Analysten und nicht-technische Domain-Experten geeignet. Exportiert die Pipeline als Python-Code und YAML.

Haystack-Setup in 5 Schritten

1. 01Compliance-Anforderungen klären: Daten-Residenz (EU/CH), Audit-Trail-Anspruch, Pipeline-Review-Stakeholder, Sicherheits-Niveau. Falls deepset-Support gewünscht: Angebot einholen und in Projekt-Budget einplanen.
2. 02Pipeline-Skelett entwerfen: Indexing-Pipeline (Loader -> Cleaner -> Splitter -> Embedder -> Writer) und Query-Pipeline (TextEmbedder -> Retriever -> PromptBuilder -> Generator). YAML-Export von Anfang an aktivieren.
3. 03Komponenten wählen: Document Store (Qdrant in EU-Region als Standard), Embedder (BGE-M3 für mehrsprachig, OpenAI text-embedding-3-small für Englisch-stark), Generator (OpenAI gpt-4o-mini, Mistral-EU oder lokal Llama 3.x).
4. 04YAML-Export als Konfigurations-Artefakt: pipeline.dumps() über Git versionieren, Reviews durch Compliance-Officer einbauen, Änderungen via Pull-Request.
5. 05Evaluation und Tracing: Haystack Evaluation-Komponenten für Recall- und Antwort-Qualitäts-Tests, OpenTelemetry-Export an eigenes Grafana oder Langfuse Self-Host. Erst nach grüner Evaluation produktiv schalten.

Wann Haystack einsetzen

Haystack ist die richtige Wahl, wenn (a) Enterprise-Compliance gefordert ist, (b) Pipeline-Reviews durch nicht-technische Stakeholder nötig sind oder (c) deepset-Support im Budget Platz hat.

Konkrete Fälle: eine Schweizer Bank baut eine interne Wissens-Datenbank für Compliance-Mitarbeiter mit dokumentiertem Audit-Trail – Haystack mit YAML-versionierten Pipelines plus deepset Cloud in EU-Region. Eine Versicherungs-IT-Abteilung will RAG für interne Policy-Suche, mit Sicherheits-Review durch Konzern-IT – Haystack 2.x als Open-Source-Self-Host, Pipeline-Konfiguration im internen Git-Repository. Ein Pharma-Unternehmen sucht ein RAG-System für regulatorische Dokumente – deepset Studio als Visual-Builder für Domain-Experten ohne Python-Kenntnisse.

Für Mehrsprachige RAG-Pipelines (DE + EN + FR + IT) ist Haystack mit BGE-M3 oder Cohere-Multilingual als Embedder gut aufgestellt – wichtig für Schweizer Anwendungen mit Konföderations-Sprachen.

Für Tabellen-lastige Dokumente (Bilanzen, Excel-Reports, regulatorische Tabellen) bietet Haystack TableExtractor-Komponenten, die mit LlamaParse vergleichbar sind.

Wann NICHT

Für kleine PoC-Projekte ohne Enterprise-Anspruch ist Haystack überdimensioniert – LlamaIndex ist schneller produktiv und einfacher zu lernen.

Für komplexe Agentic-Workflows mit vielen Tool-Calls und State-Verwaltung ist LangGraph reifer Mai 2026.

Für Solo-Entwickler oder kleine Teams ohne Compliance-Druck ist die Haystack-Lernkurve disproportional zum Nutzen – der YAML-Pipeline-Vorteil zahlt sich erst aus, wenn mehrere Stakeholder die Pipeline reviewen müssen.

Für JavaScript/TypeScript-Stacks ist Haystack nicht erste Wahl – kein JS-Port verfügbar Mai 2026. LlamaIndex.TS oder LangChain.js sind hier die Optionen.

Für reine Visual-No-Code-Setups ohne Code-Komponente ist Flowise oder Langflow geeigneter. deepset Studio ist visuell, aber haystack-Code bleibt im Hintergrund.

Für extrem niedrige Latenz-Anforderungen (Sub-200-ms) ist Haystack durch die Pipeline-Komponenten-Schicht etwas langsamer als ein eigener Direct-Call. Bei kritischer Latenz Eigenbau mit dem nackten Vector-DB-Client und LLM-SDK schneller.

Wenn das Budget für kommerziellen Support fehlt, fällt einer der grossen Haystack-Vorteile weg. Reines Open-Source-Haystack ohne deepset-Support ist trotzdem nutzbar, aber dann lohnt sich der Mehraufwand gegenüber LlamaIndex selten.

Vor- und Nachteile

Häufige Fragen

Verwandte Themen

Quellen

1. deepset-ai/haystack – GitHub repository and releases · 2026-05
2. Haystack 2.x documentation – pipelines and components · 2026-05
3. deepset Cloud – managed Haystack with EU residency · 2026-04
4. deepset blog – Haystack 2.x architecture and migration · 2026-03