Nachschlagewerk 2026
RAG, Halluzination, Kontextfenster, Agent, MCP — wer sich 2026 mit KI im Unternehmen beschäftigt, stößt schnell auf einen Dschungel an Fachbegriffen. Dieses Glossar erklärt die wichtigsten davon ohne Hype und ohne unnötige Technik-Tiefe: jeweils eine klare Definition und ein Satz dazu, warum der Begriff für Sie als Entscheider zählt. Gedacht als Nachschlagewerk, das Sie immer wieder zur Hand nehmen können — und als ehrliche Orientierung für Ihre Prozessautomation.
Worum es geht
Die meisten KI-Fehlinvestitionen entstehen nicht durch schlechte Technik, sondern durch Missverständnisse über das, was Begriffe eigentlich bedeuten. Wer „Halluzination", „Kontextfenster" oder „RAG" einordnen kann, stellt im Anbietergespräch die richtigen Fragen, erkennt überzogene Versprechen und weiß, wo echte Kosten und Risiken liegen.
Dieses Glossar ist nach Themen gruppiert: zuerst die Grundlagen, dann der für Unternehmen besonders wichtige Bereich, wie KI sicher auf Ihre eigenen Daten zugreift (RAG), anschließend Betrieb, Kosten und Sicherheit sowie zum Schluss Recht und Governance. Sie müssen nicht alles am Stück lesen — springen Sie zu dem Begriff, der Sie gerade beschäftigt.
Teil 1
Diese sechs Begriffe bilden das Fundament. Wenn Sie sie verstehen, verstehen Sie bereits den Großteil dessen, was hinter modernen KI-Produkten steckt.
Ein „Large Language Model" ist ein auf riesigen Textmengen trainiertes Modell, das Sprache versteht und selbst erzeugt. Es ist der Motor hinter Chatbots, Textanalyse und Agenten.
Warum es für Sie zählt: Fast jede KI-Funktion, die Sie kaufen, läuft auf einem solchen Modell — die Wahl des Modells bestimmt Qualität, Kosten und Datenschutz.
Inferenz ist der Moment, in dem das fertig trainierte Modell tatsächlich antwortet. Jede einzelne Anfrage verursacht Rechenaufwand — und damit die laufenden Betriebskosten der KI.
Warum es für Sie zählt: Anders als bei klassischer Software zahlen Sie pro Vorgang. Bei hohem Volumen wird Inferenz zum entscheidenden Kostenfaktor.
Eine Halluzination ist eine erfundene, aber überzeugend klingende Aussage. Das Modell „weiß" nicht, dass es falsch liegt — es formuliert nur plausibel.
Warum es für Sie zählt: Das ist der Hauptgrund, warum KI-Ergebnisse bei wichtigen Entscheidungen geprüft werden müssen und ein Mensch in der Schleife bleibt.
Das Kontextfenster ist die Textmenge, die ein Modell pro Anfrage gleichzeitig „im Kopf" behalten kann. Was nicht hineinpasst, wird nicht berücksichtigt.
Warum es für Sie zählt: Lange Verträge oder ganze Wissensdatenbanken passen nicht am Stück hinein — deshalb braucht es Techniken wie RAG, um große Datenmengen nutzbar zu machen.
Ein KI-Agent ist mehr als ein Chatbot: Er interpretiert eine Aufgabe, zerlegt sie in Schritte, ruft Werkzeuge auf und trifft Entscheidungen, statt nur Text auszugeben.
Warum es für Sie zählt: Agenten lohnen dort, wo Verständnis und Entscheidung gefragt sind — wann genau, klärt unser Leitfaden KI-Agenten statt Zapier & RPA.
Agentische KI beschreibt Systeme aus mehreren zusammenarbeitenden Agenten, die mehrstufige Aufgaben weitgehend eigenständig bearbeiten — idealerweise mit Kontrolle an den kritischen Stellen.
Warum es für Sie zählt: Das ist die nächste Stufe der Automatisierung. Eine Einordnung für Unternehmen liefert der Beitrag Agentische KI im Unternehmen.
Teil 2
Damit eine KI mit Ihrem Wissen statt nur mit allgemeinem Trainingswissen arbeitet, braucht es „Retrieval Augmented Generation" — kurz RAG. Diese Begriffsgruppe ist für Unternehmen besonders relevant, weil hier Datenschutz, Genauigkeit und Belegbarkeit entstehen. Eine ausführliche, bildhafte Erklärung finden Sie unter RAG einfach erklärt.
RAG verbindet das Sprachmodell mit Ihrer eigenen Wissensbasis: Vor der Antwort werden passende Dokumente gesucht und mitgegeben, sodass die KI auf belegten Fakten antwortet.
Warum es für Sie zählt: RAG senkt Halluzinationen drastisch und hält Ihre Daten im eigenen Haus. Mehr dazu: RAG einfach erklärt.
Hybrid RAG kombiniert die klassische Stichwortsuche mit der bedeutungsbasierten (semantischen) Suche, um sowohl exakte Begriffe als auch sinnverwandte Inhalte zu finden.
Warum es für Sie zählt: Mehr Trefferqualität, gerade bei Fachbegriffen und Produktnummern. Details unter RAG einfach erklärt.
GraphRAG nutzt einen Wissensgraphen, der Begriffe und ihre Beziehungen abbildet. So beantwortet die KI auch Fragen, die mehrere Dokumente verknüpfen.
Warum es für Sie zählt: Sinnvoll bei vernetztem Wissen (Kunden, Verträge, Projekte). Einordnung unter RAG einfach erklärt.
Corrective RAG prüft die gefundenen Dokumente auf Relevanz und sucht bei schwacher Trefferlage nach, bevor geantwortet wird — ein eingebauter Selbstkontrollschritt.
Warum es für Sie zählt: Weniger falsche Antworten bei lückenhaften Quellen. Mehr unter RAG einfach erklärt.
Multimodale RAG bezieht nicht nur Text, sondern auch Bilder, Tabellen, Diagramme oder Scans in Suche und Antwort ein.
Warum es für Sie zählt: Wichtig, wenn Ihr Wissen in Plänen, Fotos oder gescannten Dokumenten steckt. Siehe RAG einfach erklärt.
Embeddings übersetzen Texte in Zahlenvektoren, die Bedeutung abbilden. Inhaltlich ähnliche Texte liegen dann nah beieinander — die Grundlage der semantischen Suche.
Warum es für Sie zählt: Sie sind der Grund, warum eine KI „sinnverwandte" Inhalte findet, auch wenn nicht dasselbe Wort vorkommt.
Eine Vektordatenbank speichert Embeddings und findet zu jeder Frage blitzschnell die bedeutungsähnlichsten Inhalte. Sie ist das Gedächtnis eines RAG-Systems.
Warum es für Sie zählt: Wo diese Datenbank steht (EU, eigener Server), entscheidet mit über Ihren Datenschutz.
Chunking zerlegt große Dokumente in sinnvolle Abschnitte, damit die KI gezielt den passenden Teil findet, statt ein ganzes Dokument zu durchsuchen.
Warum es für Sie zählt: Gutes Chunking entscheidet maßgeblich darüber, ob Antworten präzise oder schwammig ausfallen.
Reranking sortiert die Suchtreffer in einem zweiten, genaueren Schritt neu, sodass die wirklich relevantesten Passagen ganz oben stehen.
Warum es für Sie zählt: Ein oft unterschätzter Hebel — er verbessert die Antwortqualität spürbar, ohne das Modell zu wechseln.
Teil 3
Eine KI in den Produktivbetrieb zu bringen, heißt: Qualität messen, Verhalten begrenzen, Kosten steuern und Angriffe abwehren. Diese Begriffe entscheiden darüber, ob ein vielversprechender Pilot je zuverlässig läuft.
Evals sind systematische Tests, die messen, wie korrekt und zuverlässig ein KI-System antwortet — vergleichbar mit Qualitätskontrolle in der Fertigung.
Warum es für Sie zählt: Ohne Evals bleibt KI-Qualität Bauchgefühl. Sie sind die Voraussetzung, um Verbesserungen überhaupt nachzuweisen.
Guardrails sind technische und organisatorische Regeln, die festlegen, was eine KI darf und was nicht — etwa Themensperren, Freigabeschritte oder Filter für sensible Daten.
Warum es für Sie zählt: Sie sind Ihr Sicherheitsnetz gegen unerwünschte oder riskante KI-Ausgaben im Kundenkontakt.
Quantisierung verkleinert ein Modell, indem die Genauigkeit der internen Zahlen leicht reduziert wird. Das Ergebnis: ein kleineres, günstigeres Modell bei kaum spürbarem Qualitätsverlust.
Warum es für Sie zählt: Quantisierte Modelle laufen oft auf bezahlbarer Hardware — und ermöglichen so den Betrieb auf eigenen oder europäischen Servern.
MCP ist ein offener Standard, über den KI-Agenten standardisiert externe Werkzeuge und Datenquellen anbinden — gewissermaßen ein einheitlicher Stecker für KI.
Warum es für Sie zählt: MCP reduziert teure Individualanbindungen. Tiefer erklärt im Beitrag MCP-Server erklärt.
Prompt Injection ist ein Angriff, bei dem versteckte Anweisungen in Texten, E-Mails oder Webseiten eine KI zu unerwünschtem Verhalten verleiten.
Warum es für Sie zählt: Sobald ein Agent eigenständig handelt, wird das zum echten Sicherheitsrisiko — Hintergründe unter Prompt Injection & KI-Sicherheit.
Schatten-KI ist die ungenehmigte Nutzung von KI-Tools durch Mitarbeitende — ohne Wissen oder Freigabe der IT. Sensible Daten landen dabei oft unbemerkt bei externen Anbietern.
Warum es für Sie zählt: Ein verbreitetes, unterschätztes Risiko. Wie Sie es steuern, zeigt Schatten-KI & Governance.
Teil 4
In Europa ist KI kein rechtsfreier Raum. Wer KI mit personenbezogenen oder geschäftskritischen Daten einsetzt, sollte die beiden wichtigsten Rahmen kennen — sie entscheiden mit darüber, was überhaupt erlaubt ist.
Die DSGVO regelt den Schutz personenbezogener Daten, der EU AI Act den Einsatz von KI nach Risikoklassen. Gemeinsam bilden sie den verbindlichen Rechtsrahmen für KI in Europa.
Warum es für Sie zählt: Rechtsgrundlage, Datenminimierung und Protokollierung sind Pflicht — kein Nachgedanke. Praxisnah erklärt unter DSGVO-konforme KI im Unternehmen.
Governance bündelt die Regeln, Verantwortlichkeiten und Kontrollen für den KI-Einsatz. „Mensch in der Schleife" bedeutet, dass folgenreiche Entscheidungen von einem Menschen freigegeben werden.
Warum es für Sie zählt: Governance ist die Voraussetzung dafür, dass ein Pilot überhaupt produktiv und auditierbar werden darf.
Weiterlesen
Dieses Glossar wächst mit dem Thema. Wenn Sie zu einem Bereich mehr wissen wollen, finden Sie in unseren Ratgebern ausführliche, praxisnahe Erklärungen:
Wie KI sicher mit Ihren eigenen Daten arbeitet, erklärt RAG einfach erklärt. Den Rechtsrahmen für den Mittelstand behandelt DSGVO-konforme KI im Unternehmen. Mit dem oft übersehenen Risiko ungenehmigter Tools befasst sich Schatten-KI & Governance. Wo Ihr Prozess auf der technologischen Leiter steht — von Skript über iPaaS und RPA bis zum Agenten — ordnet die Übersicht der Automatisierungs-Generationen 2026 ein. Und wann sich ein Agent gegenüber klassischen Tools lohnt, klärt KI-Agenten statt Zapier & RPA.
Eine Gesamtübersicht aller Beiträge finden Sie in unserem Automatisierungs-Ratgeber. Sie vermissen einen Begriff oder möchten ihn auf Ihren konkreten Fall übertragen? Sprechen Sie uns einfach an — wir erklären verständlich und herstellerunabhängig. Wo KI in Ihrem Unternehmen konkret ansetzen kann, zeigt unverbindlich der kostenlose KI-Readiness-Check.
Häufige Fragen