KI-Glossar

Auf dieser Seite sammeln wir die Glossar-Einträge aus unserem Newsletter Smart Content Report.

Adapter

Stell dir vor, du hast einen Universal-Werkzeugkasten, der zwar viele verschiedene Werkzeuge enthält, aber für spezielle Aufgaben zu groß und unhandlich ist. Um bestimmte Arbeiten effizient zu erledigen, kannst du kleine, spezialisierte Aufsätze, sogenannte Adapter, verwenden. Diese Adapter werden an das Universal-Werkzeug befestigt und erweitern dessen Funktion. So kannst du zum Beispiel einen Schraubendreher-Adapter an eine Bohrmaschine anschließen, um Schrauben zu befestigen, oder einen Schleifkopf-Adapter, um Oberflächen zu glätten. In der künstlichen Intelligenz funktionieren Adapter ähnlich: Sie sind kleine, spezialisierte Module, die an ein großes, allgemeines KI-Modell angedockt werden und es für bestimmte Aufgaben optimieren. Dadurch können große, komplexe Modelle effizient für spezifische Aufgaben eingesetzt werden, ohne dass das gesamte Modell neu trainiert werden muss.

Agenten

Aktuelle KI-Assistenten geben Antworten auf Fragen oder führen einfache, klar definierte Aufgaben durch. Sie werden aber nicht selbstständig tätig. Komplexere Aufträge benötigen zudem immer einen Menschen als steuernde Figur. KI-Agenten hingegen sollen selbst einen Lösungsweg finden und Ziele autonom oder halbautonom verfolgen.

KI-Agenten verwenden Basismodelle für Sprache, Bilderkennung und mehr, um Anweisungen in natürlicher Sprache entgegenzunehmen und komplexe Aufgaben zu bearbeiten. Sie nutzen verschiedene Werkzeuge wie Browser, Suchmaschinen und Code-Compiler, um ihre Ziele zu erreichen. Dabei können sie sich an neue Situationen anpassen und aus Erfahrungen lernen.

Ein Beispiel: Ein KI-Agent könnte den Auftrag erhalten, einen Marktforschungsbericht zu erstellen. Er würde dann selbstständig im Internet recherchieren, Daten analysieren, Trends identifizieren und einen strukturierten Bericht verfassen – alles basierend auf einer einfachen Anweisung des Nutzers. Bei halbautonomer Arbeitsweise würde der Agent an bestimmten Punkten Rücksprache mit dem Nutzer halten, um Zwischenergebnisse zu bestätigen oder weitere Anweisungen einzuholen.

Alignment

Alignment (Ausrichtung) meint im Kontext von Künstlicher Intelligenz, sicherzustellen, dass die KI-Systeme so entwickelt werden, dass ihre Ziele und Aktionen mit den Werten und Interessen der Menschheit übereinstimmen.

Eine nicht korrekt ausgerichtete KI könnte Ziele verfolgen, die zwar logisch aus ihrer Programmierung folgen, aber negative Auswirkungen auf die Menschheit haben.

Dies wird vor allem wichtig, wenn KI-Systeme selbstständig tätig werden, wie es für „KI-Agenten“ angedacht ist. Trotzdem ist Alignment bereits heute ein wichtiges Thema, denn die Grundlagen müssen von Anfang an stimmen. Auch Probleme wie etwa Vorurteile und andere Verzerrungen im Datensatz können bereits jetzt negative Auswirkungen haben.

Benchmark

Ein Benchmark ist ein standardisierter Test oder eine Reihe von Aufgaben, die verwendet werden, um die Leistungsfähigkeit verschiedener KI-Modelle möglichst objektiv miteinander zu vergleichen. Ähnlich wie ein einheitlicher Test in der Schule die Leistungen von Schüler:innen misst, ermöglicht ein Benchmark die Bewertung und den Vergleich der Leistungsfähigkeit von KI-Modellen anhand gleicher Herausforderungen. Ein Benchmark umfasst sowohl die zu lösenden Aufgaben als auch ein festgelegtes Bewertungsverfahren, um die Ergebnisse transparent und nachvollziehbar zu machen.

Chain of Thought

Chain of Thought (Gedankenkette) ist ein Konzept in der künstlichen Intelligenz, das die Fähigkeit von KI-Systemen beschreibt, komplexe Probleme schrittweise zu lösen, ähnlich wie es Menschen tun. Diese Methode ermöglicht es KI-Modellen, ihre Denkprozesse in einer für Menschen nachvollziehbaren Weise darzulegen.

Anstatt nur eine endgültige Antwort zu liefern, zeigt die KI dabei die einzelnen Gedankenschritte auf, die zu dieser Lösung geführt haben. Dies ist besonders nützlich bei Aufgaben, die logisches Denken, mehrstufige Berechnungen oder komplexe Schlussfolgerungen erfordern.

Durch die Anwendung von Chain of Thought können KI-Systeme nicht nur genauere Ergebnisse liefern, sondern auch ihre Entscheidungsfindung transparenter gestalten. Dies erleichtert es Nutzern, die Logik hinter den Antworten der KI zu verstehen und mögliche Fehler zu identifizieren.

In der Praxis wird Chain of Thought oft in Sprachmodellen und anderen generativen KI-Systemen eingesetzt, um deren Problemlösungsfähigkeiten zu verbessern und die Interaktion zwischen Mensch und Maschine verständlicher zu machen.

Edge AI

KI-Anwendungen laufen heute vor allem in der „Cloud“, also auf mächtigen, spezialisierten Computern in Rechenzentren. Das aber wird nach Meinung von Fachleuten nicht immer so bleiben. Ergänzend dazu werde es mehr und mehr kleine Modelle geben, die direkt auf den Geräten der Anwender:innen funktionieren – vom PC bis zum Smartphone.

Das hört auf den Namen Edge AI, in Anlehnung an den Begriff des Edge Computing. Es soll signalisieren, dass die eigentliche Arbeit am „Rand“ des Netzwerks stattfindet und nicht zentral.

Möglich wird dies zum einen durch Fortschritte in der Chip-Technologie und zum anderen durch neue Methoden, um leistungsfähige KI-Modelle zu entwickeln, die deutlich weniger Ressourcen benötigen. Ein Ansatz ist es etwa, ein Modell für eine klar definierte Aufgabe zu trainieren anstatt als einen Alleskönner wie ChatGPT.

Ein Vorteil ist, dass solche lokal laufenden KI-Modelle keinen Internetzugang benötigen und damit auch bei schlechtem Empfang auf dem Handy wie gewohnt funktionieren. Außerdem verbleiben die Daten der Nutzenden auf ihren Geräten und werden nicht zur Verarbeitung in die Cloud geschickt.

Few-Shot Learning

Few-Shot Learning bezeichnet eine Methode in der künstlichen Intelligenz, bei der ein KI-Modell neue Aufgaben mit nur wenigen Beispielen lernen kann. Im Gegensatz zum klassischen maschinellen Lernen, das oft tausende von Trainingsdaten benötigt, kommt Few-Shot Learning mit einer Handvoll Beispielen aus – manchmal reichen sogar nur zwei oder drei.

Man kann sich das wie einen besonders begabten Schüler vorstellen, der ein neues Konzept bereits nach wenigen Erklärungen versteht und anwenden kann. Diese Fähigkeit ist besonders wichtig in Situationen, in denen nur begrenzt Trainingsdaten zur Verfügung stehen oder die Beschaffung von Daten sehr aufwendig wäre.

Ein anschauliches Beispiel wäre eine KI in der medizinischen Diagnostik: Während traditionelle Systeme tausende von Röntgenbildern einer bestimmten seltenen Krankheit benötigen würden, kann ein Few-Shot-Learning-System bereits nach dem Studium weniger Beispielbilder diese Krankheit in neuen Fällen erkennen.

Few-Shot Learning basiert dabei auf dem Prinzip, dass das KI-Modell bereits über ein breites Grundwissen verfügt und dieses geschickt auf neue, aber verwandte Aufgaben überträgt – ähnlich wie Menschen ihr Vorwissen nutzen, um neue Situationen zu meistern.

Fine Tuning

Fine Tuning bezeichnet das nachträgliche Optimieren eines vortrainierten KI-Modells auf eine bestimmte Aufgabe oder ein Fachvokabular.

Beim Training dieser Modelle wurden zunächst sehr umfangreiche Datenmengen aus dem Internet verarbeitet, um ein generelles Verständnis zu erlernen. Fine Tuning passt dieses generelle Wissen dann gezielt für einen konkreten Anwendungsfall an.

Ein Beispiel: Ein Versicherungsunternehmen möchte einen KI-basierten Chatbot für die Kundenkommunikation einsetzen. Hierfür wird das bestehende Sprachmodell auf Basis von Versicherungsdokumenten, Kunden-Chats und Fachbegriffen dieses Unternehmens nachtrainiert. Der Chatbot erlangt so das nötige Domänenwissen, um Versicherungsfragen treffend zu beantworten.

Beim Fine Tuning findet im Gegensatz zum ursprünglichen Training meist nur eine Optimierung der Gewichtungen zwischen den Neuronen des Modells statt. Die Architektur selbst bleibt unverändert. Der Vorteil: Mit vergleichsweise wenig zusätzlichen Trainingsdaten lässt sich die Leistung deutlich verbessern.

Der Unterschied zu RAG (Retrieval Augmented Generation) besteht darin, dass beim Fine Tuning eine dauerhafte Anpassung des Sprachmodells erfolgt. Bei RAG werden stattdessen bei jeder Anfrage zusätzliche Informationsquellen in Echtzeit abgefragt. Es findet kein erneutes Training statt.

Foundation Model

Foundation Model (deutsch: Grundlagenmodell oder Basismodell) bezeichnet ein großes KI-Modell, das mit riesigen Datenmengen trainiert wurde und als Grundlage für verschiedene spezialisierte Anwendungen dient. Man kann es sich wie ein Fundament vorstellen, auf dem weitere KI-Anwendungen aufbauen.

Diese Modelle werden zunächst mit einem breiten Spektrum an Daten trainiert – von Texten über Bilder bis hin zu Programmcode – und verstehen dadurch grundlegende Muster und Zusammenhänge.

Das Besondere an Foundation Models ist ihre Vielseitigkeit: Ein einzelnes Modell kann für unterschiedliche Aufgaben angepasst werden, ohne dass es komplett neu trainiert werden muss. Dies geschieht durch sogenanntes Fine-Tuning, bei dem das Modell mit zusätzlichen, aufgabenspezifischen Daten nachtrainiert wird.

Foundation Models haben die KI-Entwicklung revolutioniert, da sie es ermöglichen, fortschrittliche KI-Anwendungen mit deutlich weniger Aufwand und Ressourcen zu erstellen als früher. Allerdings bringen sie auch Herausforderungen mit sich, etwa den hohen Energieverbrauch beim Training oder die Gefahr, dass sie voreingenommene oder fehlerhafte Informationen aus ihren Trainingsdaten übernehmen.

General World Model

Ein General World Model, zu Deutsch allgemeines Weltmodell, ist ein ehrgeiziges Konzept in der künstlichen Intelligenz (KI). Es beschreibt ein KI-System, das, ähnlich wie ein Mensch, über ein umfassendes Verständnis der Welt verfügt und diese simulieren kann. Anders als spezialisierte KI-Modelle, die meist nur auf eine bestimmte Aufgabe trainiert sind, wäre ein General World Model in der Lage, komplexe Zusammenhänge zu begreifen, Vorhersagen zu treffen und auf vielfältige Situationen zu reagieren – vergleichbar mit einem virtuellen Assistenten, der nicht nur Sprache oder Bilder verarbeitet, sondern die Welt in ihrer Gesamtheit begreift.

Ein solches Modell würde ein digitales Abbild unserer Welt mit all ihren Facetten und Funktionsweisen in sich tragen. Die Entwicklung eines General World Models ist daher ein äußerst herausforderndes, aber vielversprechendes Ziel der KI-Forschung.

Halluzination

Heutige Sprachmodelle sind vor allem darauf trainiert, hilfreiche und gut lesbare Antworten zu geben. Dabei kann es passieren, dass die KI Informationen erfindet, die zwar prima in den Text passen und faktisch aussehen, in Wirklichkeit aber frei erfunden sind. Solche Fehler werden oftmals als Halluzinationen bezeichnet.

Vermeiden lassen sich solche Fehler etwa mit dem richtigen Prompt. So kann es eine gute Idee sein, schon dort klarzustellen, dass es in Ordnung ist, wenn die KI eine Antwort nicht weiß oder eine Information nicht hat. Mit Techniken wie RAG lässt sich zudem ein Sprachmodell dazu nutzen, Informationen aus Datenbanken und Dokumenten zu beziehen – und nur von dort.

Kontextfenster

Im Bereich der künstlichen Intelligenz und insbesondere bei Large Language Models (LLMs) bezeichnet das Kontextfenster die Menge an Text oder Informationen, die das KI-Modell gleichzeitig verarbeiten und berücksichtigen kann. Es stellt sozusagen die Aufmerksamkeitsspanne des Modells dar.

Wenn ein Nutzer mit einem KI-System interagiert, kann dieses also nur auf die Informationen innerhalb des Kontextfensters zugreifen, um Antworten zu generieren oder Aufgaben zu bearbeiten.

Die Größe des Kontextfensters variiert je nach Modell und wird oft in der Anzahl der Tokens gemessen. Ein größeres Kontextfenster ermöglicht es dem KI-Modell, mehr Zusammenhänge zu erfassen und auf einen breiteren Kontext zu reagieren, was besonders bei komplexen kreativen Aufgaben von Vorteil sein kann. Allerdings kann ein zu großes Kontextfenster auch zu Verarbeitungsverzögerungen und erhöhtem Ressourcenverbrauch führen.

Large Language Model

Ein Large Language Model, oft als LLM abgekürzt, ist ein hochentwickeltes künstliches neuronales Netzwerk, das darauf spezialisiert ist, menschliche Sprache zu verstehen, zu generieren und zu verarbeiten. Diese Modelle werden als „large“ (groß) bezeichnet, weil sie auf enormen Mengen an Textdaten trainiert werden und Milliarden von Parametern enthalten können.

LLMs sind in der Lage, eine Vielzahl von Aufgaben zu bewältigen, darunter Textgenerierung, Übersetzung, Zusammenfassung und Beantwortung von Fragen. Sie funktionieren, indem sie Muster in der Sprache erkennen und auf dieser Grundlage wahrscheinliche Wortfolgen vorhersagen.

Ein bekanntes Beispiel für ein LLM ist GPT (Generative Pre-trained Transformer), das von OpenAI entwickelt wurde. LLMs bilden die Grundlage für viele moderne KI-Anwendungen und haben das Potenzial, die Art und Weise, wie wir mit Computern interagieren und Informationen verarbeiten, grundlegend zu verändern.

Trotz ihrer beeindruckenden Fähigkeiten haben LLMs auch Grenzen und können Fehler machen oder voreingenommene Ergebnisse liefern, weshalb ihr Einsatz oft ethische und praktische Fragen aufwirft.

LLM Router

LLM Router (Large Language Model Router) ist ein System, das eingehende Anfragen automatisch an das jeweils am besten geeignete Sprachmodell weiterleitet.

Ähnlich wie ein Verkehrsleitsystem entscheidet der Router, welches der verfügbaren KI-Modelle eine bestimmte Aufgabe am effizientesten lösen kann. Diese Auswahl erfolgt basierend auf verschiedenen Kriterien wie der Art der Anfrage, der erforderlichen Expertise, den Kosten oder der Verarbeitungsgeschwindigkeit.

Beispielsweise könnte eine einfache Textkorrektur an ein kleineres, schnelleres Modell weitergeleitet werden, während eine komplexe Analyse an ein leistungsfähigeres, aber möglicherweise langsameres Modell geht.

LLM Router sind besonders in Unternehmensumgebungen wichtig, wo verschiedene KI-Modelle parallel eingesetzt werden und Ressourcen optimal genutzt werden sollen. Sie helfen dabei, Kosten zu sparen und die Antwortqualität zu verbessern, indem sie sicherstellen, dass jede Anfrage vom bestgeeigneten Modell bearbeitet wird.

Man kann sich einen LLM Router wie einen intelligenten Telefonvermittler vorstellen, der eingehende Anrufe nicht willkürlich, sondern gezielt an die zuständigen Experten weiterleitet.

LoRA (Low-Rank Adaptation)

LoRA (Low-Rank Adaptation) ist eine effiziente Methode, um große KI-Modelle an spezielle Aufgaben anzupassen, ohne dabei das gesamte Modell neu trainieren zu müssen.

Man kann sich LoRA wie einen kleinen, spezialisierten Zusatz vorstellen, der auf das ursprüngliche KI-Modell aufgesetzt wird. Dieser Ansatz ist vergleichbar mit einem Experten, der sich zusätzliches Spezialwissen aneignet, ohne sein Grundwissen zu verändern.

Der große Vorteil von LoRA liegt in der Ressourceneffizienz: Während das vollständige Training eines KI-Modells enorme Rechenleistung und Speicherkapazität erfordert, benötigt LoRA nur einen Bruchteil davon. Dies macht die Technologie besonders interessant für kleinere Unternehmen und einzelne Entwickler, die KI-Modelle an ihre speziellen Bedürfnisse anpassen möchten.

Beispielsweise kann ein allgemeines Sprachmodell mit LoRA darauf trainiert werden, den spezifischen Schreibstil eines Unternehmens zu übernehmen oder Texte in einer bestimmten Fachsprache zu verfassen. Besonders häufig wird LoRA auch bei Bildgenerierungsmodellen wie Stable Diffusion eingesetzt, um diese auf bestimmte Kunststile, Charaktere oder visuelle Konzepte zu spezialisieren. 

Die Bezeichnung „Low-Rank“ bezieht sich dabei auf die mathematische Methode, mit der diese Anpassungen vorgenommen werden, bei der die Komplexität der Berechnungen deutlich reduziert wird.

Merging

Beim Merging werden zwei oder mehr KI-Modelle miteinander kombiniert, um auf diese Weise ein neues Modell zu erstellen. Die Ergebnisse können erstaunlich gut sein und erfordern keine teure Hardware.

Mixture of Experts

Mixture of Experts (MoE) ist ein Konzept in der künstlichen Intelligenz, das sich am besten als ein Team von Spezialisten verstehen lässt.

Bei diesem Ansatz wird eine komplexe Aufgabe auf mehrere kleinere, spezialisierte Modelle – die sogenannten „Experten“ – aufgeteilt, anstatt ein einziges großes Modell für alles zu verwenden. Ein zentraler „Gatekeeper“ oder „Router“ entscheidet dabei, welcher Experte für eine bestimmte Teilaufgabe am besten geeignet ist.

Dies ermöglicht es dem System, effizienter und präziser zu arbeiten, da jeder Experte sich auf seinen Spezialbereich konzentrieren kann.

In der Praxis bedeutet dies, dass ein MoE-Modell beispielsweise bei der Textverarbeitung einen Experten für Grammatik, einen für Vokabular und einen für Kontext haben könnte. Der Gatekeeper würde dann je nach Anforderung den passenden Experten auswählen.

Dieser Ansatz nutzt Rechenressourcen effizienter und liefert oft bessere Ergebnisse als ein einzelnes, allumfassendes Modell.

MoE wird zunehmend in großen Sprachmodellen und anderen KI-Anwendungen eingesetzt, um deren Leistung und Effizienz zu steigern.

Model Weight

In der Welt der künstlichen Intelligenz bezeichnet der Begriff „Model Weight“ („Modellgewicht“) die numerischen Werte oder Parameter, die ein KI-Modell während des Trainingsprozesses erlernt hat. Diese Gewichte repräsentieren das „Wissen“ oder die „Erfahrung“ des Modells und bestimmen, wie es auf neue Eingaben reagiert.

Bei kreativen KI-Anwendungen beeinflussen die Model Weights maßgeblich, wie das System Bilder generiert, Texte verfasst oder Musik komponiert.

Je nach Trainingsdaten und -methode können unterschiedliche Gewichte zu verschiedenen Stilen oder Fähigkeiten führen. Kreative können durch die Auswahl oder sogar Fine Tuning spezifischer Model Weights die Ausgabe von KI-Tools gezielt beeinflussen und so einzigartige, auf ihre Bedürfnisse zugeschnittene Ergebnisse erzielen. 

Multimodal

Eine multimodale KI kann Input in verschiedenen Formaten aufnehmen und verarbeiten. Dazu gehören neben Text dann etwa ebenfalls Foto, Video und Audio. Das eröffnet zahlreiche neue Anwendungsmöglichkeiten. So kann eine solche multimodale KI etwa handgeschriebenen Text besser erkennen als frühere Methoden. Sie kann Fragen zu Fotos beantworten. Oder sie beschreibt den Inhalt eines Videos.

Open Weights

Manche KI-Anwendungen sind frei verfügbar. Man denke hier etwa an Sprachmodelle des französischen Anbieters Mistral oder an die Llama-Familie aus dem Hause Facebook/Meta. Allerdings ist es nicht korrekt, diese als „open source“ zu bezeichnen. Denn was man als Nutzer erhält, ist das Endergebnis des Trainings, der Kern eines Large Language Models, „Weights“ genannt. Nicht automatisch enthalten ist aber das Trainingsmaterial oder der Trainingsprozess.

Mit anderen Worten: Solche KI-Modelle lassen sich zwar kostenlos nutzen und sogar in gewissen Grenzen abwandeln und verfeinern (siehe „Fine Tuning“). Man bekommt aber nicht alle Bausteine, um daraus seine eigene KI von Grund auf zu erstellen.

Deshalb wird oftmals der Begriff „open weights“ bevorzugt, um diesen wichtigen Unterschied kenntlich zu machen. Allerdings gibt es dafür noch keine allgemein anerkannte Definition.

Overfitting

Overfitting (zu Deutsch: Überanpassung) bezeichnet ein häufiges Problem beim Training von KI, bei dem das Modell die Trainingsdaten zu genau „auswendig lernt“, anstatt allgemeingültige Muster zu erkennen.

Man kann sich das wie einen Schüler vorstellen, der für eine Mathematikprüfung nur die Beispielaufgaben aus dem Lehrbuch auswendig lernt, statt die zugrundeliegenden Regeln zu verstehen. Wenn in der Prüfung dann leicht veränderte Aufgaben gestellt werden, scheitert er.

Ähnlich verhält es sich bei KI-Systemen mit Overfitting: Das Modell erzielt zwar bei den Trainingsdaten hervorragende Ergebnisse, versagt aber bei neuen, unbekannten Daten. Dies ist besonders bei generativer KI problematisch, da diese flexibel auf neue Situationen reagieren soll.

Um Overfitting zu vermeiden, nutzen Entwickler verschiedene Techniken, etwa das Training mit einer größeren Vielfalt an Daten oder das gezielte „Vergessen“ zu spezifischer Details. Das Ziel ist dabei stets, ein ausgewogenes Verhältnis zwischen Genauigkeit und Verallgemeinerungsfähigkeit zu erreichen.

Parameter

Die Zahl der Parameter eines Large Language Models (LLMs) ist ein Anzeichen für seine potenzielle Leistungsfähigkeit. Das oben genannte Smaug-72B hat beispielsweise 72 Milliarden Parameter.

Was aber bedeutet diese Zahl? Dazu ist es als erstes wichtig zu verstehen, dass ein LLM anhand großer Textmengen trainiert wird. Das Ziel des Modells ist es letztlich, das nächste Wort in einem Satz vorherzusagen – man gibt ihm also einige Wörter vor und es versucht zu bestimmen, welches das nächste Wort sein sollte.

Um genaue Vorhersagen zu treffen, muss das Modell die Komplexität der menschlichen Sprache möglichst detailliert erfassen. An dieser Stelle kommen die Parameter ins Spiel: Jeder Parameter ist vergleichbar mit einem Regler, der während des Trainingsprozesses angepasst wird.

Je mehr Parameter, desto mehr Möglichkeiten hat das Modell, die Nuancen der Sprache zu erfassen. Es kann komplexere Muster und Nuancen lernen.

Mehr Parameter führen deshalb in der Regel zu genaueren Vorhersagen, erfordern aber zugleich deutlich mehr Daten und Rechenleistung, um das Modell zu trainieren und zu nutzen. 

Zugleich ist dies kein absoluter Wert. Ein Modell mit mehr Parametern gibt nicht automatisch und in jedem Fall bessere Antworten als eines mit weniger Parametern.

RAG (Retrieval-Augmented Generation)

RAG (Retrieval-Augmented Generation) bezeichnet eine Technik, bei der KI-Sprachmodelle mit zusätzlichen, externen Informationsquellen angereichert werden. Dabei werden die Antworten des KI-Systems nicht nur aus seinem ursprünglichen Training generiert, sondern auch durch gezielt abgerufene (retrieved) aktuelle oder spezifische Daten ergänzt (augmented). 

Man kann sich das wie einen Experten vorstellen, der nicht nur aus seinem Gedächtnis spricht, sondern während des Gesprächs auch in relevanten Dokumenten nachschlägt. Diese Methode verbessert die Genauigkeit und Aktualität der Antworten erheblich, da das System nicht ausschließlich auf sein „gelerntes Wissen“ angewiesen ist. 

Beispielsweise könnte ein RAG-System bei einer Frage zu einem Unternehmen zunächst in dessen aktueller Geschäftsdokumentation nachsehen, bevor es antwortet. Dies reduziert das Risiko veralteter oder falscher Informationen und ermöglicht es dem System, auch über Themen zu sprechen, die nach seinem ursprünglichen Training entstanden sind. 

RAG wird heute vielfach in Unternehmen eingesetzt, etwa um Kundenanfragen präziser zu beantworten oder interne Dokumente effizienter zu nutzen.

Reasoning

Reasoning (engl. für „Schlussfolgerung“ oder „logisches Denken“) beschreibt in der künstlichen Intelligenz die Fähigkeit eines Systems, logische Schlüsse zu ziehen, Zusammenhänge zu erkennen und auf Basis vorhandener Informationen neue Erkenntnisse abzuleiten. Bei KI-Systemen wie ChatGPT bedeutet Reasoning, dass sie nicht nur auswendig gelernte Antworten wiedergeben, sondern durch Verknüpfung verschiedener Informationen zu eigenständigen Schlussfolgerungen gelangen können.

Ein einfaches Beispiel: Wenn das System weiß, dass alle Säugetiere Milch geben und dass Wale Säugetiere sind, kann es durch Reasoning schlussfolgern, dass auch Wale Milch geben – ohne dass diese Information explizit in seinen Trainingsdaten enthalten sein muss.

In modernen KI-Anwendungen wird Reasoning besonders wichtig, wenn komplexe Probleme gelöst oder mehrstufige Aufgaben bearbeitet werden müssen. Allerdings ist das Reasoning heutiger KI-Systeme noch deutlich eingeschränkter als das menschliche logische Denken und kann zu fehlerhaften oder unvollständigen Schlussfolgerungen führen.

System Prompt

Kommerzielle KIs wie ChatGPT oder Claude haben einen meist unsichtbaren System Prompt, der dem Assistenten wichtige Regeln und Richtlinien erklärt. Der System Prompt beeinflusst also, wie sich eine KI verhält und ob sie beispielsweise bestimmte Anfragen verweigert. Ein Mitglied des Claude-Teams hat den System Prompt ihres Assistenten auf Twitter/X veröffentlicht und Zeile für Zeile erklärt.

Temperature

Die „Temperature“-Option ist ein Wert zwischen 0 und 1, der die Kreativität der KI-Antworten beeinflusst.

Konkret: Je näher der Wert an der 0 ist, desto eher entscheidet sich die KI für die wahrscheinlichste Variante. Je näher an der 1, desto eher haben unwahrscheinlichere Optionen eine Chance.

Im Kern sind Large Language Models schließlich KI-Systeme, die laufend den nächsten Textbestandteil (Token) vorhersagen, wenn sie eine Antwort generieren.

Erhöht man die Temperatur, wird der Output zufälliger.

Token

Der Begriff „Token“ spielt in der Welt der KI eine wichtige Rolle, insbesondere im Kontext von Sprachmodellen wie ChatGPT. Im Wesentlichen handelt es sich bei einem Token um die kleinste Einheit, in die ein Text digital zerlegt wird. 

Diese „Tokenisierung“ ermöglicht es der KI, Texte zu analysieren, zu verarbeiten und zu verstehen. Sie dient als Grundlage für viele KI-Anwendungen, beispielsweise für die Übersetzung von Sprachen, die Erstellung von Zusammenfassungen oder die Generierung neuer Texte.

Die Größe und Art der Token variieren je nach verwendetem KI-Modell und der Sprache, die verarbeitet wird. Ein Token kann ein einzelnes Wort sein, aber auch ein Zeichen, ein Satzteil oder sogar eine ganze Phrase. Die Bedeutung eines Tokens wird im Kontext des gesamten Textes erschlossen.

Transformer

Transformer sind eine bahnbrechende Architektur für künstliche neuronale Netze, die 2017 von Google entwickelt wurde und heute die Grundlage für moderne KI-Sprachmodelle wie ChatGPT, Claude oder Googles Gemini bildet.

Der Name „Transformer“ bezieht sich auf die Fähigkeit dieser Systeme, Eingabedaten (zum Beispiel Texte) in eine andere Form zu transformieren.

Das Besondere an Transformern ist ihre Fähigkeit, Zusammenhänge in Texten zu erfassen, auch wenn die relevanten Informationen weit voneinander entfernt stehen. Dies gelingt durch einen Mechanismus namens „Attention“ (Aufmerksamkeit), bei dem das System alle Wörter eines Textes gleichzeitig betrachtet und ihre Beziehungen zueinander analysiert – ähnlich wie ein Mensch beim Lesen eines Satzes die Bedeutung aller Wörter im Kontext erfasst. Im Gegensatz zu älteren KI-Modellen, die Texte Wort für Wort sequenziell verarbeiten mussten, können Transformer parallel arbeiten, was sie deutlich effizienter macht.

Diese Architektur ermöglicht es modernen KI-Systemen, Texte zu verstehen, zu übersetzen, zusammenzufassen oder selbst zu generieren.