KI-Glossar

Auf dieser Seite sammeln wir die Glossar-Einträge aus unserem Newsletter Smart Content Report.

Adapter

Stell dir vor, du hast einen Universal-Werkzeugkasten, der zwar viele verschiedene Werkzeuge enthält, aber für spezielle Aufgaben zu groß und unhandlich ist. Um bestimmte Arbeiten effizient zu erledigen, kannst du kleine, spezialisierte Aufsätze, sogenannte Adapter, verwenden. Diese Adapter werden an das Universal-Werkzeug befestigt und erweitern dessen Funktion. So kannst du zum Beispiel einen Schraubendreher-Adapter an eine Bohrmaschine anschließen, um Schrauben zu befestigen, oder einen Schleifkopf-Adapter, um Oberflächen zu glätten. In der künstlichen Intelligenz funktionieren Adapter ähnlich: Sie sind kleine, spezialisierte Module, die an ein großes, allgemeines KI-Modell angedockt werden und es für bestimmte Aufgaben optimieren. Dadurch können große, komplexe Modelle effizient für spezifische Aufgaben eingesetzt werden, ohne dass das gesamte Modell neu trainiert werden muss.

Alignment

Alignment (Ausrichtung) meint im Kontext von Künstlicher Intelligenz, sicherzustellen, dass die KI-Systeme so entwickelt werden, dass ihre Ziele und Aktionen mit den Werten und Interessen der Menschheit übereinstimmen.

Eine nicht korrekt ausgerichtete KI könnte Ziele verfolgen, die zwar logisch aus ihrer Programmierung folgen, aber negative Auswirkungen auf die Menschheit haben.

Dies wird vor allem wichtig, wenn KI-Systeme selbstständig tätig werden, wie es für „KI-Agenten“ angedacht ist. Trotzdem ist Alignment bereits heute ein wichtiges Thema, denn die Grundlagen müssen von Anfang an stimmen. Auch Probleme wie etwa Vorurteile und andere Verzerrungen im Datensatz können bereits jetzt negative Auswirkungen haben.

Edge AI

KI-Anwendungen laufen heute vor allem in der „Cloud“, also auf mächtigen, spezialisierten Computern in Rechenzentren. Das aber wird nach Meinung von Fachleuten nicht immer so bleiben. Ergänzend dazu werde es mehr und mehr kleine Modelle geben, die direkt auf den Geräten der Anwender:innen funktionieren – vom PC bis zum Smartphone.

Das hört auf den Namen Edge AI, in Anlehnung an den Begriff des Edge Computing. Es soll signalisieren, dass die eigentliche Arbeit am „Rand“ des Netzwerks stattfindet und nicht zentral.

Möglich wird dies zum einen durch Fortschritte in der Chip-Technologie und zum anderen durch neue Methoden, um leistungsfähige KI-Modelle zu entwickeln, die deutlich weniger Ressourcen benötigen. Ein Ansatz ist es etwa, ein Modell für eine klar definierte Aufgabe zu trainieren anstatt als einen Alleskönner wie ChatGPT.

Ein Vorteil ist, dass solche lokal laufenden KI-Modelle keinen Internetzugang benötigen und damit auch bei schlechtem Empfang auf dem Handy wie gewohnt funktionieren. Außerdem verbleiben die Daten der Nutzenden auf ihren Geräten und werden nicht zur Verarbeitung in die Cloud geschickt.

Fine Tuning

Fine Tuning bezeichnet das nachträgliche Optimieren eines vortrainierten KI-Modells wie GPT-4 auf eine bestimmte Aufgabe oder ein Fachvokabular.

Beim Training dieser Modelle wurden zunächst sehr umfangreiche Datenmengen aus dem Internet verarbeitet, um ein generelles Verständnis zu erlernen. Fine Tuning passt dieses generelle Wissen dann gezielt für einen konkreten Anwendungsfall an.

Ein Beispiel: Ein Versicherungsunternehmen möchte einen KI-basierten Chatbot für die Kundenkommunikation einsetzen. Hierfür wird das bestehende Sprachmodell auf Basis von Versicherungsdokumenten, Kunden-Chats und Fachbegriffen dieses Unternehmens nachtrainiert. Der Chatbot erlangt so das nötige Domänenwissen, um Versicherungsfragen treffend zu beantworten.

Beim Fine Tuning findet im Gegensatz zum ursprünglichen Training meist nur eine Optimierung der Gewichtungen zwischen den Neuronen des Modells statt. Die Architektur selbst bleibt unverändert. Der Vorteil: Mit vergleichsweise wenig zusätzlichen Trainingsdaten lässt sich die Leistung deutlich verbessern.

Der Unterschied zu RAG (Retrieval Augmented Generation) besteht darin, dass beim Fine Tuning eine dauerhafte Anpassung des Sprachmodells erfolgt. Bei RAG werden stattdessen bei jeder Anfrage zusätzliche Informationsquellen in Echtzeit abgefragt. Es findet kein erneutes Training statt.

Halluzination

Heutige Sprachmodelle sind vor allem darauf trainiert, hilfreiche und gut lesbare Antworten zu geben. Dabei kann es passieren, dass die KI Informationen erfindet, die zwar prima in den Text passen und faktisch aussehen, in Wirklichkeit aber frei erfunden sind. Solche Fehler werden oftmals als Halluzinationen bezeichnet.

Vermeiden lassen sich solche Fehler etwa mit dem richtigen Prompt. So kann es eine gute Idee sein, schon dort klarzustellen, dass es in Ordnung ist, wenn die KI eine Antwort nicht weiß oder eine Information nicht hat. Mit Techniken wie RAG lässt sich zudem ein Sprachmodell dazu nutzen, Informationen aus Datenbanken und Dokumenten zu beziehen – und nur von dort.

Merging

Beim Merging werden zwei oder mehr KI-Modelle miteinander kombiniert, um auf diese Weise ein neues Modell zu erstellen. Die Ergebnisse können erstaunlich gut sein und erfordern keine teure Hardware.

Multimodal

Eine multimodale KI kann Input in verschiedenen Formaten aufnehmen und verarbeiten. Dazu gehören neben Text dann etwa ebenfalls Foto, Video und Audio. Das eröffnet zahlreiche neue Anwendungsmöglichkeiten. So kann eine solche multimodale KI etwa handgeschriebenen Text besser erkennen als frühere Methoden. Sie kann Fragen zu Fotos beantworten. Oder sie beschreibt den Inhalt eines Videos.

Open Weights

Manche KI-Anwendungen sind frei verfügbar. Man denke hier etwa an Sprachmodelle des französischen Anbieters Mistral oder an die Llama-Familie aus dem Hause Facebook/Meta. Allerdings ist es nicht korrekt, diese als „open source“ zu bezeichnen. Denn was man als Nutzer erhält, ist das Endergebnis des Trainings, der Kern eines Large Language Models, „Weights“ genannt. Nicht automatisch enthalten ist aber das Trainingsmaterial oder der Trainingsprozess.

Mit anderen Worten: Solche KI-Modelle lassen sich zwar kostenlos nutzen und sogar in gewissen Grenzen abwandeln und verfeinern (siehe „Fine Tuning“). Man bekommt aber nicht alle Bausteine, um daraus seine eigene KI von Grund auf zu erstellen.

Deshalb wird oftmals der Begriff „open weights“ bevorzugt, um diesen wichtigen Unterschied kenntlich zu machen. Allerdings gibt es dafür noch keine allgemein anerkannte Definition.

Parameter

Die Zahl der Parameter eines Large Language Models (LLMs) ist ein Anzeichen für seine potenzielle Leistungsfähigkeit. Das oben genannte Smaug-72B hat beispielsweise 72 Milliarden Parameter.

Was aber bedeutet diese Zahl? Dazu ist es als erstes wichtig zu verstehen, dass ein LLM anhand großer Textmengen trainiert wird. Das Ziel des Modells ist es letztlich, das nächste Wort in einem Satz vorherzusagen – man gibt ihm also einige Wörter vor und es versucht zu bestimmen, welches das nächste Wort sein sollte.

Um genaue Vorhersagen zu treffen, muss das Modell die Komplexität der menschlichen Sprache möglichst detailliert erfassen. An dieser Stelle kommen die Parameter ins Spiel: Jeder Parameter ist vergleichbar mit einem Regler, der während des Trainingsprozesses angepasst wird.

Je mehr Parameter, desto mehr Möglichkeiten hat das Modell, die Nuancen der Sprache zu erfassen. Es kann komplexere Muster und Nuancen lernen.

Mehr Parameter führen deshalb in der Regel zu genaueren Vorhersagen, erfordern aber zugleich deutlich mehr Daten und Rechenleistung, um das Modell zu trainieren und zu nutzen. 

Zugleich ist dies kein absoluter Wert. Ein Modell mit mehr Parametern gibt nicht automatisch und in jedem Fall bessere Antworten als eines mit weniger Parametern.

RAG (Retrieval-Augmented Generation)

RAG ist eine Technik, um ein Sprachmodell wie OpenAIs GPT-4 mit Informationen aus zusätzlichen Datenbanken zu verbinden. Das können etwa Produktinformationen sein.

Ein Beispiel für die praktische Anwendung: Ein Unternehmen setzt einen KI-Chatbot für die Beantwortung von Kundenanfragen ein. Dieser Chatbot ist mit dem eigenen Produkthandbuch und den FAQs auf der Website verbunden. Nutzt der Chatbot RAG, kann er Kundenanfragen nicht nur auf Basis seines generellen Wissens beantworten, sondern auch unter Rückgriff auf die konkreten Produktinformationen. Das macht seine Antworten im Idealfall spezifischer und verlässlicher.

Es findet dabei kein zusätzliches Training des Sprachmodells selbst statt – auch wenn das oft fälschlicherweise so dargestellt wird. Bei einem Training würden die Unternehmensdaten direkt in den Wissensbestand des Chatbots integriert. Das aber wäre für die meisten Anwendungsfälle deutlich zu aufwändig.

System Prompt

Kommerzielle KIs wie ChatGPT oder Claude haben einen meist unsichtbaren System Prompt, der dem Assistenten wichtige Regeln und Richtlinien erklärt. Der System Prompt beeinflusst also, wie sich eine KI verhält und ob sie beispielsweise bestimmte Anfragen verweigert. Ein Mitglied des Claude-Teams hat den System Prompt ihres Assistenten auf Twitter/X veröffentlicht und Zeile für Zeile erklärt.

Temperature

Die „Temperature“-Option ist ein Wert zwischen 0 und 1, der die Kreativität der KI-Antworten beeinflusst.

Konkret: Je näher der Wert an der 0 ist, desto eher entscheidet sich die KI für die wahrscheinlichste Variante. Je näher an der 1, desto eher haben unwahrscheinlichere Optionen eine Chance.

Im Kern sind Large Language Models schließlich KI-Systeme, die laufend den nächsten Textbestandteil (Token) vorhersagen, wenn sie eine Antwort generieren.

Erhöht man die Temperatur, wird der Output zufälliger.