Smart Content Report #3

ChatGPT, aber privat, kostenlos und individuell angepasst?

ChatGPT kann faszinierend und hilfreich sein. Ein erhebliches Problem ist allerdings der Datenschutz. Das gilt vor allem für den Einsatz in Unternehmen. Bei intensiver Nutzung können ebenso die Kosten relevant werden. Und je stärker die KI-Tools zum Einsatz kommen, desto eher wünscht man sich einen Helfer, der auf die eigenen Aufgaben spezialisiert ist und das interne Fachwissen einer Organisation nutzt.

Eine Option dafür sind Open-Source-Projekte, die sich lokal installieren und nutzen lassen. Einige davon wie das aktuelle Beispiel Smaug-72B erzielen in Tests Ergebnisse auf dem Level kommerzieller Angebote wie OpenAIs GPT 3.5 oder Mistral Medium. 

Open Source bedeutet in diesem Fall, dass sich das Sprachmodell herunterladen und frei nutzen lässt. Wie immer solltest du die Lizenz genau ansehen, vor allem wenn es dir um den kommerziellen Einsatz geht.

Um es auf dem eigenen Rechner auszuprobieren, gibt es Applikationen wie LM Studio oder Jan, die versuchen, die Komplexität des Themas in eine nutzerfreundliche Oberfläche zu verpacken. Profis werden oftmals die Kommandozeile bevorzugen.

Auf der Website Hugging Face findet sich schließlich eine breite Auswahl an Modellen, die oftmals speziell für eine Aufgabe nachtrainiert wurden. Dieses Extra-Training wird als fine tuning bezeichnet – siehe dazu Smart Content Report #2.

Warum also überhaupt für ChatGPT zahlen? Ist es nicht viel sinnvoller, ein solches Werkzeug direkt auf dem eigenen Rechner zu betreiben?

An sich ja, allerdings mit Einschränkungen:

1. Die leistungsfähigsten Sprachmodelle benötigen sehr viel Arbeitsspeicher (RAM) und das auf der Grafikkarte. Das wird schnell teuer.

2. Performance: Je größer das Sprachmodell, desto langsamer kommen die Antworten. Wichtige Messwerte sind die Wartezeit bis zum Start der Antwort (time to first token) und die Geschwindigkeit in der die Antwort ausgegeben wird (token per second). Für Chatfunktionen kommen deshalb eher kleinere Modelle in Frage, die schneller reagieren, aber dafür in der Regel weniger leistungsfähig sind. Spielt die Antwortzeit keine große Rolle, da das Sprachmodell beispielsweise seine Aufgabe im Hintergrund erledigen kann, sieht die Beurteilung wieder anders aus.

3. Die nutzbare Kontextlänge eines lokalen Sprachmodells ist meist deutlich kleiner als bei kommerziellen Anbietern. Das meint: Wie viel Input kann die KI auf einmal überblicken? Wird der Inhalt des Chats zu lang, gehen Informationen verloren.

4. Viele Tests für Sprachmodelle (gern als Benchmarks bezeichnet) lassen sich manipulieren. Insofern solltest du Toplisten mit einer gesunden Portion Skepsis betrachten. Glaubwürdig ist vor allem die Chatbot-Arena, bei der jeweils zwei anonyme Sprachmodelle eine Antwort geben und die Nutzer bestimmen, welche ihnen besser gefällt. Letztlich helfen hier allerdings nur eigene Tests. Das geht etwa mit dem kostenlosen Hugging Chat.

Trotz dieser Einschränkungen ist es heute bereits möglich, innerhalb des Unternehmens KI-Helfer bereitzustellen, die keine Daten nach außen senden, auf ihre Aufgabenfeld spezialisiert sind und dabei interne Informationen nutzen. 

Das muss zudem nicht immer in Form eines Chatbots passieren. Denkbar ist es ebenfalls, dass die KI beispielsweise das CRM oder die Analytics-Plattform nach nützlichen Einblicken durchsucht. 

- Jan Tißler, UPLOAD Magazin

Aktuelle Meldungen

Hugging Chat Assistants

Mit den Hugging Chat Assistants gibt es nun eine kostenlose Alternative zu OpenAI's spezialisierten Chatbots („GPTs“). Ebenso wie die GPTs, finden sich die Assistants in einem Store. Vorteil gegenüber OpenAIs Angebot ist neben dem freien Zugang die Auswahl zwischen verschiedenen, quelloffenen Sprachmodellen. Allerdings stehen manche Funktionen der GPTs hier (noch?) nicht zur Verfügung. So können die Chat Assistants nicht das Web durchsuchen oder zusätzliches Wissen heranziehen (so genannte RAG-Funktion, siehe Smart Content Report #1).

Microsoft Copilot Updates

Microsoft hat umfangreiche Neuerungen für seinen KI-Assistenten Copilot vorgestellt. Dazu gehört ein überarbeitetes Design der Webseite mit mehr Bildern und Beispielen für die KI-generierten Inhalte. Ebenfalls neu ist die Integration von Microsofts Designer KI für die Erstellung und Bearbeitung von Bildern direkt in Copilot. So können Nutzer Bilder anpassen, Hintergründe unscharf stellen oder Pixel-Art-Effekte hinzufügen.

Technisch gibt es mit „Deucalion“ ein neues KI-Modell, das den „Balanced“-Modus von Copilot verbessern soll. Deucalion ist eine speziell von Microsoft optimierte Version von GPT-4 und soll schnellere und qualitativ bessere Antworten liefern. Details zu Deucalion sind noch spärlich, aber Tests zeigen bereits vielversprechende Übersetzungs- und Textgenerierungsfähigkeiten.

Apple MGIE

Apple gehört zu den unbekannten Größen im KI-Bereich. Denn einerseits ist es offensichtlich, dass das Unternehmen viel forscht und viel investiert. Andererseits arbeitet es lieber im Verborgenen und präsentiert seine gesammelten Ergebnisse in einer sorgfältig orchestrierten Show. Ein Gegenbeispiel ist MGIE, das Apple jetzt im Rahmen eines Forschungspapiers vorgestellt hat. Es ist verfügbar auf Hugging Face. Das Ziel: Bildbearbeitung per Sprachbefehl. Grundlegende Bildoptimierungen lassen sich hier ebenso vornehmen wie Änderungen im Detail.

Fundstück

Goody 2: Kein anderer Chatbot ist so verantwortungsbewusst wie dieser

Goody 2 macht sich gekonnt lustig über den Trend, dass vor allem kommerzielle Chatbots viele Fragen nicht beantworten, wenn sie als potenziell schädlich kategorisiert wurden. Goody 2 treibt das auf die Spitze und beantwortet keine einzige Frage. Selbst simple Dinge wie „Was ist 2+2?“ oder „Warum ist der Himmel blau?“ führen zu einer so detaillierten wie nutzlosen Nicht-Antwort.

Was bedeutet …

Parameter

Die Zahl der Parameter eines Large Language Models (LLMs) ist ein Anzeichen für seine potenzielle Leistungsfähigkeit. Das oben genannte Smaug-72B hat beispielsweise 72 Milliarden Parameter.

Was aber bedeutet diese Zahl? Dazu ist es als erstes wichtig zu verstehen, dass ein LLM anhand großer Textmengen trainiert wird. Das Ziel des Modells ist es letztlich, das nächste Wort in einem Satz vorherzusagen – man gibt ihm also einige Wörter vor und es versucht zu bestimmen, welches das nächste Wort sein sollte.

Um genaue Vorhersagen zu treffen, muss das Modell die Komplexität der menschlichen Sprache möglichst detailliert erfassen. An dieser Stelle kommen die Parameter ins Spiel: Jeder Parameter ist vergleichbar mit einem Regler, der während des Trainingsprozesses angepasst wird.

Je mehr Parameter, desto mehr Möglichkeiten hat das Modell, die Nuancen der Sprache zu erfassen. Es kann komplexere Muster und Nuancen lernen.

Mehr Parameter führen deshalb in der Regel zu genaueren Vorhersagen, erfordern aber zugleich deutlich mehr Daten und Rechenleistung, um das Modell zu trainieren und zu nutzen. 

Zugleich ist dies kein absoluter Wert. Ein Modell mit mehr Parametern gibt nicht automatisch und in jedem Fall bessere Antworten als eines mit weniger Parametern.

Wir über uns

Gefällt dir dieser Newsletter? Dann empfiehl ihn doch weiter! Verweise dazu am besten auf https://upload-magazin.de/smart-content-report/

Wir haben zwei weitere Newsletter, die für dich relevant sind:

Das Content-Briefing liefert dir immer im Wechsel mit dem Smart Content Report einen praktischen Tipp für deine Content-Arbeit sowie Lesetipps andernorts. Ansehen …

Mit dem Update am Montag wiederum erfährst du einmal pro Woche, welche neuen Inhalte und Angebote du beim UPLOAD Magazin findest. Ansehen …