Model-Spielwiese in AI Toolkit

Die Spielwiese von AI Toolkit bietet eine interaktive Umgebung zum Experimentieren mit generativen KI-Modellen. Sie können verschiedene Eingabeaufforderungen testen, Modellparameter anpassen, Antworten verschiedener Modelle vergleichen und multimodale Fähigkeiten erkunden, indem Sie verschiedene Arten von Eingabedateien anhängen.

Ein Modell in der Spielwiese testen

Zugriff auf die Spielwiese

• Wählen Sie in der AI Toolkit-Ansicht Tools > Playground
• Wählen Sie auf einer Modellkarte im Modellkatalog In Playground testen
• Doppelklicken Sie auf ein Modell unter Meine Modelle, um es in der Spielwiese zu öffnen

Um ein Modell in der Spielwiese zu testen, gehen Sie wie folgt vor

1. Wählen Sie unter Modellpräferenzen ein Modell aus der Dropdown-Liste aus.
2. Fügen Sie optional eine System-Eingabeaufforderung hinzu, um die Modellantwort zu steuern.
3. Konfigurieren Sie optional die für das ausgewählte Modell verfügbaren Modellparameter.
4. Geben Sie eine Chat-Eingabeaufforderung in das Chat-Eingabefeld ein

Lokale Modellausführung in der Spielwiese

AI Toolkit unterstützt die Ausführung lokaler Modelle in der Spielwiese. Sie können ein lokales Modell aus der Modell-Dropdown-Liste im Bereich Modellpräferenzen auswählen.

GitHub Pay-as-you-go Model-Unterstützung

AI Toolkit unterstützt jetzt GitHub Pay-as-you-go-Modelle, sodass Sie nach Überschreitung der kostenlosen Kontingentgrenzen weiterarbeiten können.

• Wenn Sie das Nutzungslimit für Modelle von GitHub erreichen, zeigt AI Toolkit eine Warnung mit einem Link zur Dokumentation für bezahlte Nutzung von GitHub an.

  

• Aktivieren Sie die Abrechnung für Modelle in Ihren GitHub-Einstellungen (erfordert die Anmeldung bei Ihrem GitHub-Konto).

• Nach der Aktivierung der Abrechnung können Sie das Modell weiterhin in Playground oder Agent Builder verwenden, ohne Ihren Workflow zu ändern.

Modellpräferenzen

Der Bereich Modellpräferenzen ermöglicht es Ihnen, ein Modell für die Interaktion in der Spielwiese auszuwählen, System-Eingabeaufforderungen festzulegen, um das Verhalten des Modells zu steuern, und die Modellparameter für das ausgewählte Modell zu konfigurieren.

Ein Modell auswählen

Die Dropdown-Liste im Bereich Modellpräferenzen zeigt die Modelle an, die Sie zu AI Toolkit hinzugefügt haben. Sie können auf Modelle durchsuchen klicken, um den Modellkatalog zu öffnen und weitere Modelle hinzuzufügen.

System-Eingabeaufforderung

Eine System-Eingabeaufforderung ist eine vordefinierte Anweisung, die das Verhalten und den Antwortstil des Modells steuert. Sie können die System-Eingabeaufforderung im Texteingabebereich hinzufügen, bearbeiten oder löschen, um zu beeinflussen, wie das Modell Antworten generiert.

Inferenzparameter konfigurieren

Die verfügbaren Parameter hängen vom Modelltyp und Publisher ab. Häufige Parameter sind:

• Temperatur: Steuert die Zufälligkeit der Modell-Ausgabe. Niedrigere Werte machen die Ausgabe deterministischer. Höhere Werte führen zu mehr Variabilität.
• Top P: Steuert die Vielfalt der Ausgabe, indem die kumulative Wahrscheinlichkeit der ausgewählten Token begrenzt wird. Ein niedrigerer Wert führt zu fokussierteren Antworten. Ein höherer Wert ermöglicht vielfältigere Ausgaben.
• Maximale Antwortlänge (Token): Legt die maximale Anzahl von Token in der Modellantwort fest. Dies begrenzt die Länge des generierten Textes.
• Häufigkeitsstrafe: Reduziert die Wahrscheinlichkeit, dass das Modell dieselben Token in der Antwort wiederholt. Höhere Werte entmutigen Wiederholungen.
• Präsenzstrafe: Ermutigt das Modell, neue Themen oder Konzepte in die Antwort einzubringen. Höhere Werte fördern die Vielfalt im generierten Text.

Chat-Eingabeaufforderung

Die Chat-Eingabeaufforderung ist der Eingabetext, den Sie dem Modell zur Verfügung stellen. Sie können eine Frage, eine Aussage oder jeden beliebigen Text eingeben, auf den das Modell reagieren soll. Das Modell generiert eine Antwort basierend auf der bereitgestellten Eingabeaufforderung und den konfigurierten System-Eingabeaufforderungen und Parametern.

Verfügbare Funktionen im Chat-Eingabefeld

• Senden: Übermittelt die Chat-Eingabeaufforderung zur Verarbeitung an das Modell.
• Löschen: Löscht das Chat-Eingabefeld.
• Datei-Anhang: Hängt Dateien an die Chat-Eingabeaufforderung für multimodale Modelle an.
• Bild-Anhang: Hängt Bilder an die Chat-Eingabeaufforderung für multimodale Modelle an.
• Websuche: Führt eine Websuche durch, um Informationen im Zusammenhang mit der Chat-Eingabeaufforderung zu finden.
• Moduswechsel: Wechselt zwischen verschiedenen Modi zur Nutzung von KI-Funktionen.

Zwischen Modi wechseln

Sie können im Chat-Eingabefeld zwischen verschiedenen Modi wechseln

• Native unterstützte KI-Funktionen eines Modells verwenden: Dieser Modus ermöglicht es Ihnen, die nativen Fähigkeiten des ausgewählten Modells zu nutzen, z. B. Websuche oder Dateianhang.
• Alle KI-Funktionen verwenden: Dieser Modus ermöglicht es Ihnen, von AI Toolkit implementierte KI-Funktionen zu nutzen, z. B. Dateianhang unabhängig von den nativen Fähigkeiten des Modells.

Wenn eine Funktion vom ausgewählten Modell oder von AI Toolkit nicht unterstützt wird, erscheint eine Warnung oberhalb des Chat-Eingabefeldes. Die Warnung empfiehlt, zu einem anderen Modell zu wechseln, das die Funktion unterstützt.

Modellantworten

Modellantworten werden oberhalb des Chat-Eingabefeldes angezeigt. Bevor Sie eine Chat-Eingabeaufforderung eingeben, zeigt die Spielwiese einen Begrüßungsbildschirm mit drei Start-Eingabeaufforderungen an, damit Sie mit der Spielwiese beginnen können.

Verfügbare Funktionen im Antwortbereich des Modells

• Antwort kopieren: Kopiert den Antworttext des Modells in die Zwischenablage.
• Antwort erneut generieren: Generiert die Antwort des Modells basierend auf derselben Eingabeaufforderung neu oder generiert die Antwort mit einem anderen Modell neu.
• Code kopieren: Kopiert den im Antwort generierten Code in die Zwischenablage oder fügt ihn in eine neue Datei ein.
• Rendering: Die Spielwiese unterstützt das Rendern von Code-Snippets, Bildern, Markdown, LaTex und anderen Inhalten in der Modellantwort.
• Token-Zählung: Zeigt die Anzahl der in der Modellantwort verwendeten Token an. Dies hilft Ihnen, die Kosten und die Leistung des Modells zu verstehen.

Werkzeugleiste

Die Werkzeugleiste in der Spielwiese bietet schnellen Zugriff auf verschiedene Aktionen und Funktionen:

• Neue Spielwiese: Erstellt eine neue Spielwiesen-Sitzung.
• Verlauf: Zeigt einen Chat-Verlauf an, benennt ihn um, löscht ihn und wechselt zu ihm.
• Automatische Benennung: Namen von Chat-Sitzungen werden automatisch basierend auf der Benutzer-Eingabeaufforderung generiert.
• Vergleichen: Vergleicht Antworten von verschiedenen Modellen nebeneinander.
• Code anzeigen: Zeigt den generierten Code für die Chat-Eingabeaufforderung aus der LLM-Integration an.

Modellantworten vergleichen

Die Funktion Vergleichen ermöglicht es Ihnen, Antworten von verschiedenen Modellen nebeneinander zu vergleichen. Dies ist nützlich, um die Leistung verschiedener Modelle bei derselben Eingabeaufforderung zu bewerten.

Modellantworten vergleichen

1. Wählen Sie die Schaltfläche Vergleichen in der Werkzeugleiste aus.
2. Wählen Sie die Modelle aus, die Sie vergleichen möchten, aus der Dropdown-Liste aus.
3. Geben Sie dieselbe Chat-Eingabeaufforderung in eines der Eingabefelder ein. Ihre Eingabeaufforderung wird in die anderen Eingabefelder kopiert.
4. Wählen Sie Senden, um die Eingabeaufforderung an alle ausgewählten Modelle zu übermitteln.
5. Die Antworten jedes Modells werden nebeneinander angezeigt, um den Vergleich zu erleichtern.

Für jedes verglichene Modell können Sie:

• Den Antworttext in die Zwischenablage kopieren.
• Die Modellparameter für das ausgewählte Modell konfigurieren.
• Den Chat mit dem ausgewählten Modell fortsetzen.

Was Sie gelernt haben

In diesem Artikel haben Sie gelernt, wie Sie

• Nutzen Sie die AI Toolkit-Spielwiese, um mit generativen KI-Modellen zu interagieren.
• Testen Sie Modelle in der Spielwiese, konfigurieren Sie System-Eingabeaufforderungen und Parameter und erkunden Sie multimodale Fähigkeiten durch Anhängen von Dateien.
• Nutzen Sie die Vergleichsfunktion, um die Leistung verschiedener Modelle bei derselben Eingabeaufforderung zu bewerten und Antworten nebeneinander anzuzeigen.
• Verwenden Sie das Chat-Eingabefeld, um Eingabeaufforderungen zu senden, Dateien oder Bilder anzuhängen, Websuchen durchzuführen und zwischen Modi für KI-Funktionen zu wechseln.
• Zeigen Sie Modellantworten an, kopieren oder generieren Sie Antworten neu und rendern Sie Code-Snippets, Bilder, Markdown und LaTeX.
• Verfolgen Sie die Token-Anzahl in Modellantworten, um Kosten und Leistung zu verstehen.
• Verwenden Sie den Bereich Modellpräferenzen, um Modelle auszuwählen, System-Eingabeaufforderungen festzulegen und Inferenzparameter anzupassen.
• Verwenden Sie die Werkzeugleiste, um neue Spielwiesen-Sitzungen zu erstellen, den Chat-Verlauf anzuzeigen und zu verwalten, Sitzungen automatisch zu benennen, Modelle zu vergleichen und generierten Code anzuzeigen.
• Verwalten Sie den Chat-Verlauf, einschließlich Anzeige, Umbenennung, Löschung und Wechsel zwischen Sitzungen.