AI Toolkit für Visual Studio Code

Das AI Toolkit für Visual Studio Code ist eine umfassende Erweiterung, die Entwicklern und KI-Ingenieuren ermöglicht, intelligente Anwendungen mithilfe generativer KI-Modelle zu erstellen, zu testen und bereitzustellen. Egal, ob Sie lokal oder in der Cloud arbeiten, das AI Toolkit bietet eine integrierte Entwicklungsumgebung für den vollständigen Lebenszyklus von KI-Anwendungen.

Das AI Toolkit bietet eine nahtlose Integration mit beliebten KI-Modellen von Anbietern wie OpenAI, Anthropic, Google und GitHub und unterstützt gleichzeitig lokale Modelle über ONNX und Ollama. Von der Modellentdeckung und -experimentierung bis hin zu Prompt Engineering und Bereitstellung strafft das AI Toolkit Ihren KI-Entwicklungsworkflow innerhalb von VS Code.

Hauptfunktionen

Feature	Beschreibung	Screenshot
Modellkatalog	Entdecken und greifen Sie auf KI-Modelle aus mehreren Quellen zu, darunter GitHub, ONNX, Ollama, OpenAI, Anthropic und Google. Vergleichen Sie Modelle nebeneinander und finden Sie die perfekte Lösung für Ihren Anwendungsfall.
Spielwiese	Interaktive Chat-Umgebung für Echtzeit-Modelltests. Experimentieren Sie mit verschiedenen Prompts, Parametern und multimodalen Eingaben, einschließlich Bildern und Anhängen.
Agent Builder	Optimierter Workflow für Prompt Engineering und Agentenentwicklung. Erstellen Sie anspruchsvolle Prompts, integrieren Sie MCP-Tools und generieren Sie produktionsreife Code mit strukturierten Ausgaben.
Massenlauf	Führen Sie Batch-Prompt-Tests über mehrere Modelle gleichzeitig durch. Ideal für den Vergleich der Modellleistung und für Tests im großen Maßstab mit verschiedenen Eingabeszenarien.
Modellevaluierung	Umfassende Modellbewertung mithilfe von Datensätzen und Standardmetriken. Messen Sie die Leistung mit integrierten Evaluatoren (F1-Score, Relevanz, Ähnlichkeit, Kohärenz) oder erstellen Sie benutzerdefinierte Bewertungskriterien.
Feinabstimmung	Passen Sie Modelle für spezifische Domänen und Anforderungen an. Trainieren Sie Modelle lokal mit GPU-Unterstützung oder nutzen Sie Azure Container Apps für Cloud-basierte Feinabstimmung.
Modellkonvertierung	Konvertieren, quantisieren und optimieren Sie Machine-Learning-Modelle für die lokale Bereitstellung. Konvertieren Sie Modelle von Hugging Face und anderen Quellen, um sie effizient unter Windows mit CPU-, GPU- oder NPU-Beschleunigung auszuführen.
Tracing	Überwachen und analysieren Sie die Leistung Ihrer KI-Anwendungen. Sammeln und visualisieren Sie Tracedaten, um Einblicke in das Modellverhalten und die Leistung zu erhalten.

Für wen ist das AI Toolkit?

Das AI Toolkit ist für jeden gedacht, der mit generativer KI arbeitet, vom Anfänger bis zum Experten

Entwickler

• App-Entwickler, die KI-gestützte Anwendungen erstellen und Sprachmodelle integrieren müssen
• Full-Stack-Entwickler, die intelligente Funktionen zu Web- und Desktop-Anwendungen hinzufügen möchten
• Mobile Entwickler, die KI-Funktionalität vor der Produktionseinführung prototypisieren

KI-Ingenieure & Datenwissenschaftler

• KI-Ingenieure, die Modelle für spezifische Domänen feinabstimmen und in die Produktion überführen
• Datenwissenschaftler, die die Modellleistung bewerten und verschiedene Ansätze vergleichen
• ML-Ingenieure, die Modelle für eine effiziente lokale Bereitstellung konvertieren und optimieren

Forscher und Pädagogen

• KI-Forscher, die mit verschiedenen Modellen und Prompt-Engineering-Techniken experimentieren
• Pädagogen, die KI-Konzepte lehren und Modellfähigkeiten demonstrieren
• Studenten, die mehr über generative KI und praktische Modellinteraktion lernen

Wichtige Anwendungsfälle

• Modelle von Anbietern wie Anthropic, OpenAI und GitHub erkunden und bewerten
• Modelle lokal mit ONNX und Ollama für Datenschutz und Kostenkontrolle ausführen
• Agenten mit Prompt-Generierung und MCP-Tool-Integrationen erstellen und testen
• Modelle für die Bereitstellung auf verschiedenen Hardwarekonfigurationen konvertieren und optimieren

Installation und Einrichtung

Schnelle Installation

Der schnellste Weg, um loszulegen, ist die Installation der Erweiterung über den Visual Studio Marketplace

Installieren Sie das AI Toolkit für VS Code

Nach erfolgreicher Installation erscheint das Symbol für das AI Toolkit in der Aktivitätsleiste.

Manuelle Installation

Sie können die AI Toolkit-Erweiterung auch manuell aus dem Visual Studio Code Marketplace installieren. Befolgen Sie die Anweisungen unter Erweiterung installieren.

• Suchen Sie nach AI Toolkit für Visual Studio Code und wählen Sie Installieren aus den Suchergebnissen.

  

• Nach erfolgreicher Installation erscheint das Symbol für das AI Toolkit in der Aktivitätsleiste.

Erkunden Sie das AI Toolkit

Das AI Toolkit wird in einer eigenen Ansicht geöffnet, wobei das Symbol für das AI Toolkit nun in der Aktivitätsleiste von VS Code angezeigt wird. Die Erweiterung hat mehrere Hauptbereiche: Meine Ressourcen, Modellwerkzeuge, Agenten- und Workflow-Werkzeuge, MCP-Workflow sowie Hilfe und Feedback.

• Meine Ressourcen: Dieser Bereich enthält die Ressourcen, auf die Sie im AI Toolkit zugreifen können. Der Bereich Meine Ressourcen ist die Hauptansicht für die Interaktion mit Ihren Azure KI-Ressourcen. Er enthält die folgenden Unterbereiche

  • Modelle: Dieser Bereich enthält die Modelle, die Sie für die Erstellung und Bereitstellung Ihrer KI-Anwendungen verwenden können. In der Ansicht Modelle finden Sie Ihre bereitgestellten Modelle im AI Toolkit.
  • Agenten: Dieser Bereich enthält Ihre im AI Toolkit bereitgestellten Agenten.
  • MCP-Server: Dieser Bereich enthält die MCP-Server, mit denen Sie im AI Toolkit arbeiten.

• Modellwerkzeuge: Dieser Bereich enthält die Modellwerkzeuge, die Sie für die Erstellung und Bereitstellung Ihrer KI-Anwendungen verwenden können. In der Ansicht Modellwerkzeuge finden Sie die Tools, die für die Bereitstellung und anschließende Arbeit mit Ihren bereitgestellten Modellen verfügbar sind. Sie enthält die folgenden Unterbereiche

  • Modellkatalog: Der Modellkatalog ermöglicht es Ihnen, KI-Modelle aus mehreren Quellen zu entdecken und darauf zuzugreifen, darunter GitHub, ONNX, Ollama, OpenAI, Anthropic und Google. Vergleichen Sie Modelle nebeneinander und finden Sie das richtige Modell für Ihren Anwendungsfall.
  • Modell-Spielwiese: Die Modell-Spielwiese bietet eine interaktive Umgebung zum Experimentieren mit generativen KI-Modellen. Testen Sie verschiedene Prompts, passen Sie Modellparameter an, vergleichen Sie Antworten von verschiedenen Modellen und erkunden Sie multimodale Fähigkeiten durch Anhängen verschiedener Dateitypen.
  • Konvertierung: Das Modellkonvertierungstool hilft Ihnen, vorgefertigte Machine-Learning-Modelle auf Ihrer lokalen Windows-Plattform zu konvertieren, zu quantisieren, zu optimieren und zu bewerten.
  • Feinabstimmung: Mit diesem Tool können Sie Ihren benutzerdefinierten Datensatz verwenden, um Feinabstimmungsjobs auf einem vortrainierten Modell in einer lokalen Computerumgebung mit GPU oder in der Cloud (Azure Container Apps) mit GPU auszuführen.

• Agenten- und Workflow-Werkzeuge: In diesem Bereich finden Sie die Werkzeuge, die für die Bereitstellung und anschließende Arbeit mit Ihren bereitgestellten Agenten im AI Toolkit verfügbar sind. Er enthält die folgenden Unterbereiche

  • Agenten-Builder: Erstellen und stellen Sie Agenten einfach bereit.
  • Massenlauf: Testen Sie Agenten und Prompts im Stapelmodus gegen mehrere Testfälle.
  • Bewertung: Bewerten Sie Modelle, Prompts und Agenten, indem Sie ihre Ausgaben mit Ground-Truth-Daten vergleichen und Bewertungsmetriken berechnen.
  • Tracing: Tracing-Funktionen, die Ihnen helfen, die Leistung Ihrer KI-Anwendungen zu überwachen und zu analysieren.

• MCP-Workflow: Dieser Bereich enthält Werkzeuge, mit denen Sie einen vorhandenen MCP-Server hinzufügen oder einen neuen erstellen können. Er enthält die folgenden Unterbereiche

  • MCP-Server hinzufügen: Der Link zum Hinzufügen und Arbeiten mit einem vorhandenen MCP-Server.
  • Neuen MCP-Server erstellen: Der Link zum Erstellen und Bereitstellen neuer MCP-Server im AI Toolkit.

• Hilfe und Feedback: Dieser Bereich enthält Links zur Microsoft Foundry-Dokumentation, Feedback, Support und zur Microsoft-Datenschutzerklärung. Er enthält die folgenden Unterbereiche

  • Dokumentation: Der Link zur Dokumentation der Microsoft Foundry-Erweiterung.
  • Ressourcen: Der Link zur AI Toolkit Tutorials Gallery, einer Sammlung von Tutorials, die Ihnen beim Einstieg in das AI Toolkit helfen.
  • Erste Schritte: Der Link zur geführten Tour "Erste Schritte", die Ihnen hilft, die Grundlagen des AI Toolkits zu erlernen.
  • Neuigkeiten: Der Link zu den Versionshinweisen des AI Toolkit.
  • Probleme auf GitHub melden: Der Link zur Issues-Seite des GitHub-Repositorys der Microsoft Foundry-Erweiterung.

Erste Schritte mit dem AI Toolkit

Das AI Toolkit verfügt über eine geführte Tour "Erste Schritte", mit der Sie die Grundlagen des AI Toolkits erlernen können. Die Tour führt Sie durch die Spielwiese, wo Sie per Chat mit KI-Modellen interagieren können.

1. Wählen Sie die AI Toolkit-Ansicht in der Aktivitätsleiste aus

2. Wählen Sie im Bereich Hilfe und Feedback Erste Schritte, um die geführte Tour zu öffnen

   

Nächste Schritte

• Erhalten Sie weitere Informationen über das Hinzufügen generativer KI-Modelle im AI Toolkit
• Verwenden Sie die Modell-Spielwiese, um mit Modellen zu interagieren