SkillSpector: NVIDIAs Sicherheitsscanner für KI-Agenten-Skills im Test
SkillSpector von NVIDIA scannt KI-Agenten-Skills auf Sicherheitslücken, Schadcode und Risiken. Der Open-Source-Scanner erkennt 64 Schwachstellenmuster in 16 Kategorien – von Prompt Injection bis Supply-Chain-Angriffen. Ein Überblick über Funktionsweise, Nutzen und Einsatzbereiche.
Was kann SkillSpector?
SkillSpector ist ein spezialisierter Sicherheitsscanner für KI-Agenten-Skills. Entwickelt von NVIDIA und als Open-Source-Tool auf GitHub verfügbar, analysiert er Skill-Pakete auf Schwachstellen, bösartige Muster und Sicherheitsrisiken – noch bevor ein Skill installiert oder ausgeführt wird.
Das Tool unterstützt zahlreiche Eingabeformate: Git-Repositories, URLs, Zip-Archive, Verzeichnisse und Einzeldateien. Damit lässt sich jeder Skill-Pfad scannen, egal ob aus dem Claude Code, Codex CLI, Gemini CLI oder einer anderen Agenten-Plattform. Der Scanner erkennt 64 Schwachstellenmuster in 16 Kategorien und berechnet einen Risikoscore von 0 bis 100.
Die Ergebnisse gibt es in vier Formaten: als übersichtliches Terminal-Output, als maschinenlesbares JSON, als Markdown-Report für die Dokumentation oder als SARIF-Report für CI/CD-Integration.
Warum braucht es einen Skill-Scanner?
KI-Agenten-Skills arbeiten mit implizitem Vertrauen: Einmal geladen, erhalten sie Zugriff auf Werkzeuge, Dateisysteme und Umgebungsvariablen. Eine systematische Forschung von Liu et al. (2026) mit 42.447 Skills aus großen Marktplätzen zeigt alarmierende Zahlen:
- 26,1 % der Skills enthalten mindestens eine Sicherheitslücke
- 5,2 % der Skills zeigen eindeutig bösartige Absicht
- Skills mit ausführbaren Skripten sind 2,12-mal häufiger verwundbar
Das Problem: Aktuelle Agenten-Plattformen haben keine eingebaute Sicherheitsprüfung. Ein Skill mit exec()-Aufrufen oder Prompt Injection-Befehlen wird ohne Warnung geladen. Genau hier setzt SkillSpector an – als vorgeschaltete Sicherheitsbarriere, die automatisierte Prüfung in den Skill-Installationsworkflow integriert.
Die zwei Analyse-Stufen
SkillSpector arbeitet mit einem zweistufigen Analyse-Pipeline, die Geschwindigkeit und Tiefe kombiniert.
Stufe 1: Statische Analyse
Die erste Stufe scannt alle Dateien eines Skills mit elf verschiedenen statischen Analyseverfahren. Darunter:
- Regex-basierte Mustererkennung für Prompt Injection, Data Exfiltration und Privilege Escalation
- AST-Analyse (Abstract Syntax Tree) zur Erkennung gefährlicher Code-Aufrufe wie
exec(),eval(),subprocessoderos.system - Taint Tracking über fünf Stufen: Von externen Quellen über Variable-Mediated Flows bis zu Credential-Exfiltration-Ketten
- YARA-Signaturen zur Erkennung von Malware, Webshells, Cryptominern und Exploit-Code
- MCP Least Privilege-Analyse: Prüft, ob der deklarierte Berechtigungsumfang mit dem tatsächlichen Code übereinstimmt
- Live-Vulnerability-Checks über die OSV.dev-API: Abgleich aller Abhängigkeiten mit der Open Source Vulnerabilities-Datenbank
Diese Stufe ist schnell und erkennt die meisten Auffälligkeiten – mit einer hohen Trefferquote (Recall), aber moderater Präzision (mancher False Positive).
Stufe 2: LLM-gestützte semantische Analyse
Die optionale zweite Stufe setzt ein Large Language Model ein, um die Ergebnisse der statischen Analyse zu bewerten. Der Scanner unterstützt dabei mehrere Anbieter:
- OpenAI (Standard:
gpt-5.4) - Anthropic (Standard:
claude-opus-4-6) - NVIDIA build.nvidia.com (Standard:
deepseek-ai/deepseek-v4-flash) - Lokale OpenAI-kompatible Endpunkte wie Ollama, vLLM oder llama.cpp
Das LLM bewertet Kontext und Absicht eines Befundes, filtert False Positives heraus und liefert menschlich lesbare Erklärungen. Die Präzision steigt damit auf etwa 87 %. Wichtig: Der LLM-Prompt enthält Anti-Jailbreak-Schutzmechanismen, die verhindern, dass ein bösartiger Skill die Analyse manipuliert.
Die 64 Schwachstellenmuster im Detail
Die 16 Kategorien decken das gesamte Spektrum moderner Angriffe auf KI-Agenten ab:
| Kategorie | Muster | Beschreibung |
|---|---|---|
| Prompt Injection | 5 | Instruction Override, Hidden Instructions, Exfiltration Commands, Behavior Manipulation, Harmful Content |
| Data Exfiltration | 4 | External Transmission, Env Variable Harvesting, File System Enumeration, Context Leakage |
| Privilege Escalation | 3 | Excessive Permissions, Sudo/Root Execution, Credential Access |
| Supply Chain | 6 | Unpinned Dependencies, External Script Fetching, Obfuscated Code, CVE-Lookup, Abandoned Dependencies, Typosquatting |
| Excessive Agency | 4 | Unrestricted Tool Access, Autonomous Decision Making, Scope Creep, Unbounded Resource Access |
| Output Handling | 3 | Unvalidated Output Injection, Cross-Context Output, Unbounded Output |
| System Prompt Leakage | 3 | Direct Leakage, Indirect Extraction, Tool-Based Exfiltration |
| Memory Poisoning | 3 | Persistent Context Injection, Context Window Stuffing, Memory Manipulation |
| Tool Misuse | 3 | Tool Parameter Abuse, Chaining Abuse, Unsafe Defaults |
| Rogue Agent | 2 | Self-Modification, Session Persistence |
| Trigger Abuse | 3 | Overly Broad Trigger, Shadow Command Trigger, Keyword Baiting Trigger |
| Behavioral AST | 8 | exec(), eval(), Dynamic Import, subprocess, os.system, compile(), Dynamic getattr(), Dangerous Execution Chain |
| Taint Tracking | 5 | Direct Taint Flow, Variable-Mediated Flow, Credential Exfiltration, File Read to Network, External Input to Code Execution |
| YARA Signatures | 4 | Malware, Webshell, Cryptominer, Hack Tool |
| MCP Least Privilege | 4 | Underdeclared Capability, Wildcard Permission, Missing Declaration, Overdeclared Permission |
| MCP Tool Poisoning | 4 | Hidden Instructions, Unicode Deception, Parameter Description Injection, Description-Behavior Mismatch |
Risikoscore: Wann ist ein Skill unsicher?
SkillSpector berechnet einen gewichteten Risikoscore aus den gefundenen Schwachstellen: CRITICAL-Befunde zählen 50 Punkte, HIGH 25 Punkte, MEDIUM 10 Punkte und LOW 5 Punkte. Enthält der Skill ausführbare Skripte, wird eine zusätzliche 1,3x-Multiplikator angewendet. Die Bewertungsskala:
- 0-20 Punkte: SAFE – geringes Risiko
- 21-50 Punkte: CAUTION – Vorsicht geboten
- 51-80 Punkte: DO NOT INSTALL – hohes Risiko
- 81-100 Punkte: DO NOT INSTALL – kritisches Risiko
Diese Score-Berechnung macht Ergebnisse vergleichbar und gibt klare Handlungsempfehlungen. Ein Team kann so automatisiert entscheiden, ob ein Skill die Sicherheitsprüfung besteht oder ob ein manueller Review nötig ist.
Einsatzbereiche in der Praxis
SkillSpector lässt sich an mehreren Stellen im Entwicklungs- und Betriebsprozess einsetzen:
CI/CD-Pipeline: Integriert als SARIF-Report in GitHub Actions oder GitLab CI. Jeder Pull Request, der einen neuen Skill einführt, wird automatisch gescannt. Bei Risikoscore über 50 Punkten schlägt die Pipeline fehl.
Marktplatz-Betreiber: Plattformen wie AgentSkills oder interne Skill-Registries können SkillSpector als Gatekeeper einsetzen. Jeder neu eingereichte Skill durchläuft vor der Veröffentlichung den Scan.
Entwickler-Workflow: Vor dem ersten Einsatz eines Community-Skills scannen Entwickler das Paket lokal. Der Befehl skillspector scan ./my-skill/ reicht aus, um einen vollständigen Sicherheitsreport zu erhalten.
Docker-Integration: Für Umgebungen ohne Python-Installation gibt es ein vorgefertigtes Docker-Image. Der Scan läuft dann mit docker run --rm -v "$PWD:/scan" skillspector scan ./my-skill/ --no-llm.
Grenzen des Tools
SkillSpector hat auch Limitationen: Nicht-englische Inhalte werden möglicherweise unzureichend erkannt. Bildbasierte Angriffe (Text in Grafiken) bleiben unsichtbar, ebenso wie verschlüsselter oder kompilierter Code. Die Analyse ist rein statisch – dynamische Laufzeitanalyse findet nicht statt. Der OSV.dev-Live-Abgleich benötigt ausgehende HTTPS-Verbindungen; in Offline-Umgebungen greift eine kleine statische Fallback-Liste.
Für den praktischen Einsatz bedeutet das: SkillSpector ist eine exzellente erste Sicherheitsstufe, ersetzt aber keine manuelle Code-Review bei hochriskanten Skills. Wer LLM-gestützt analysiert, bekommt eine deutlich bessere Präzision – sollte aber bedenken, dass das analysierende LLM selbst Ziel von Jailbreak-Angriffen sein kann (auch wenn NVIDIA hier Anti-Jailbreak-Maßnahmen eingebaut hat).
Python-API für eigene Integrationen
Neben der CLI bietet SkillSpector eine Python-API auf Basis von LangGraph. Entwickler können den Scanner direkt in eigene Tools einbauen:
GLOSSARY_PROTECTED_16
Die API gibt strukturierte Ergebnisse zurück: Risikoscore, Schweregrad, Empfehlung und eine Liste aller gefilterten Befunde mit Dateipfad, Zeilennummer und Erklärung.
Fazit: Ein wichtiger Baustein für sichere KI-Agenten
Die Forschung zeigt klar: Der Markt für Agent Skills wächst rasant, und ein erheblicher Teil dieser Skills ist verwundbar oder bösartig. SkillSpector adressiert diese Bedrohung mit einem durchdachten, zweistufigen Analyseansatz. Die Kombination aus schneller statischer Analyse und optionaler LLM-gestützter Tiefenprüfung ist ein tragfähiges Modell, das sowohl Geschwindigkeit als auch Genauigkeit berücksichtigt.
NVIDIA hat das Tool unter der Apache 2.0-Lizenz veröffentlicht, was uneingeschränkte kommerzielle Nutzung und Integration erlaubt. Für Teams, die KI-Agenten in ihre Produktionsumgebung einbinden, ist SkillSpector ein empfehlenswertes Werkzeug – nicht als alleinige Lösung, aber als zentraler Bestandteil einer mehrschichtigen Sicherheitsstrategie.
Fachbegriffe in diesem Artikel
- Large Language Model
- Ein KI-Modell, das mit riesigen Textmengen trainiert wurde und natürliche Sprache verstehen, generieren und übersetzen kann. Beispiele: GPT-4, Claude, Gemini.
- Supply-Chain-Angriff
- Angriffspfad, bei dem ein Angreifer eine Abhängigkeit eines Softwareprojekts kompromittiert. In Agent Skills umfasst dies ungepinnte Paketversionen, Typosquatting und Skripte, die Remote-Code nachladen.
- Data Exfiltration
- Unautorisierte Übertragung von Daten aus einem System nach außen. In KI-Agenten-Kontext bezeichnet dies das Auslesen und Versenden von Umgebungsvariablen, Dateien oder Kontextinformationen an externe Server.
- Prompt Injection
- Eine Sicherheitslücke bei KI-Systemen, bei der ein Angreifer durch gezielte Eingabe die Verhaltensregeln des Modells überschreibt. In Agent Skills können versteckte Prompt-Injection-Befehle den Agenten zur Datenweitergabe oder schädlichen Aktionen bewegen.
- Taint Tracking
- Eine Analysetechnik, die den Datenfluss von unsicheren Quellen zu gefährlichen Senken verfolgt. Sicherheitsscanner erkennen damit, ob vertrauliche Daten wie API-Keys oder Dateiinhalte in Netzwerkaufrufen landen.
- Agent Skills
- Pakete aus Anweisungen, Skripten und Ressourcen im SKILL.md-Format. Sie geben KI-Agenten Fachwissen, neue Fähigkeiten oder wiederholbare Workflows. Agenten laden sie bei Bedarf, je nach Aufgabe.
- SkillSpector
- Open-Source-Sicherheitsscanner von NVIDIA, der KI-Agenten-Skills auf Schwachstellen und Schadcode prüft. Das Tool analysiert Skill-Pakete statisch und optional LLM-gestützt, bevor sie installiert werden.
- AgentSkills
- Eine Web-Plattform und Verzeichnis für Agent Skills im SKILL.md-Format. Die Plattform listet über 20.000 Skills, kategorisiert nach Anwendungsfällen, Anbietern und Community-Trends.
- Claude Code
- Ein Coding-Agent von Anthropic, der direkt im Terminal läuft. Bietet Funktionen wie Editieren, Bash-Zugriff und Sub-Agents. Nutzt ein ausführliches System-Prompt-Template mit über 10.000 Tokens.
- Anthropic
- Ein US-amerikanisches KI-Unternehmen, bekannt für die Entwicklung der Claude-Modelle. Anthropic hat das SKILL.md-Format als offenen Standard für Agent-Fähigkeiten veröffentlicht.
- LangGraph
- Ein von LangChain entwickeltes Framework zur Erstellung von KI-Agenten-Workflows als zustandsbehaftete Graphen. Es ermöglicht die Definition von Knoten und Kanten für mehrzügige LLM-Interaktionen.
- Parameter
- Ein Parameter ist ein numerischer Wert, den ein KI-Modell während des Trainings lernt. Je mehr Parameter ein Modell hat, desto mehr Zusammenhänge kann es erkennen. Allerdings braucht es auch mehr Rechenleistung.
- OSV.dev
- Eine von Google betriebene, offene Datenbank für bekannte Sicherheitslücken (CVEs) in Open-Source-Paketen. Die API erlaubt Live-Abfragen ohne Authentifizierung und wird von Sicherheitsschern wie SkillSpector genutzt.
- SARIF
- Static Analysis Results Interchange Format – ein standardisiertes JSON-Format für Ergebnisse von statischen Code-Analyse-Werkzeugen. Ermöglicht die Integration von Sicherheitsscannern in CI/CD-Pipelines und IDEs.
- Scala
- Eine Programmiersprache, die funktionale und objektorientierte Programmierung vereint und auf der Java Virtual Machine (JVM) läuft. Scala wird unter anderem von The Guardian für sein hochskalierbares Frontend eingesetzt.
- YARA
- Ein Open-Source-Werkzeug zur Mustererkennung in Dateien, das ursprünglich für Malware-Analyse entwickelt wurde. Es erlaubt die Definition von Regeln, um Schadcode, Exploits oder verdächtige Muster zu identifizieren.
- AST
- Abstract Syntax Tree – eine Baumstruktur, die den syntaktischen Aufbau von Quellcode repräsentiert. Sicherheitswerkzeuge nutzen AST-Analyse, um gefährliche Code-Aufrufe wie exec(), eval() oder subprocess zu erkennen.
- CVE
- Common Vulnerabilities and Exposures – ein standardisiertes System zur Identifikation und Katalogisierung bekannter Sicherheitslücken. Jede Schwachstelle erhält eine eindeutige CVE-ID und wird in öffentlichen Datenbanken geführt.
- MCP
- Model Context Protocol – Ein Protokoll zur Anbindung externer Werkzeuge und Dienste an LLM-Agenten. MCP-Server stellen APIs als Tool-Beschreibungen bereit, die der Agent dynamisch nutzen kann. In der Praxis oft überdimensioniert für einfache Anwendungsfälle.
- RAG
- Retrieval-Augmented Generation – Ein Verfahren, bei dem ein LLM vor der Antwortrelevante Informationen aus einer externen Wissensdatenbank abruft, um seine Antworten zu verbessern.
- TPU
- Die Tensor Processing Unit ist ein von Google entwickelter Spezialchip für maschinelles Lernen. Er wurde ursprünglich für das Training und die Inferenz von neuronalen Netzen entworfen und war Vorläufer der LPU-Architektur von Groq.
Häufige Fragen
Was ist SkillSpector?
SkillSpector ist ein Open-Source-Sicherheitsscanner von NVIDIA, der KI-Agenten-Skills auf Schwachstellen, Schadcode und Sicherheitsrisiken prüft. Er erkennt 64 Muster in 16 Kategorien und berechnet einen Risikoscore von 0 bis 100.
Wie funktioniert SkillSpector?
SkillSpector arbeitet in zwei Stufen: einer schnellen statischen Analyse mit Regex, AST und YARA-Signaturen, gefolgt von einer optionalen LLM-gestützten semantischen Analyse für höhere Präzision. Der Live-Abgleich mit der OSV.dev-Datenbank prüft Abhängigkeiten auf bekannte CVEs.
Wann sollte ich SkillSpector einsetzen?
Immer bevor Sie einen Agent-Skill aus einer unbekannten Quelle installieren. Besonders nützlich ist der Scanner in CI/CD-Pipelines, bei Marktplatz-Betreibern und im Entwickler-Workflow vor dem ersten Einsatz eines Community-Skills.
Welche Arten von Schwachstellen erkennt SkillSpector?
Prompt Injection, Data Exfiltration, Privilege Escalation, Supply-Chain-Angriffe, Tool Misuse, Memory Poisoning, System Prompt Leakage, Rogue Agent-Verhalten, Trigger Abuse und MCP-spezifische Risiken wie Least-Privilege-Verstöße und Tool Poisoning.
Welche Limitationen hat SkillSpector?
Das Tool erkennt keine bildbasierten Angriffe, verschlüsselten oder kompilierten Code. Die Analyse ist rein statisch ohne Laufzeitprüfung. Nicht-englische Inhalte werden möglicherweise unzureichend erkannt.