"Is Grep All You Need?" – Wenn lexikalische Suche Vektordatenbanken schlägt
Eine PwC-Studie vergleicht Grep mit Vector Search in KI-Agenten und kommt zu einem überraschenden Ergebnis: In vielen Szenarien ist die alte Schule der lexikalischen Suche der semantischen Vektorsuche überlegen. Entscheidend ist jedoch nicht nur der Retriever, sondern das Zusammenspiel mit dem Agent-Framework.
Grep vs. Vector Search im Agent-Kontext
Die Frage klingt fast schon provokativ: "Is Grep All You Need?" – reicht die gute alte Textsuche nach Regex-Mustern wirklich aus, um KI-Agenten mit den richtigen Informationen zu versorgen? Eine Forschungsgruppe von PricewaterhouseCoopers (PwC) hat genau das unter die Lupe genommen. Die Autoren Sahil Sen, Akhil Kasturi, Elias Lumer, Anmol Gulati und Vamse Kumar Subbiah vergleichen in ihrem Paper systematisch lexikalische Suche (Grep) mit semantischer Vektorsuche (Vector Search) in agentischen RAG-Systemen. Und das Ergebnis ist differenzierter, als die meisten erwarten würden.
Während Vektorsuche in den letzten Jahren zum De-facto-Standard für Retrieval-Augmented Generation (RAG) geworden ist, zeigt die Studie: Unter realen Agent-Bedingungen schneidet Grep in den meisten Fällen besser ab. Und noch wichtiger: Die Wahl des Agent-Frameworks – des sogenannten Agent Harness – beeinflusst die Resultate mindestens genauso stark wie die Wahl des Retrieval-Verfahrens.
Zwei Experimente, drei Dimensionen, klare Ergebnisse
Die Studie basiert auf 116 Fragen aus dem LongMemEval-Benchmark, einem Test für Langzeitgedächtnis von KI-Assistenten. Die Fragen decken sechs Kategorien ab: Wissensaktualisierungen, sessionsübergreifende Fakten, Nutzerpräferenzen und Zeitabfragen. Die Forscher führten zwei Experimente durch:
Experiment 1 verglich drei Dimensionen gleichzeitig:
- Retrieval-Modus: Grep-only vs. Vector-only
- Agent Harness: Eigenentwicklung Chronos vs. kommerzielle CLI-Agenten (Claude Code, Codex CLI, Gemini CLI)
- Tool-Calling-Architektur: Inline (Ergebnisse direkt im Kontext) vs. Programmatic (Ergebnisse in Dateien, die der Agent selbst lesen muss)
Die Ergebnisse sind eindeutig: Im Inline-Modus schlägt Grep die Vektorsuche auf jedem Harness-Modell-Paar. Der größte Abstand zeigt sich bei Chronos mit Gemini 3.1 Flash-Lite (86,2 % Grep vs. 62,9 % Vector), der geringste bei Claude Code mit Claude Opus 4.6 (76,7 % vs. 75,0 %). Die Spitzenwerte erreicht Grep mit 93,1 % – sowohl mit Chronos/Claude Opus 4.6 als auch mit Codex/GPT-5.4.
Doch der Programmatic-Modus (dateibasierte Zustellung) dreht den Spieß um: Unter diesen Bedingungen liegt die Vektorsuche auf fünf von zehn Konfigurationen vorn. Besonders extrem ist der Einbruch bei Codex/GPT-5.4, das von 93,1 % (Inline/Grep) auf 55,2 % (Programmatic/Grep) fällt – während die Vektorsuche mit 67,2 % besser abschneidet.
Der Noise-Test: Wer hält Stand?
Experiment 2 untersuchte die Robustheit gegen Rauschen: Je mehr irrelevante Session-Daten in den Kontext gemischt wurden (5, 10, 20, 30 Sessions bis zum kompletten Haystack mit 39–66 Sessions pro Frage), desto mehr mussten beide Verfahren Federn lassen. Überraschenderweise fiel der Abfall jedoch gering aus – und Grep behauptete durchgängig seinen Vorsprung.
Dieser Befund widerspricht der Annahme, dass Vektorsuche in großen, verrauschten Korpora automatisch überlegen sei. Die Autoren erklären das mit der Natur der LongMemEval-Fragen: Sie verlangen oft nach exakten Fakten, Daten und Präferenzen, die per Musterabgleich präzise gefunden werden können. Die Präzision von Grep zahlt sich aus, sobald der Agent das richtige Suchmuster generiert.
Was das für die Praxis bedeutet
Die Studie fördert drei handfeste Erkenntnisse zutage:
Erstens: "Retrieval" ist nie nur Retrieval. Derselbe Claude Opus 4.6 erreicht unter Chronos 93,1 %, unter Claude Code dagegen nur 76,7 %. Der Harness prägt das System-Prompting, die Tool-Beschreibungen und die Iterationslogik – und damit die Qualität des gesamten Vorgangs. Chronos nutzt kategorienspezifisches Prompting, das die Suchstrategie je nach Fragetyp optimiert, während die CLI-Agenten auf herstellerspezifische, oft undurchsichtige Implementierungen angewiesen sind.
Zweitens: Schwächere Modelle profitieren mehr von Grep. Claude Haiku 4.5 liegt auf Claude Code mit Grep bei 55,2 %, mit Vector nur bei 44,0 %. Je geringer die Fähigkeit des Modells zur iterativen Query-Verfeinerung, desto wichtiger wird die direkte Mustererkennung durch lexikalische Suche.
Drittens: Die Zustellungsarchitektur ist kein nebensächliches Detail. File-basierte Ausgabe entlastet zwar den Kontext, verlangt dem Agenten aber zusätzliche Kompetenzen im Dateimanagement ab. Der extreme Absturz von Codex im programmatischen Grep-Modus (von 93,1 % auf 55,2 %) zeigt: Wenn die Tool-Integration brüchig wird, nutzt die beste Retrieval-Strategie nichts.
Braucht es wirklich immer eine Vektordatenbank?
Die provokative Titelfrage "Is Grep All You Need?" beantwortet die Studie mit einem klaren Jein. Nein, Grep allein ist nicht in allen Szenarien ausreichend – der programmatische Modus zeigt, dass Vektorsuche ihre Stärken ausspielen kann, wenn die Kontext-Architektur komplex wird. Aber ja: In vielen praktischen Agent-Konfigurationen, besonders bei Inline-Tool-Calling, ist Grep die effektivere und vor allem kostengünstigere Alternative. Der Verzicht auf Einbettungsmodelle und Vector-Index-Infrastruktur bedeutet geringere Latenz, geringere Kosten und weniger bewegliche Teile – bei oft höherer Genauigkeit.
Die eigentliche Botschaft des Papers ist jedoch eine andere: Die Forschung zu KI-Agenten sollte Retrieval nie isoliert betrachten. Agent Harness, Tool-Calling-Architektur und Retrieval-Strategie bilden ein untrennbares Dreigestirn, dessen Wechselwirkungen wir erst langsam zu verstehen beginnen. Wer beim Bau eines Agenten einfach nur "Vector Search" als Default wählt, lässt möglicherweise eine ganze Reihe von Optimierungspotenzial liegen.
Das Paper: Is Grep All You Need? How Agent Harnesses Reshape Agentic Search (arXiv:2605.15184, CC BY 4.0)
Fachbegriffe in diesem Artikel
- Agent Harnesses
- Software-Frameworks, die den Lebenszyklus eines KI-Agenten orchestrieren – von der Prompt-Konstruktion über Tool-Ausführung bis zur Antwort-Erzeugung
- System-Prompt
- Die initiale Anweisung an ein LLM, die sein Verhalten, seine Rolle und seine verfügbaren Werkzeuge definiert. Ein guter System-Prompt ist kurz und präzise – viele Coding-Agenten verschwenden tausende Token mit überflüssigen Anweisungen.
- Vector Search
- Semantische Ähnlichkeitssuche, bei der Texte als numerische Vektoren codiert und per Abstandsmaß wie Cosinus-Ähnlichkeit verglichen werden
- Claude Code
- Ein Coding-Agent von Anthropic, der direkt im Terminal läuft. Bietet Funktionen wie Editieren, Bash-Zugriff und Sub-Agents. Nutzt ein ausführliches System-Prompt-Template mit über 10.000 Tokens.
- LongMemEval
- Benchmark-Datensatz zur Bewertung des Langzeitgedächtnisses von KI-Assistenten über mehrere Gesprächssitzungen hinweg
- Chronos
- Custom Agent Harness mit dynamischem, kategoriespezifischem Prompting und integrierter Extraktion von Zeitereignissen für temporale Abfragen
- Grep
- Unix-Kommandozeilen-Tool für die Suche nach regulären Ausdrücken in Textdateien; wird als Synonym für lexikalische Textsuche verwendet
- AST
- Abstract Syntax Tree – eine Baumstruktur, die den syntaktischen Aufbau von Quellcode repräsentiert. Sicherheitswerkzeuge nutzen AST-Analyse, um gefährliche Code-Aufrufe wie exec(), eval() oder subprocess zu erkennen.
- RAG
- Retrieval-Augmented Generation – Ein Verfahren, bei dem ein LLM vor der Antwortrelevante Informationen aus einer externen Wissensdatenbank abruft, um seine Antworten zu verbessern.
Häufige Fragen
Was ist der Unterschied zwischen Grep und Vector Search in KI-Agenten?
Grep durchsucht Texte mit exakten oder regulären Ausdrücken (Pattern Matching), während Vector Search Texte in numerische Vektorrepräsentationen einbettet und nach semantischer Ähnlichkeit sucht. Grep ist präzise und benötigt keine teuren Embedding-Modelle, scheitert aber an Paraphrasen und Umformulierungen.
Was ist ein Agent Harness?
Ein Agent Harness ist die Laufzeitumgebung, die den Tool-Calling-Loop eines KI-Agenten steuert: Sie konstruiert den Prompt, dispatches Tool-Aufrufe (wie Suchanfragen), empfängt Ergebnisse und entscheidet über Iteration oder Antwort. Beispiele sind Chronos (custom) oder kommerzielle CLI-Agenten wie Claude Code und Codex.
Welche Nachteile hat Vector Search gegenüber Grep?
Vector Search benötigt Embedding-Modelle und Vector-Index-Infrastruktur, was Latenz und Kosten erhöht. Zudem neigt sie dazu, semantisch ähnliche, aber irrelevante Treffer (falsch-positive Ergebnisse) zu liefern, insbesondere bei kurzen oder unspezifischen Suchanfragen des Agenten.
Was hat sich mit der PwC-Studie im Vergleich zu bisheriger RAG-Forschung geändert?
Bisherige Forschung evaluierte Retrieval-Strategien meist in isolierten Pipelines. Die PwC-Studie zeigt erstmals systematisch, dass die Wahl des Agent-Frameworks die Retrieval-Effektivität genauso stark beeinflusst wie die Wahl des Retrieval-Verfahrens selbst – und dass Grep in agentischen Inline-Loops der Vektorsuche oft überlegen ist.