Kategorie: KI

  • LLM-as-a-Judge: Automatisierte Qualitätskontrolle für Prompts in n8n

    Der perfekte Prompt ist oft eine Illusion. Wer regelmäßig komplexe Workflows baut – etwa zur Automatisierung von zielgruppengerechten Anschreiben –, weiß: KI-Modelle schwanken in ihrer Tagesform. Um in produktiven Systemen konstant hohe Qualität zu garantieren, reicht einfache Textgenerierung nicht mehr aus.

    Eine Lösung ist das „LLM-as-a-Judge“-Pattern. In diesem Beitrag zeige ich meinen modularen n8n-Subflow, der LLM-Outputs nicht nur erzeugt, sondern direkt automatisch bewertet.

    Die Architektur des Workflows

    Der Aufbau teilt sich in mehrere Hauptstränge auf, die als intelligenter Filter zwischen Eingabe und finaler Ausgabe fungieren:

    • Generierung & Baseline: Der Input (System- und User-Prompt) wird an mehrere LLMs übergeben, in meinem Beispiel Gemini und ein Dummy für Testzwecke.
    • Daten-Aggregation: Eine Node bündelt die generierten Ergebnisse sauber in Arrays, um sie für das „Council“ vorzubereiten.
    • Das Council (Scoring): Aus den Input-Prompts un den Outputs wird ein neuer System- und User-Prompt für das Scoring gebildet. Diese werden nun wiederun mehrere LLMs übergeben, bei mir wieder Gemini und der Testdummy. Diese bewerten die Outputs strikt auf einer Skala von 0.0 bis 1.0 und geben ein reines JSON-Array zurück.
    • Auswertung: Die finale Logik filtert das Ergebnis mit dem höchsten Score heraus und gibt dieses samt der ursprünglichen Prompts an den Haupt-Workflow zurück.

    Den Workflow könnt ihr euch jederzeit anpassen, indem ihr LLMs ersetzt oder weitere Zweige für die Generierung und/oder das Scoring ergänzt.

    Fazit und Ausblick

    Dieser Subflow ist stark modularisiert und lässt sich als Qualitäts-Gatekeeper an jeden bestehenden Prozess andocken.

    Viel Spass beim Testen und Weiterbasteln!

    Hier der komplette Workflow zum Download: LLM Council.json

  • KI als HR-Berater: Ein interaktiver n8n-Workflow für maßgeschneiderte Anschreiben

    1. Der Trigger: Flexibler Input via Telegram

    Der Workflow startet über einen Telegram-Bot. Wenn ich eine interessante Stellenanzeige finde, schicke ich sie einfach an den Bot. Ein Switch-Node prüft dabei intelligent, um was für einen Input es sich handelt:

    • Ist es eine URL, lädt der Workflow den HTML-Code herunter und extrahiert den reinen Text der Anzeige.
    • Ist es ein Dokument (z. B. ein PDF), wird die Datei geladen und in Text konvertiert.

    Parallel dazu ist mein aktueller Lebenslauf fest in einem Set-Node als Markdown hinterlegt. Beide Datenströme (Lebenslauf und Anzeige) werden anschließend zusammengeführt. Um saubere Sitzungen zu garantieren, wird zudem die Chat-Historie in der Postgres-Datenbank für die jeweilige Session vorab geleert.

    2. Der „Human-in-the-Loop“-Ansatz (Mein Lieblings-Feature)

    Jetzt wird es spannend. Anstatt direkt ein Anschreiben zu generieren, übergebe ich die Daten an ein LLM. Der System-Prompt weist die KI an, die Rolle eines kritischen Recruiters einzunehmen:

    1. Vergleich von CV und Anzeige.
    2. Identifikation von fehlenden Skills oder Lücken.
    3. Formulierung von 3-5 kritischen Fragen sowie Vorschlägen für strategische Argumentationslinien.

    Diese Analyse schickt n8n über einen Telegram sendAndWait-Node an mich zurück. Der Workflow pausiert an dieser Stelle! Ich kann mir die Vorschläge in Ruhe durchlesen und dem Bot mein Feedback schreiben (z. B. wie ich bestimmte Lücken im Anschreiben argumentativ füllen möchte).

    3. Der KI-Agent: Vom Feedback zum fertigen Google Doc

    Sobald ich mein Feedback via Telegram absende, läuft der Workflow weiter. Mein Feedback wird mit der vorherigen Analyse und den Grunddaten (CV & Jobanzeige) kombiniert.

    Dieser finale Prompt geht wieder an LLM. Der Agent hat nun die Rolle eines professionellen Copywriters und formuliert das finale Anschreiben. Das Highlight: Der Agent ist mit Google Docs Tools ausgestattet. Er erstellt völlig selbstständig ein neues Dokument in meinem Google Drive, fügt den formatierten Text ein und gibt ausschließlich die URL zum fertigen Dokument zurück.

    4. Das Ergebnis

    Wenige Sekunden später erhalte ich in Telegram die URL. Ein Klick, und ich habe ein perfekt vorformatiertes Anschreiben in Google Docs vor mir, das meine individuellen Stärken (und potenziellen Schwächen) strategisch clever auf die konkrete Stellenanzeige anpasst.

    Fazit

    Dieser Workflow spart nicht nur enorm viel Zeit, sondern liefert durch die strategische Zwischenanalyse qualitativ deutlich bessere Ergebnisse als Standard-Prompts.

    Bewerbunsanschreiben.json herunterladen

    Systemprompt für Analyse
    Rolle: Erfahrener HR-Experte und Recruiter.
    Ausgabeformat: Optimiere deine Antwort für Telegram! Halte dich extrem kurz, nutze kurze Absätze. Keine Formatierungen nur Plaintext. Bleibe deutlich unter dem Telegram-Zeichenlimit.
    
    Kontext: Ich plane eine Bewerbung. Bevor wir das Anschreiben verfassen, müssen wir Lücken und Diskrepanzen zwischen meinem Lebenslauf und der Stellenanzeige identifizieren.
    
    Deine Aufgabe (Schritt-für-Schritt):
    
    1. HR-Analyse: Vergleiche meinen CV mit der Anzeige. Wo fehlen Skills? Welche Lücken oder Brüche fallen sofort negativ auf?
    2. Kritische Fragen: Liste die 3 bis 5 wichtigsten Fragen auf, die ein kritischer Recruiter dazu stellen würde.
    3. Antwortvorschläge: Gib mir zu jeder Frage direkt 2-3 stichpunktartige, strategisch kluge Argumentationslinien, wie wir das im Anschreiben entkräften oder als Stärke verkaufen können.
    4. STOPP: Schreibe noch kein Anschreiben. Warte auf mein Feedback zu deinen Vorschlägen.
    Systemprompt für Anschreiben
    Rolle: Erfahrener HR-Experte und professioneller Copywriter.
    
    Kontext: Wir haben im vorherigen Schritt die Lücken und Diskrepanzen zwischen meinem Lebenslauf und der Stellenanzeige analysiert und strategische Antworten festgelegt.
    
    Deine Aufgabe:
    1. Anschreiben verfassen: Formuliere nun das finale Bewerbungsanschreiben. Es soll modern, selbstbewusst und flüssig geschrieben sein. Integriere meine unten stehenden Antworten und Argumentationslinien so natürlich wie möglich, sodass sie wie Stärken wirken und nicht wie Rechtfertigungen.
    2. Dokument erstellen: Nutze dein Tool zur Dokumentenerstellung (Google Docs/Drive), um dieses fertige Anschreiben als neues Dokument in meinem Google Drive zu speichern. Formatiere den Text dabei sauber als professionellen Geschäftsbrief (mit Platzhaltern für Adresse, Datum, Betreff etc.). Meine Kontaktdaten findest du im Lebenslauf.
    
    STRIKTE AUSGABEREGEL:
    Deine Antwort darf AUSSCHLIESSLICH aus der URL des erstellten Google Docs bestehen. Schreibe absolut keinen Begleittext, keine Bestätigung, keine Formatierungen (wie Markdown-Links) und keine Grußformeln. Liefere nur den reinen, klickbaren Link zurück.