Regeln, Befunde, Alarme
Tokenwacht greift nur ein, wenn Sie es sagen. Jeder Agent startet auf „beobachten“, jede Regel im Schattenbetrieb. Erst messen, dann scharf schalten.
Regeltypen
| Typ | Schwelle | Beispiel |
|---|---|---|
| Lauf-Budget | Euro oder Schritte je Lauf | „Kein Lauf über 3 €“ → Stufe stoppen: der 41. Aufruf bekommt 402. |
| Tagesbudget (Agent) | Euro je Agent und Tag | „nils-icp-research höchstens 5 €/Tag“ → warnen bei 80 %, stoppen bei 100 %. |
| Monatsbudget | Euro je Mandant, Projekt oder Endkunde | „kunde-4711 höchstens 200 €/Monat“. |
| Ratenbegrenzung | Aufrufe je Minute und Agent | „60/min“ → drosseln: der Proxy wartet bis zu zehn Sekunden vor dem Aufruf. |
| Modellsperre | Modellpräfix, Zeitfenster in der Zeitzone des Kontos | „claude-opus nachts 22–06 Uhr sperren“ — 22 Uhr heißt 22 Uhr bei dir, auch nach der Zeitumstellung. |
| Schutzregel (Detektor) | Befundtyp | „Leerschleife → stoppen“: der Detektor darf bis zu dieser Stufe eskalieren. |
Eingriffsstufen
beobachten (zählen, Befund) → warnen (Alarm) → drosseln (Pause vor dem Aufruf, bis 10 s) → stoppen (HTTP 402 mit Grund). Die Stufe eines Agenten deckelt, wie weit Detektoren eskalieren dürfen: Standard „beobachten“, also nie ein Stopp, bis Sie die Stufe heben oder eine Schutzregel scharf schalten.
Empfehlungen und Vorschau
Nach ein paar Tagen Daten schlägt Tokenwacht im Reiter Regeln Grenzen vor: Lauf-Budget je Agent aus dem p95 der Laufkosten (× 1,5), Tagesbudget aus dem p95 der Tageskosten, Monatsbudget aus der Hochrechnung (× 1,3), eine Modellsperre, wenn teure Modelle nachts mehr als zehn Prozent der Kosten ausmachen, und Schutzregeln bei wiederkehrenden Leerschleifen oder Fehlerstürmen. Jede Empfehlung trägt Begründung und eine Simulation über die letzten 30 Tage („hätte 3 von 41 Läufen gestoppt und 12,40 € verhindert“) und wird per Klick im Schattenbetrieb übernommen. Dieselbe Vorschau gibt es für jede selbst entworfene Regel, bevor Sie sie speichern.
Schattenbetrieb
Eine Regel im Schatten wird bei jedem Aufruf geprüft und ihr Treffer gezählt, greift aber nicht. Der digitale Zwilling summiert, was sie verhindert hätte. Nach ein paar Tagen sehen Sie, ob die Schwelle passt, und schalten scharf. Regeländerungen wirken innerhalb von 30 Sekunden.
Die sechs Befunde
| Befund | Wo | Erkennung | Vorschlag |
|---|---|---|---|
| D1 Leerschleife | im Strom | Gleicher Werkzeugaufruf mit gleichen Argumenten (Fingerabdruck) mehrfach in Folge | Leiter warnen → drosseln → stoppen je Wiederholung, gedeckelt durch Agentenstufe oder Schutzregel |
| D2 Kontextwucherung | alle 5 min | Eingabe wächst je Schritt über die Füllgrenze, ohne dass der Lauf endet | Kürzung nach Schritt n, Ersparnis je Monat vorgerechnet |
| D3 Cache-Blindheit | alle 5 min | Gleicher Prompt-Präfix (System + Werkzeuge) in vielen Aufrufen ohne Cache-Treffer | Prompt-Caching einschalten, Ersparnis nach Cache-Preis |
| D4 Modell-Fehlwahl | alle 5 min | Kurze Antworten ohne Werkzeuge auf dem teuersten Modell | Kleineres Modell, Differenz je Monat |
| D5 Fehlersturm | im Strom | Fehlerquote eines Agenten steigt sprunghaft | Agent 15 Minuten drosseln oder stoppen, Ursache im Lauf-Detail |
| D6 Ausreißer | alle 5 min | Lauf kostet ein Vielfaches der Normallinie des Agenten aus 15 Tagen | Lauf prüfen, Budget setzen |
Jeder Befund trägt Betrag, Vorschlag, Status (offen, erledigt, ignoriert) und wird nur einmal je Zustand gemeldet: Eine anhaltende Leerschleife erzeugt keinen zweiten Befund, nur einen Stufenwechsel.
Budgets und Prognose
Budgets je Agent (Tag) und Projekt (Monat) prüft der Worker alle fünf Minuten: Befund bei 80 % und 100 %. Zusätzlich rechnet die Kostenprognose aus dem gewichteten Tagesmittel der letzten sieben Tage hoch, ob das Monatsbudget bei gleichem Tempo reicht, und meldet den Tag der Erschöpfung, bevor die 80 % erreicht sind. Kachel in der Übersicht, Spalte je Agent.
Alarme
- Kanäle: E-Mail, Slack, Microsoft Teams, ntfy (Push auf das Telefon), allgemeiner JSON-Webhook. Je Mandant unter Konto → Alarmkanäle.
- Bündelung: Befunde eines Agenten werden 15 Minuten lang zu einem Vorfall zusammengefasst; ein Alarm je Vorfall, erneut nur bei Eskalation auf „stoppen“.
- Ruhezeiten: je Agent, z. B. 22–07 Uhr; Stopps kommen immer durch.
- Betreiber-Alarme (Ausfall von Tokenwacht selbst) laufen getrennt über den Wachhund und betreffen Sie nicht.