Prompt Injection
Wir setzen Prompt Injection voraus. Dann dämmen wir sie ein.
Logs, Tickets und Alerts sind vom Angreifer beeinflussbarer Text, und jedes LLM, das sie liest, kann von ihnen gesteuert werden. Wir behaupten nicht, das zu verhindern. Wir bauen so, dass ein gesteuertes Modell nichts tun kann, was Ihre Seite nicht bereits erlaubt hat.
Modell-Ausgabe ist Daten, keine Kommandos
Vom Moment an, in dem das Modell etwas erzeugt, gilt es als nicht vertrauenswürdige Daten, nicht als zu befolgende Anweisung. Ein Vorschlag bleibt in Quarantäne und wird als strukturierte Evidenz und Vorschlag weitergereicht. Er hat keinen eigenen Kanal zu einem System; der einzige Weg zur Ausführung führt durch Kontrollen, die Ihnen gehören.
Vier Dinge stehen zwischen einem vergifteten Vorschlag und Ihren Systemen
- Ein Policy-Gate prüft jeden Vorschlag gegen Regeln, die Sie definieren, bevor ein Mensch ihn sieht.
- Menschliche Freigabe ist in v1 für jede Änderung nötig; nichts wird auf Zuruf des Modells ausgeführt.
- Eine lokale Allowlist auf Ihrem Gateway re-validiert jeden Job und verweigert alles außerhalb der Liste, auch signiert.
- Ein deterministischer Executor führt nur Operationen von der Allowlist aus, nie ein Freitext-Kommando des Modells.
Eindämmen, nicht verhindern
Wir sind bei dem Wort bewusst. Injection vollständig zu verhindern, ist gegen vom Angreifer kontrollierte Eingaben kein Versprechen, das jemand halten kann, also geben wir es nicht. Stattdessen dämmen wir die Folgen ein: Das Schlimmste, was eine erfolgreiche Injection verlangen kann, ist etwas, das Ihre Allowlist bereits erlaubt und Ihr Engineer bereits freigegeben hat. Das ist eine Grenze, über die Sie nachdenken können.
Security-Findings werden nie automatisch remediert
Die stärkste Eindämmung ist der Pfad, den wir nicht bauen. Security-Findings werden nie automatisch remediert, denn automatisch auf vom Angreifer beeinflussbare Signale zu reagieren, zerstört forensische Evidenz und ist gezielt auslösbar. Sie werden stattdessen in eine menschengeführte, beweissichernde Lane geroutet.
Siehe auch: Sicherheit · Was ist ein AI SRE
Testen Sie es an Ihren echten Incidents, als Design-Partner
Vesmona ist in der Private Beta. Wir suchen eine kleine Gruppe von Teams, die die Plattform an echten Incidents betreiben und uns sagen, wo sie zu kurz greift. Sie bekommen frühen Zugang, einen direkten Draht zum Engineering-Team und ein echtes Mitspracherecht bei der Roadmap. Wir bekommen die betriebliche Realität (und, wo sie verdient ist, die Referenz), die eine Plattform produktreif macht.
Design-Partner werden