KI/ML-Sicherheitsdienste
KI ist in den Produkten, Workflows und Geräten enthalten, auf denen Ihr Unternehmen läuft. Wir testen, wie ein Angreifer Ihre Modelle manipulieren, die dahinterliegenden Daten korrumpieren und die Systeme missbrauchen würde, die auf deren Ausgabe reagieren. Wir testen wie ein Angreifer und berichten wie ein Ingenieur.
Angriffe sind auch ohne Shell-Zugang schädlich. Ein prompt injection kann einen Chatbot zu einem Kanal für Datenexfiltration machen. Vergiftete Daten können die Entscheidungen eines Modells steuern, ohne einen Alarm auszulösen. Retrieval-augmented Generation (RAG) und Tool Calling – ob über Function Calling, Plugins oder Model Context Protocol (MCP)-Server – verwandeln eine Anfrage in Aufrufe an Dateien, APIs und Produktionssysteme.
IOActive testet das gesamte KI-System: das Modell, die dahinterliegenden Daten, die Anwendungen und Geräte, die es aufrufen, sowie die Infrastruktur, die seine Gewichte speichert. Jeder Einsatz endet gleich: mit nachvollziehbaren, wiederholbaren Befunden, zugewiesenen Verantwortlichkeiten für die Behebung und einem Retest nach der Behebung.
Die nachfolgenden Einsätze folgen dem Lebenszyklus eines KI-Systems. Beginnen Sie dort, wo Sie stehen.
Mit einem KI-Sicherheitsberater sprechen
Grundlagen vor der Entwicklung
Die hier getroffenen Entscheidungen bestimmen, welchen Angriffen ein System standhalten muss.
Bewertung von KI-Sicherheitsprogrammen und Governance
Weiß Ihr Unternehmen, welche KI es einsetzt, wem diese gehört und was passiert, wenn sie fehlerhaft arbeitet? Wir inventarisieren die eingesetzte KI und bewerten die Richtlinien und Kontrollen rund um diese – von der akzeptablen Nutzung und der Klassifizierung von Modellrisiken bis hin zur Lieferantenbewertung und der Reaktion auf Vorfälle. Die Ergebnisse werden am NIST AI Risk Management Framework und dessen Generative AI Profile ausgerichtet. Alles, was regulatorisch relevant ist, einschließlich des EU AI Act, wird für Ihre rechtliche Prüfung gekennzeichnet und mit dem technischen Kontext versehen.
Bedrohungsmodellierung für KI-Systeme
Wo kann dieses System angegriffen werden, und was würde der Angreifer erlangen? Wir verfolgen die Pfade, die ein Angreifer durch Ihre Modelle, Prompts, Agents, Plugins und Lieferanten nehmen würde, und verknüpfen jeden einzelnen mit den geschäftlichen Auswirkungen. Die Exposures sind auf MITRE ATLAS abgestimmt, sodass die daraus folgenden Guardrails und Detections konkrete Engineering-Aufgaben sind.
Prüfung des KI-Entwicklungszyklus
Wie werden Modelle, Daten, Prompts und Tools erstellt, getestet und in die Produktion überführt, und wo ist dieser Prozess anfällig für Missbrauch? Wir prüfen ihn Ende-zu-Ende und liefern Ihnen praktische Leitplanken für Datenerfassung, Beschriftung und CI/CD, die zu Ihren bestehenden Teamstrukturen passen.
Code und Befunde während der Entwicklung
KI verändert, wie Code geschrieben wird, ebenso wie das, was ausgeliefert wird. In Die Sicherheitslücke in KI-generiertem Code (April 2026) gab IOActive 730 reale Programmieraufträge an 27 KI-Modelle und Coding-Tools. Nahezu ein Drittel der generierten Beispiele (31,6 %) war vollständig ausnutzbar, und kein Modell lag jedes Mal richtig.
Sichere KI-Code-Prüfung
Ist der Code, der das Modell umgibt, genauso sicher wie das Modell? Wir prüfen, wie Ihre Anwendung mit dem LLM kommuniziert: Prompt Construction, Output Handling, Authentifizierung und Autorisierung, RAG- und Vektor-Datenbankzugriff, Tool-Integrationen, Agent-Orchestrierung, Secrets und Logging. Wenn IOActive Ihren Code bereits prüft, erweitert dies den Engagement, den Sie heute durchführen.
Sichere Programmierung mit KI: Implementierung und Schulung
Wie sichern Sie die Produktivität KI-gestützter Entwicklung, ohne deren Schwachstellen zu übernehmen? Wir unterstützen Sie dabei zu entscheiden, wo ein Mensch relativ zur Schleife für KI-geschriebenen und KI-geprüften Code sitzt (in, auf oder über ihr), helfen Ihnen bei der Umsetzung von Richtlinien und Tools und schulen Ihre Ingenieure auf die Fehlermuster, die wir in realen Projekten und in unserer eigenen Forschung zur Steuerung von KI-Coding-Assistenten beobachten.
Triage und Verifizierung KI-generierter Befunde
Ihre Scanner und KI-Agenten melden Tausende von Problemen. Welche davon sind real? Wir verifizieren sie: Nachweis der Ausnutzbarkeit, Bereinigung von Duplikaten und False Positives, Neubewertung der Schweregrade. Sie erhalten eine kurze Backlog-Liste, auf deren Grundlage Ihre Ingenieure handeln können. Wenn Sie eine automatisierte KI-Sicherheitsplattform betreiben, prüfen wir auf diese Weise auch, was sie Ihnen mitteilt.
Vor dem Versand: Adversarial Testing
Fünf Engagements, jedes auf einen Teil des Systems ausgerichtet. Wählen Sie dasjenige, das Ihrem Risiko am nächsten kommt; die meisten Programme ergänzen die anderen, je autonomer das System wird.
Bewertung von KI-Modellen
Können wir diesem Modell vertrauen, dass es in den für unser Unternehmen relevanten Situationen sicher agiert? Wir testen das Verhalten des Modells, nicht seine internen Mechanismen: unsichere oder voreingenommene Ausgaben, Halluzinationen, das Lecken sensibler Daten, die Befolgung von Anweisungen und Verweigerungen sowie das Verhalten außerhalb des vorgesehenen Einsatzzwecks. Danach werden wir angreifbar: obfuskatierte und kodierte Anweisungen, unerwartete Sprachen, Long-Context- und Multi-Turn-Angriffe sowie Dokumente oder Bilder, die eigene Anweisungen enthalten. Vision-, Sprach- und Entscheidungssysteme werden gleichermaßen behandelt. Ergebnis: ein AI-Sicherheitsbewertungsbericht, ein Risikobewertungs-Scorecard und eine Remediation-Roadmap.
Sicherheitsbewertung von KI-Anwendungen
Kann ein Angreifer über die KI-Funktion auf Daten oder Aktionen zugreifen, für die er nicht autorisiert ist? Der Pfad von einem Benutzer zu Ihren Unternehmenssystemen führt über die Anwendung, den Prompt, das Modell, RAG, eine Vektor-Datenbank sowie die Tools und APIs, die das Modell aufrufen kann – unabhängig von der Integration. Wir testen jeden einzelnen Schritt, einschließlich der Datentrennung zwischen Mandanten, der Tool-Berechtigungen und der Drittanbieter-KI-Integrationen, und berücksichtigen dabei auch die klassischen Schwachstellen im Web-, Mobile- und API-Bereich, die durch KI-Funktionen verstärkt werden. KI auf Geräten und eingebetteten Zielen ist Teil des Testumfangs.
Sicherheitstest für KI-Agenten
Ein Agent kann handeln, nicht nur antworten. Was passiert, wenn wir ihn dazu bringen, etwas zu tun, das er nicht tun sollte? Wir versuchen es: eine vertrauliche Datei lesen, eine E-Mail senden, einen Datensatz oder eine Konfiguration ändern, Code ausführen, einen Einkauf tätigen, einen weiteren Agenten erstellen, eigene Berechtigungen eskalieren. Jede Aktion, die der Agent ausführen kann, und jedes Tool, auf das er zugreifen kann, ist ein Testfall – einschließlich Manipulation durch einen anderen Agenten oder eine vergiftete Tool-Antwort. Bei jedem Erfolg zeigen wir Ihnen, welche Kontrolle versagt hat, und empfehlen die entsprechende Gegenmaßnahme.
Daten- und Datenschutzprüfung für KI
Kann ein Angreifer beeinflussen, was das Modell lernt oder abruft, und lässt sich das Modell dazu bringen, Informationen preiszugeben, die es niemals offenlegen sollte? Bei der Eingabe prüfen wir jeden Punkt, an dem Daten eingegeben werden: Trainings- und Fine-Tuning-Datensätze, RAG-Dokumente, Embeddings und Vektor-Datenbanken, Drittanbieter-Datensätze und die Modell-Lieferkette. Dabei suchen wir nach Möglichkeiten für Poisoning und Lücken bei der Herkunftsnachverfolgung. Bei der Ausgabe testen wir auf versehentliche Leakage und adversarial Extraction von personenbezogenen Daten, Kundendatensätzen, Quellcode, Zugangsdaten, internen Dokumenten und vertraulichen Prompts, einschließlich der Frage, ob ein Angreifer erkennen kann, ob ein Datensatz im Training verwendet wurde.
KI red teaming
Statt ein Netzwerk anzugreifen, attackiert das Team die KI und alles, was sie erreichen kann. Eine zielorientierte Kampagne umfasst prompt injection, Jailbreaking, Extraktion von System-Prompts, übermäßige Handlungsfähigkeit, Missbrauch von Tools, Datenexfiltration und Agent-zu-Agent-Manipulation. Ihre Guardrails sind Teil des Ziels: Wir dokumentieren jede Kontrolle (Filter, Moderation, Genehmigungsworkflows, Ratenbegrenzungen, Berechtigungen) und versuchen anschließend, diese zu umgehen. Jeder Bypass wird mit den Schritten zur Reproduktion geliefert. KI-orientierte Penetrationstests und Simulationen agentischer Angriffe unterliegen denselben Rules of Engagement wie unsere Red- und purple teamServices.
Nach dem Versand: Betrieb und erneutes Testen
Modelle, Prompts, Tools und Retrieval-Quellen ändern sich wöchentlich. Eine im März behobene Schwachstelle kann im April durch ein ungetestetes Modell-Update erneut auftreten.
Bewertung der KI-Infrastruktur und der Modellverwahrung
Wie werden Ihre Modellgewichte gespeichert, signiert, verschoben und bereitgestellt, und wer hat Zugriff darauf? Wir testen die Integrität der Bereitstellung, die Zugriffsgrenzen um die Gewichte, Ressourcenlimits und Kontrollen gegen Denial-of-Service, die Überwachung auf anomale Nutzung sowie die Isolation zwischen Projekten und Mandanten. Dabei decken wir die Schwachstellen auf, die Diebstahl, Manipulation oder laterale Bewegung von Modellen ermöglichen.
Retest- und Regressionstest-Harness
Jeder Einsatz umfasst Replay-Skripte, strukturierte Logs und explizite Bestehens-/Nichtbestehens-Kriterien, damit Ihr Team jeden Befund reproduzieren und die Behebung testen kann. Nach der Behebung führen wir denselben Testaufbau erneut aus, um die Änderung der Angriffserfolgsrate zu messen.
Kontinuierliche KI-Bewertung
Bei Systemen, die sich schneller ändern, als ein jährlicher Test nachhalten kann, führen wir das Testframework in einer vereinbarten Frequenz und nach wesentlichen Änderungen (eine neue Modellversion, ein neues Tool, eine neue Datenquelle) erneut durch – innerhalb und außerhalb Ihres Perimeters – und berichten, was sich verändert hat. AIUC-1, der Zertifizierungsstandard für KI-Agenten, verlangt mindestens quartalsweise Expertentests durch Dritte zur Prüfung der Adversarial Robustness und der Tool Calls; eine quartalsweise Frequenz liefert hier die entsprechenden Nachweise für Ihren Auditor. Wir bewerten und übergeben; Ihr Team betreibt die Kontrollen in der Zwischenzeit.
So arbeiten wir
Wir demonstrieren die Ausnutzbarkeit, statt Möglichkeiten aufzulisten, verifizieren Ergebnisse über verschiedene Seeds und Decoding-Einstellungen, um dauerhafte Fehler von Rauschen zu trennen, und dokumentieren jedes Problem mit den Eingaben und Replay-Schritten, die es reproduzieren. Die Befunde werden dem OWASP Top 10 for LLM Applications, dem OWASP Machine Learning Security Top Ten, MITRE ATLAS, dem NIST AI Risk Management Framework und für AI-Agents den AIUC-1-Anforderungen zugeordnet und bei Berührung von Richtlinien oder Regulierung zur rechtlichen Prüfung markiert. Nach den Korrekturen wiederholen wir die Tests, sodass das Ergebnis eine gemessene Änderung der Angriffserfolgquote ist, keine Behauptung.
Durch Forschung abgesichert
Die Personen, die diese Bewertungen durchführen, veröffentlichen ihre Erkenntnisse. 2026 veröffentlichte IOActive The Security Gap in AI-Generated Code, die Studie hinter den oben genannten Zahlen, präsentierte Husn Canaries, ihre Forschung zur Steuerung der Nutzung von Quellcode durch KI-Coding-Assistenten, auf dem CSA AI Summit 2026 und trug zu Cybersecurity AI: Hacking Consumer Robots in the AI Era bei, veröffentlicht im März 2026 zusammen mit Alias Robotics. Auf der CanSecWest 2025 zeigte ein IOActive-Berater, wie KI-generierte Voice Clones in einem echten red team-Engagement eingesetzt wurden. Diese Forschung ist die Grundlage unserer Testfälle.
Häufig gestellte Fragen
Was ist der Unterschied zwischen einer Modell-, einer Anwendungs- und einer Agentenbewertung?
Eine Modellbewertung prüft, wie sich das Modell verhält. Eine Anwendungsbewertung prüft alles darum herum: Prompts, Retrieval, Tools, APIs und Berechtigungen. Eine Agentenbewertung prüft, was das System tun kann – jede Aktion und jede dahinterliegende Berechtigung. Wählen Sie die Bewertung anhand des Systemteils, für den Sie verantwortlich sind.
Benötigen Sie unsere Modellgewichte oder den Quellcode?
Das hängt vom Umfang ab. Das Testen der Schnittstellen erfolgt an den Endpunkten, die ein Angreifer sehen würde. Für den Code-Review ist der Zugriff auf den Quellcode erforderlich. Für die Analyse von Memorization und Custody ist der Zugriff auf Modelle oder Gewichte erforderlich. Wir einigen uns vor Beginn auf das Zugriffslevel, und der Bericht gibt an, was jedes Level getestet hat und was nicht.
Welche Frameworks nutzen Sie für das Mapping der Erkenntnisse?
Die OWASP Top 10 für LLM-Anwendungen, die OWASP Machine Learning Security Top Ten, MITRE ATLAS, das NIST AI Risk Management Framework mit seinem Generative AI Profile und für KI-Agenten AIUC-1.
Macht uns dies konform mit dem EU AI Act, ISO/IEC 42001 oder AIUC-1?
Keine Bewertung kann dies leisten, und wir stellen keine Zertifikate aus. Wir liefern die technischen Nachweise, die diese Programme benötigen: getestete statt bescheinigte Kontrollen sowie Hinweise auf Erkenntnisse, die den EU AI Act betreffen, für Ihre rechtliche Prüfung. Governance-Ergebnisse können anhand der ISO/IEC 42001-Klauseln strukturiert werden, an denen Sie arbeiten. Für AIUC-1, den Zertifizierungsstandard für KI-Agenten, liefern unsere Modell-, Agenten- und red team-Bewertungen die von unabhängiger Seite erbrachten Testnachweise, die deren Abschnitte zu Sicherheit, Safety und Zuverlässigkeit erfordern – im dort vorgeschriebenen quartalsweisen Rhythmus, zur Prüfung durch Ihren akkreditierten Auditor.
Was erhalten wir am Ende?
Ein Bericht, in dem jeder Befund demonstriert und priorisiert wird; Replay-Skripte und Protokolle, die ihn reproduzieren; Zuweisungen von Korrekturen an die Modell-, Pipeline- oder Anwendungsebene; sowie ein Retest nach deren Behebung. Modellbewertungen umfassen zusätzlich ein Risikobewertungs-Scorecard und eine Remediation-Roadmap.
Können Sie ein KI-Produkt eines Drittanbieters oder eine SaaS-KI testen, die wir nutzen?
Ja, im Rahmen der von Ihrem Anbieter erlaubten Bedingungen. Wir testen das Produkt so, wie es bei Ihnen eingesetzt wird: Ihre Daten, Ihre Integrationen, Ihre Berechtigungen und die Workflows, auf die es zugreifen kann. Wenn die Bedingungen des Anbieters Tests einschränken, bewerten wir Ihre Seite der Grenze und die von Ihnen verwalteten Kontrollen.
Testen Sie in der Produktionsumgebung?
Nur unter vorab vereinbarten Einsatzregeln. Angriffe, die reale Aktionen auslösen könnten, werden gegen produktionsähnliche Umgebungen ausgeführt oder mit deaktivierten Aktionen durchgeführt, und wir informieren Sie vor jedem Test darüber, was im Erfolgsfall passieren könnte.
Ersetzt dies einen Penetrationstest oder ergänzt er ihn?
Darüber hinaus verstärken KI-Funktionen klassische Schwachstellen in Web-, Mobil- und API-Anwendungen. Eine KI-Sicherheitsbewertung meldet die gefundenen Schwachstellen, doch eine Full-Stack-Sicherheitsbewertung des umgebenden Systems bleibt die Grundlage. Wenn Sie bereits Penetrationstests mit IOActive durchführen, lassen sich KI-Sicherheitsbewertungen in dasselbe Programm und dieselbe Berichterstattung integrieren.
Wie wird ein Engagement dimensioniert?
Eine fokussierte Bewertung eines einzelnen Modells, einer Anwendung oder eines Agenten ist ein klar umrissener Einsatz; Programm- und Governance-Arbeiten werden auf Ihr KI-Inventar zugeschnitten. Bringen Sie zum Scoping-Call mit, was das System tut, welche Aktionen es ausführen kann, auf welche Daten es zugreifen kann, wie es bereitgestellt wird und welchen Zugriff Sie uns gewähren können. Wir melden uns mit einem festen Umfang und Zeitplan zurück.
Mehr erfahren
Weitere Ressourcen
IOActive Datenblatt für KI/ML-Sicherheitsdienste
Die Sicherheitslücke bei KI-generiertem Code
Husn Canaries: Defense-in-Depth für die Governance von KI-Coding-Assistenten
Sicherheitsherausforderungen bei der KI-Einführung: 2026
Von Skynet bis zu KI-Agenten: Der Stand der Robotersicherheit neun Jahre später
Verstehen der potenziellen Risiken von Prompt Injection in GenAI
Vorbereitung auf Downstream-Angriffe auf KI-Systeme
Verwandte Dienstleistungen