PyRIT ist Microsofts neues Tool für sichere KI

Microsoft hat ein neues Tool zur Risikoanalyse generativer KI-Systeme vorgestellt: PyRIT, kurz für Python Risk Identification Tool. Dieses Framework soll Organisationen weltweit helfen, verantwortungsvoll mit den neuesten Fortschritten in der Künstlichen Intelligenz zu arbeiten.

Unter der Leitung von Ram Shankar Siva Kumar, dem AI Red Team Lead bei Microsoft, wurde PyRIT entwickelt, um proaktiv Risiken in generativen KI-Systemen zu identifizieren. Das Ziel sei es, Organisationen ein Werkzeug an die Hand zu geben, mit dem sie die Sicherheit ihrer KI-Anwendungen gewährleisten können. „PyRIT soll es jeder Organisation auf der Welt ermöglichen, verantwortungsvoll mit den neuesten KI-Entwicklungen zu innovieren“, so Kumar.

Vielseitige Einsatzmöglichkeiten

PyRIT richtet sich an große Sprachmodelle und deren Endpunkte und bewertet diese auf verschiedene Risikokategorien. Dazu gehören die Erstellung von Falschinformationen (z.B. Halluzinationen), Missbrauch und verbotene Inhalte. Darüber hinaus kann das Tool auch Sicherheitsrisiken wie die Erzeugung von Malware oder das Umgehen von Sicherheitsvorkehrungen (Jailbreaking) erkennen. Auch Datenschutzbedenken, wie beispielsweise Identitätsdiebstahl, fallen in den Anwendungsbereich von PyRIT.

Die Scoring-Engine bietet zwei verschiedene Optionen für die Bewertung der Ausgaben des KI-Zielsystems, sodass Red-Teamer einen klassischen Machine-Learning-Klassifikator verwenden oder einen LLM-Endpunkt zur Selbstbewertung nutzen können.

„Das Ziel ist es, den Forschern eine Grundlage dafür zu geben, wie gut ihr Modell und ihre gesamte Inferenzpipeline in Bezug auf verschiedene Schadenskategorien abschneiden, und diese Grundlage mit zukünftigen Iterationen ihres Modells vergleichen zu können“, so Microsoft.

PyRIT zielt darauf ab, die Durchführung von Sicherheitsprüfungen durch Red Teams zu automatisieren und zu vereinfachen. Indem es Aufgaben, die zuvor manuell und zeitaufwändig waren, automatisiert, steigert PyRIT die Effizienz von Sicherheitsaudits. Dies ermöglicht es Fachleuten, sich auf Bereiche zu konzentrieren, die einer tiefergehenden Untersuchung bedürfen.