Die KI in ION IQ: Potenzial und Verantwortung in Einklang bringen

In unserer vorherigen Blog-Reihe “Der Stand der KI in der Cybersicherheit,haben wir das enorme Potenzial von KI im Bereich Cybersicherheit diskutiert. Insbesondere die Fortschritte in der generativen KI, wie z. B. große Sprachmodelle (LLMs) wie GPT, ermöglichen neue Anwendungen für KI für Verteidiger. Solche Modelle können als Kraftverstärker eingesetzt werden und die Produktivität der Verteidiger steigern. Sie können zur Generierung von Trainings- und Angriffssimulationsdaten, zur Datenanalyse und zur Unterstützung der Kommunikation zwischen Verteidigern verwendet werden, um nur einige Anwendungsfälle zu nennen, in denen generative KI Verteidigern helfen kann.

Mit großem Potenzial geht jedoch auch große Verantwortung einher.

Es ist kein Geheimnis, dass generative KI-Modelle manchmal Fehler machen können, indem sie halluzinierte Antworten produzieren, die Verzerrungen aus ihren Trainingsdatensätzen enthalten oder übermäßig allgemeine oder unspezifische Antworten generieren und Risiken in Bezug auf Datenschutz und Urheberrecht mit sich bringen können. Das heißt, wenn sie nicht mit der gebotenen Sorgfalt und dem erforderlichen Know-how eingesetzt werden.

Als AI-Powered MXDR-Anbieter ist es unsere oberste Priorität bei Ontinue, die Leistungsfähigkeit der KI verantwortungsbewusst zu nutzen, um mit Hilfe der KI den besten Service zu bieten und gleichzeitig unsere Kunden und deren Daten zu schützen.

Menschenzentrierte KI: Entscheidungsunterstützung statt Entscheidungsfindung

Unsere Philosophie basiert auf einem grundlegenden Prinzip: KI ist ein Werkzeug, das Menschen unterstützt, aber nicht als Entscheidungsträger ersetzt. Da wir uns der entscheidenden Bedeutung aller Sicherheitsentscheidungen bewusst sind, verwenden wir KI nicht für autonome Entscheidungen. Stattdessen glauben wir fest an den ‘Human-in-the-Loop’-Ansatz. Mit Unterstützung durch KI treffen unsere Experten – ebenso wie die Experten unserer Kunden – fundiertere Entscheidungen in kürzerer Zeit.

Diese Kombination aus menschlichen und KI-Stärken führt zu besserem Schutz und besserer Prävention und gewährleistet korrekte Reaktionen auf Sicherheitsvorfälle. In unserem Bereich ist Schnelligkeit von entscheidender Bedeutung. Durch den Einsatz von KI für die schnelle Datenanalyse und Bedrohungserkennung können wir die Reaktionszeit verkürzen und so das Zeitfenster für Angreifer einschränken.

Betrachten wir das Beispiel unseres Modells zur Verurteilung von Straftaten, das Teil von ION IQ. Dieses Modell bewertet Sicherheitsvorfälle nach ihrer Wahrscheinlichkeit, ein ”True Positive” oder ein „Benign Positive“ zu sein. Wir verwenden das Modell nicht, um Vorfälle, die wahrscheinlich „Benign Positive“ sind, automatisch zu schließen. Stattdessen senden wir dem menschlichen Analysten einen „Wahrscheinlichkeitswert“ zusammen mit einer Erklärung der zugrunde liegenden Faktoren, die dazu beigetragen haben.

Umgang mit Einschränkungen generativer KI

Die Anwendung der oben genannten Grundsätze stellt sicher, dass wir KI einsetzen, um unseren Experten zu ermöglichen, unseren Kunden einen besseren Service zu bieten. Darüber hinaus berücksichtigen wir bei allen unseren Designentscheidungen Risiken und Einschränkungen, wenn wir neue Funktionen für ION IQ implementieren.

In einer weiteren Reihe von Blogbeiträgen werden wir uns eingehender damit befassen, wie wir KI-Funktionen in ION IQ integrieren, und diskutieren, wie wir bekannte Einschränkungen von LLMs angehen:

• Wie LLMs funktionieren und wie wir sicherstellen, dass wir spezifische Antworten liefern, die für unsere Kunden relevant sind, anstatt allgemeine Antworten.
• Wie wir Prompt Engineering einsetzen, um sicherzustellen, dass wir Antworten erhalten, die auf Fakten basieren, die nicht durch Trainingsdaten verzerrt sind.
• Wie wir automatisierte Tests einsetzen und die Wahrhaftigkeit messen, um Halluzinationen zu minimieren
• Wie wir die Leistung verbessern, um die Reaktionszeit zu begrenzen, selbst bei Verwendung komplexer Sequenzen von LLM-Aufrufen
• Wie wir GPT in Azure Cognitive Services einsetzen und sicherstellen, dass keine Kundendaten in das Modell einfließen oder zur Verbesserung von GPT verwendet werden, um Datenschutzrisiken zu minimieren

Behalten Sie zukünftige technische Vertiefungen zu diesen Themen im Auge.