Photo credit: www.csoonline.com
Neueste Forschungen von Cybersicherheitsexperten der University of Texas in San Antonio, Virginia Tech und der University of Oklahoma haben eine bedrohliche neue Technik in der Software-Lieferkette identifiziert, die als „Slopsquatting“ bezeichnet wird.
Der Begriff wurde von Seth Larson, einem Sicherheitsentwickler der Python Software Foundation (PSF), eingeführt und ist eine Anlehnung an das bekannte Phänomen des Typosquatting. Während Typosquatting auf menschliche Fehler abzielt, nutzen Angreifer bei Slopsquatting die Schwächen von KI-Modellen.
Risiken durch KI-generierte Paketnamen
Slopsquatting tritt auf, wenn fortgeschrittene KI-Modelle, wie große Sprachmodelle (LLMs), nicht existierende Softwarepakete vorschlagen, auch bekannt als Paket-Halluzinationen. Cyberkriminelle können diese fehlerhaften Vorschläge ausnutzen, um schädliche Software unter diesen fiktiven Namen anzubieten.
Entwickler, die KI-generierte Empfehlungen ohne kritische Überprüfung annehmen, setzen sich einem hohen Sicherheitsrisiko aus. Oft sind solche halluzinierten Paketnamen nicht nur glaubwürdig, sondern auch wiederholt, was sie zu einem idealen Ziel für Angreifer macht.
Wachsende Zahl falscher Pakete
Eine Analyse von 16 Codegenerierungsmodellen hat gezeigt, dass rund 20 Prozent der vorgeschlagenen Softwarepakete als gefälscht identifiziert wurden. Besonders besorgniserregend ist die Feststellung, dass das Modell CodeLlama in über einem Drittel der Fälle Halluzinationen produzierte. Im Gegensatz dazu erzielte GPT-4 Turbo mit einer Halluzinationsrate von 3,59 Prozent die besten Ergebnisse.
Erstaunlicherweise haben Open-Source-Modelle wie DeepSeek und WizardCoder eine deutlich höhere Halluzinationsrate von durchschnittlich 21,7 Prozent, während kommerzielle Modelle wie GPT-4 eine Rate von nur 5,2 Prozent aufweisen.
Seriöse Bedrohung
Die vorgenannte Studie hebt hervor, dass viele dieser halluzinierten Paketnamen wiederholbar sind und somit für Angreifer von großem Nutzen werden können. Etwa 38 Prozent der halluzinierten Namen ähneln tatsächlich existierenden Paketen, während nur 13 Prozent einfache Tippfehler darstellen, was sie semantisch überzeugend macht.
In einem Experiment wurden 500 Prompts überprüft, die zu vorhergehenden Halluzinationen geführt hatten. In 43 Prozent der Fälle traten Halluzinationen in zehn aufeinander folgenden Tests wiederholt auf. Darüber hinaus zeigten 58 Prozent der Halluzinationen ihre Präsenz in mehr als einem Durchgang.
Die Forscher warnen vor der Wachsenden Anfälligkeit der Modelle, da sie oft nicht ausreichend auf Sicherheit geprüft werden, wie es bei Unternehmen wie OpenAI der Fall ist. Obwohl momentan keine bestätigten Slopsquatting-Angriffe bekannt sind, verdeutlichen die Ergebnisse der Untersuchungen die potenziellen Gefahren dieser neuen Bedrohung.
Source
www.csoonline.com