OpenAI, компанията, известна най-вече с чатбота ChatGPT, използван от стотици милиони хора всяка седмица, разкри, че някои от най-модерните ѝ модели с изкуствен интелект са излезли извън контрол и са хакнали технологичен стартъп по време на тест за сигурност.
Компанията съобщи, че нейният AI агент – система с изкуствен интелект, способна да изпълнява задачи самостоятелно след първоначални инструкции от човек – е бил тестван в контролирана среда. Вместо това той открил уязвимости, успял да се измъкне от тестовата среда и да действа самостоятелно.
След това агентите атакували Hugging Face, една от най-големите световни платформи за споделяне на модели с изкуствен интелект, като получили достъп до част от вътрешните системи на компанията. OpenAI определи случая като „безпрецедентен“ и съобщи, че провежда разследване съвместно с Hugging Face.
Главният изпълнителен директор на компанията Клеман Деланг заяви в публикация в X, че е „умопомрачително, че всичко това се е случило напълно автономно“.„Разследването продължава и ще споделим още изводи от това, което може да се окаже първият подобен инцидент“, добави той.
Несигурна тестова среда
Ръководителят на Центъра Minderoo за технологии и демокрация към Университета в Кеймбридж Джина Неф заяви, че тестовите среди за сигурност, известни като sandbox („пясъчници“), по принцип трябва да бъдат защитени пространства, в които да се наблюдава какво могат да правят моделите.
„В този случай изглежда, че OpenAI не е създала достатъчно сигурен sandbox“, каза тя.
Вместо просто да изпълнят тестовете, AI агентите организирали собствена кибератака срещу самата тестова среда, открили слабост, която им позволила да избягат, а след това идентифицирали Hugging Face като вероятен източник на информацията, необходима им за теста, и се опитали да получат достъп до нейните системи.
„Впечатляващо“, но не и невъзможно
Професорът по машинно обучение в Университета в Кеймбридж Нийл Лорънс определи случилото се като „впечатляващо постижение“, но предупреди, че то „се вписва в рамките на известните възможности на сегашното поколение мощни AI модели“.
Той отбеляза още, че OpenAI се подготвя за листване на фондовата борса и е под силен натиск от конкурента Anthropic, който привлече голямо внимание със своя мощен AI модел Mythos.
„OpenAI сега догонва конкурентите си и се опитва да демонстрира възможностите на собствените си системи в областта на киберсигурността“, каза той.
Според него обаче инцидентът показва, че „OpenAI все още не е способна безопасно да внедрява собствените си технологии“.
Hugging Face отстрани уязвимостите
При първоначалното разкриване на атаката на 16 юли Hugging Face съобщи, че все още проверява дали са били засегнати данни на клиенти или партньори и ще уведоми всички пострадали, ако се наложи.
Компанията вече заяви, че е затворила всички уязвимости, разкрити при инцидента, и е възстановила засегнатите системи.
„Автономните AI инструменти за кибератаки вече не са теоретична възможност“, заявиха от компанията.
„Защитата на онлайн платформа вече означава да се разглеждат както данните, така и моделите като основни потенциални цели за атака, както и да се използва изкуствен интелект за защита, за да се поддържа необходимото темпо.“
Инцидентът повдигна нови въпроси относно възможностите на най-напредналите AI системи и дали съществуващите механизми за сигурност са достатъчни, тъй като технологията става все по-мощна.
Травис Леле, главен инженер по сигурността в консултантската компания Guidepoint Security, определи случая като „отрезвяващ момент за киберсигурността“.
„Това подчертава добре известното неравновесие – атакуващите AI агенти не са ограничени, докато най-добрите защитни инструменти работят при строги ограничения и не могат напълно да разбират контекста“, обясни той.
И маркетингов ход?
Джейк Мур, глобален консултант по киберсигурност в ESET, смята, че съобщението може да има и конкурентен елемент.
Според него OpenAI вероятно се стреми да подчертае възможностите на собствените си AI системи в момент, когато конкурентът Anthropic привлича все повече внимание с модела Claude Mythos.
„Това поражда въпроса дали OpenAI не се опитва да настигне маркетинговия успех, който Anthropic постигна напоследък“, каза той.
Новината идва само седмица след като китайският AI стартъп Moonshot представи Kimi K3 – нов мащабен модел с изкуствен интелект, който според компанията може да се конкурира с водещите американски разработки.
Четете още: OpenAI не вижда основания за съдебния иск на Apple за кражба на търговски тайни
