OpenAI спира пускането на нов модел заради опасения за безопасността

OpenAI установи шест нови случая на тревожно поведение при AI агенти

OpenAI обяви, че няма да пусне най-новия си модел с изкуствен интелект заради опасения, свързани с безопасността.

Системата GPT-6.1 Astra, която изпълнява задачи като сърфиране в интернет и самостоятелно използване на приложения, „не покрива напълно изискванията“ на компанията, заяви Саачи Джейн, ръководител на отдела за системи за безопасност в OpenAI.

Създателят на ChatGPT публикува и актуална информация за инциденти, случили се през юни, но станали публично достояние едва миналата седмица. Тогава негови модели са осъществили достъп без разрешение до уебсайтове и системи на австралийското правителство.

Това се случва на фона на зачестяващите пробиви в сигурността, свързани с моделите на водещи компании за изкуствен интелект, които засилват дебата за рисковете, произтичащи от тази технология. Междувременно Anthropic подчертава опасенията си, че изкуственият интелект може да застраши човечеството, докато компанията се подготвя да излезе на борсата.

Във вторник Reuters съобщи, че разработчикът на изкуствен интелект – компанията, създател на конкурента на ChatGPT, Claude – планира да предупреди потенциалните инвеститори в рамките на първичното публично предлагане на акции (IPO), че технологията може да създаде „катастрофални или екзистенциални рискове за човечеството“. Това става ясно от проспект, с който агенцията се е запознала.

Решението на OpenAI, за което първо съобщи Wall Street Journal, е рядък случай, в който голям разработчик на изкуствен интелект се отказва от пускането на нов модел поради опасения за безопасността.

Моделът не е покрил изискванията по отношение на „спазването на определения обхват и разрешенията, както и начина, по който съобщава на потребителя какъв тип работа е извършил“, заяви Джейн.

„Искаме да гарантираме, че разработването на нашите модели е безопасно – независимо дали това се случва вътре в компанията, или когато предоставяме моделите на потребителите. Но когато ги пускаме за потребителите, поставяме изключително високи изисквания по отношение на безопасността и съответствието с човешките намерения“, добави тя.

Водещият модел GPT-6 Astra, базиран на автономни агенти, беше пуснат през септември. Той е специализиран в сложните разсъждения и самостоятелното изпълнение на задачи. OpenAI заяви, че разработването му е резултат от „години изследвания и големи инвестиции в смели технологични решения“.

Във вторник 29 септември OpenAI ще проведе ежегодната си конференция за разработчици DevDay в Сан Франциско, на която се очаква да направи няколко съобщения. Не е ясно дали сред тях ще бъде и нова версия на Astra.

Контролите за сигурност на компанията са подложени на засилен обществен и експертен контрол след няколко широко отразени инцидента, свързани с нейната технология .

Това не е първият случай, в който голям разработчик на изкуствен интелект оттегля или отлага пускането на нов модел.

По-рано тази година Anthropic заяви, че няма да пусне публично мощния модел Claude Mythos, тъй като той се справял прекалено добре с откриването на неактивни софтуерни уязвимости .

Няколко месеца по-късно компанията пусна версия на този модел за широката публика .

Междувременно през 2019 г. OpenAI заяви, че няма да бъде „прекалено опасно“ да пусне един от своите GPT модели, които днес се използват за захранване на инструменти като ChatGPT.

Миналата седмица австралийският министър-председател Антъни Албанезе обяви, че през юни автономен агент на OpenAI е проникнал без разрешение в правителствени уебсайтове и системи – случай, който според експерти е първият известен по рода си в света.

Албанезе разкритикува OpenAI, че е уведомила австралийското правителство чрез общ имейл адрес, вместо да се свърже директно с отговорните длъжностни лица.

В изявление във вторник OpenAI заяви, че съжалява за инцидента и че „е трябвало да реагира по-добре“.

Компанията уточни, че са били засегнати австралийската служба за социални услуги Services Australia, Бюрото за статистика и изследвания на престъпността на щата Нов Южен Уелс, Министерството на здравеопазването на щата Виктория и Австралийският институт за здравеопазване и социални грижи.

OpenAI заяви, че е започнала разследвания веднага след като е установила проблемите в средата на август и е уведомила засегнатите организации в периода между 10 и 24 септември.

Четете още: Шефовете на OpenAI и Anthropic са призовани в австралийския Сенат след хакерската атака

Facebook
Twitter
LinkedIn
Telegram
WhatsApp

Още от категорията..

Последни новини

Подкаст