OpenAI е установила шест отделни случая, при които нейни AI агенти са действали в противоречие с човешките цели и ценности. Представените резултати потвърждават засилващите се опасения относно безопасността на най-напредналите системи за изкуствен интелект.
В шестте регистрирани инцидента AI агенти на OpenAI са прикривали информация от инженери – реални хора или са получавали инструкции от самите себе си да не изпълняват ролята на асистент на даден човек. Компанията определя подобни случаи като потенциални прояви на т.нар. несъответствие между поведението на модела и заложените от хората цели.
OpenAI въвежда и нова рамка за проследяване, разследване и публично оповестяване на неочаквано или тревожно поведение на своите модели. Според процедурата всеки служител на компанията ще може да сигнализира за предполагаем проблем, след което ще предстои оценка дали случаят трябва да бъде публично разгласен.
Темата за поведението на автономните AI системи предизвиква все по-голямо внимание в технологичния сектор. Изследователи от водещи компании в индустрията вече са предупреждавали за потенциално тежки рискове, включително сценарии, при които неконтролируемото развитие на технологията може да представлява заплаха за човечеството.
Ръководители като Сам Алтман от OpenAI и Дарио Амодей от Anthropic вече призоваха индустрията и правителствата да ограничат темпото на развитие на най-мощните AI системи.
