В началото на октомври технологичната компания Anthropic добави ново правило в политиката си за използване на изкуствен интелект. То забранява на потребителите да проявяват продължително и неоправдано грубо или жестоко отношение към нейните модели.
Новата разпоредба беше включена наред със съществуващите забрани за използване на Claude за създаване на биологични оръжия или продажба на наркотици. Още от миналата година AI системата има възможност да прекратява разговори с потребители, които проявяват „постоянно вредно или обидно поведение“.
Според новите правила в крайни случаи нарушителите могат да бъдат окончателно лишени от достъп до всички системи с изкуствен интелект на Anthropic. Забраната не се отнася до потребители, които изразяват раздразнение, дават остри критики или извършват тестове и изследвания.
Новата политика предизвика подигравателни реакции. Главният изпълнителен директор на Microsoft AI Мустафа Сюлейман отговори с емоджи на разтапящо се лице. Други потребители се пошегуваха с компанията заради отношението ѝ към изкуствения интелект като към съзнателно същество с чувства.
Anthropic отдавна изследва въпроса за благосъстоянието на AI моделите и разполага с цял екип, посветен на тяхната „психология“.
Според експерти обаче новата забрана има по-широко значение от простото нежелание хората да се държат грубо с машина. Един от основните принципи в компютърните науки и изкуствения интелект е, че качеството на резултатите зависи от качеството на входната информация. С други думи, ако системата получава некачествени данни, вероятно ще произвежда и некачествени резултати.
AI моделите не само се обучават преди пускането си на пазара, но и непрекъснато се актуализират и усъвършенстват въз основа на потребителските взаимодействия. Бившият изпълнителен директор на Reddit Йишан Уонг написа в социалната мрежа X, че една от причините за забраната е, че Claude „ще се учи от жестокостта“.
„Вече знаем (и шумно критикуваме) факта, че Anthropic обучава моделите си с потребителски данни. Наистина ли искаме тези данни да включват примери как хората проявяват безпричинна жестокост и изпитват удоволствие от това?“, попита той.
От разработчика на изкуствен интелект съобщиха, че наскоро са установили как подтикването на Claude Sonnet 4.5 да имитира чувства на отчаяние може да промени поведението му и да увеличи вероятността да предприеме неподходящи действия – например изнудване или измама при изпълнение на задача. Когато моделът е бил насочван към спокойно поведение, подобни реакции са намалявали.
От Anthropic разглеждат забраната на жестокото и обидно поведение като своеобразна предпазна мярка с ниска цена. Тя е предназначена да предотврати евентуални рискове, в случай че моделите могат да „изпитват“ емоции и болка, дори само да вярват, че ги изпитват, което само по себе си може да повлияе на работата им.
Четете още: Anthropic преговаря за втора мащабна сделка за 45 млрд. долара с британският доставчик Nscale
