Теоретично е възможно един чатбот да хване лъжите на друг чатбот, но това е сложна задача, която зависи от редица фактори.
Ако попитате система с изкуствен интелект като ChatGPT къде се намира Айфеловата кула, има голяма вероятност чатботът да отговори правилно – „Париж“. Но ако питате същия въпрос отново и отново, може би в крайна сметка ще ви отговори, че всъщност е в Рим. Тази грешка може да изглежда незначителна, но тя е сигнал за по-сериозен проблем, който измъчва генеративния изкуствен интелект: халюцинацията. Тя представлява ситуация, при която изкуственият интелект създава съдържание, което не отговаря на реалността.
Понякога, както в случая с Айфеловата кула, халюцинацията е очевидна и безобидна. Но има случаи, в които грешката може да има опасни последици: например, изкуственият интелект може да „халюцинира“ при генериране на медицински съвети. Поради начина, по който са изградени съвременните чатботове, те са склонни да представят всички свои твърдения с еднаква увереност, независимо от темата или точността. „За един езиков модел няма разлика между нещо, което е вярно, и нещо, което не е“, казва изследователят по изкуствен интелект Андреас Кирш, който преди е работил в Оксфордския университет.
Халюцинациите се оказаха неуловими и упорити, но компютърните учени усъвършенстват начините за откриването им в голям езиков модел, или LLM (видът генеративна AI система, която включва ChatGPT и други чатботове). Сега нов проект има за цел да провери резултатите на LLM за съмнителни грешки, като го пусне през друг LLM. Тази втора AI система изследва множество отговори от първата, като оценява тяхната последователност и определя нивото на несигурност на системата.
По принцип е подобно на това да осъзнаете, че определен човек е склонен към „непоследователни истории“, казва Яник Косен, доктор на науките в Оксфордския университет и автор на новото изследване. Концепцията за взаимно разпитване на AI системите не е нова идея, но подходът на Косен и неговите колеги надмина предходните показатели за откриване на халюцинации.
Изследователите демонстрират своята техника с пример, където първият LLM се пита къде е Айфеловата кула. Първият LLM може да генерира няколко отговора, като например „Париж“, „Франция“ или дори „Ню Йорк“. Вторият LLM тогава би анализирал тези отговори и би определил, че има халюцинация, тъй като един от отговорите е несъответстващ.
Подходът на изследователите показва обещание за подобряване на надеждността на LLM. Чрез използване на множество LLM заедно, можем да намалим риска от халюцинации и да гарантираме, че LLM предоставят точна и надеждна информация.
В показания по-горе пример първият LLM генерира три отговора: „Това е отговорът“, „Ето друг възможен отговор“ и „Не съм сигурен, но може би…“ Вторият LLM би забелязал, че първият отговор е различен от втория и третия отговор, което би довело до откриване на халюцинация.
Авторите на изследването се фокусират върху вид халюцинации при LLM, които те определят като „измислици“ – произволни и неверни твърдения. За разлика от други видове грешки при изкуствения интелект, които могат да възникнат от неточни тренировъчни данни или проблеми в разсъждаването, измислиците са резултат от присъщата случайност на процеса на генериране от модела.
Четете още на : OpenAI ще може да обучава своя ChatGPT, използвайки съдържание от News Corp.
