Българският институт INSAIT – част от Софийския университет, заедно с водещи международни изследователски институции, обяви пускането на SceneSplat-49k – най-голямата отворена колекция от висококачествени и сложни 3D сцени във формат Gaussian Splatting. Заедно с нея беше представен и SceneSplat-Benchmark – база за оценка на модели, работещи с Language Gaussian Splatting.
Проектът е плод на сътрудничеството между INSAIT, Университета на Амстердам, ETH Цюрих, Университета по аеронавтика и космонавтика в Нанджинг, Университета Джонс Хопкинс, Университета в Пиза и Университета в Тренто. Той се разглежда като важна стъпка към следващото поколение 3D системи за изкуствен интелект с приложения в роботиката, виртуалната и добавена реалност, както и в ориентирания към човека изкуствен интелект.
SceneSplat-49k включва 48 856 реконструирани сцени от реалния свят, обхващащи както закрити, така и открити пространства, като 12 061 от тях са обогатени с езикови характеристики. Създаването на набора от данни е резултат от значителен човешки труд и изчислителни ресурси в размер на 861 GPU-дни, което гарантира високо ниво на реализъм и разнообразие.
Language Gaussian Splatting позволява на системите с изкуствен интелект да взаимодействат с 3D среди чрез естествен език и да разбират пространствени и семантични отношения директно в три измерения. До момента развитието на такива системи беше ограничено поради липсата на мащабни, висококачествени 3D данни и стандартизирани методи за оценка.
За да се преодолее този проблем, SceneSplat-Benchmark предлага значително по-реалистични и предизвикателни условия за оценяване. Той обхваща 1060 сцени и 325 семантични класа, и позволява директна оценка на моделите в 3D среда, вместо чрез 2D проекции, което осигурява по-точна и надеждна оценка на разбирането на сцени на ниво пространство.
С това ново поколение отворени данни и базови индекси INSAIT и международните партньори дават на изследователите инструментите за изграждане на по-усъвършенствани AI системи, които могат да „разбират“ и взаимодействат с триизмерния свят.
