Project Genie — это экспериментальный прототип от Google, который позволяет создавать, исследовать и изменять собственные интерактивные миры. Этот проект доступен для участников программы Google AI Ultra в США старше 18 лет, с планами на дальнейшее расширение.
В основе Project Genie лежит концепция «модели мира». Чтобы лучше понять эту технологию, мы обратились к Шломи Фрухтеру и Джеку Паркер-Холдеру из Google.
Что такое модель мира?
Джек: Project Genie — это инструмент для создания собственных миров с персонажами и окружениями, которые можно исследовать в реальном времени. Например, вы можете отправиться на чужую планету или нырнуть под воду к морским существам. Любое, что придет вам в голову.
Шломи: Обычно мы моделируем варианты нашего мира, так как это то, что нам знакомо и важно. Модель мира предсказывает, что произойдет на основе механики такого альтернативного мира. Например, если вы войдете в комнату, которая похожа на предоставленное вами изображение вашей комнаты, как она будет выглядеть при движении? Как отразится свет от деревянного пола? Все эти динамические процессы — будь то пролитая вода или дождь — моделируются от начала до конца без использования игрового движка. Вы можете взаимодействовать с объектами: если на полу лежит мяч, вы можете подтолкнуть его, и он начнет катиться, как это происходит в реальности.
История модели мира
Джек: Хотя термин «модель мира» может быть новым для многих, идея не нова. Одной из работ, популяризировавших эту концепцию, является статья 2018 года от Google Brain (теперь часть Google DeepMind) авторства Дэвида Ха и Юргена Шмидхубера. Они впервые обучили модель мира на основе визуального домена.
Различия между моделями мира и большими языковыми моделями
Шломи: Модель мира пытается предсказать, что произойдет дальше в мире, основываясь на последовательности действий агента. В отличие от больших языковых моделей, которые предсказывают следующее слово и учатся представлению языка, модель мира симулирует весь мир момент за моментом в ответ на действия агента. Она учится представлению мира через эту простую задачу.
Как работает взаимодействие с Genie?
Джек: Лучший способ начать работу с Genie — использовать изображение или несколько изображений, например Nano Banana, и текст. Хотя можно обойтись только текстом, добавление визуального элемента делает процесс более увлекательным. Например, вы можете загрузить фотографию собаки на пляже и описать динамику сцены — как море волнуется.
Потенциальные применения моделей мира
Джек: Одним из применений является обучение ИИ-агентов действовать в реальном мире. Прямое взаимодействие с реальным миром может быть опасным и затратным, поэтому симуляция предоставляет безопасное поле для экспериментов. В образовании модели мира могут использоваться для увлекательных занятий по истории или науке. Например, учитель может показать класс древний Рим и предложить детям взаимодействовать с окружающей средой.
Для научного обучения можно исследовать подводные погружения — уже есть примеры таких сценариев. Это может быть революцией в образовании и профессиональной подготовке, позволяя людям ознакомиться с опасными профессиями без реальных рисков.
Другие перспективы использования технологии
Шломи: Genie все еще находится на стадии прототипа, но ранние тестировщики уже используют его для разработки идей игр. Фильмейкеры также заинтересованы в использовании этой технологии для создания новых сред для своих фильмов. В будущем это может привести к появлению нового медиа, где границы между просмотром фильма и игрой стерты, создавая более интерактивный опыт.
Пока это базовая версия, но она дает представление о том, что можно будет сделать в будущем.