Системы с машинным обучением делают сцены из GTA похожими на реальный мир

Для придания кадрам из популярной игры реалистичности исследователи Intel использовали набор данных Cityscapes Dataset, коллекцию изображений центральной части немецкого города, снятых с помощью автомобильной камеры.

Благодаря новому подходу, помимо обработки изображения, созданного игровым движком Grand Theft Auto V, нейронная сеть также использует другие обработанные данные, к которым игровой движок имеет доступ, такие как глубина объектов в сцене и информация о том, как освещение обрабатывается и рендерится. В результате получилось фотореалистичное видео.

Исследователь Intel Стивен Рихтер заявил, что «краеугольным камнем» в их методе является сверточная сеть, архитектура глубокого обучения, которая обычно используемая для обработки изображений. Команда обучила свои сверточные сети на реальных изображениях, чтобы преобразовать графику GTA V в модель реальности.

Для игр, симуляторов и фильмов необходимо проделать огромный объем работы по моделированию объектов, материалов и так далее, чтобы они выглядели реалистично. Но при правильной настройке сверточных сетей они могут автоматически генерировать эти вещи непосредственно из реальных коллекций фотографий.

Стивен Рихтер, исследователь Intel

Результат просто поражает: в окнах машин появились отражения, дороги вымощены гладким асфальтом, а  растительность приобрела более яркую текстуру. Тем не менее, Рихтер отмечает, что обновленная цветовая палитра была связана с записывающим оборудованием. Городские пейзажи были сняты автомобильной камерой с характерным зеленым оттенком. Следовательно, изображения, улучшенные так, чтобы они выглядели как городские пейзажи, также приобретают этот зеленый оттенок. Виды были записаны с помощью разнообразного набора камер, включая, например, камеры смартфонов.

Кроме того, Рихтер сообщил , что на результат повлияли нереалистичные аспекты GTA V. В GTA гораздо меньше трафика, чем в реальном мире, будь то в городах Калифорнии или Германии. То, как настроен метод Intel, не должно это менять и не будет. Он не добавит машин или пешеходов, если их нет в исходном кадре игры. То же самое и с мусором на улице или на тротуаре. Поэтому чистые сцены GTA с меньшим количеством грязи и трафика, чем реальный мир, могут показаться менее реалистичными, чем реальные фотографии.