К взлету готовы: изучаем исследовательский потенциал Microsoft Flight Simulator 2020

В недавно вышедшей игре Microsoft Flight Simulator 2020 (MFS2020) игроки могут летать по всему миру благодаря интеграции различных технологий. Игра берет спутниковые снимки с Bing Maps, а затем наполняет их объектами (например, деревьями и зданиями) с помощью облачной сети Microsoft Azure. Благодаря алгоритму машинного обучения Blackshark.ai игра «знает», какие объекты необходимо рендерить в 3D.

В результате появляются впечатляющие реалистичные картины любой точки Земного шара: от городов и поселков до чудес природы. Рендеринг объектов и пейзажей в игре выглядит так впечатляюще, что мы задумались, нельзя ли его использовать как инструмент для расследований по открытым источникам. Могут ли 3D-модели, созданные игровым ИИ, оказаться такими точными, чтобы помочь с геолокацией, а если нет, можно ли их использовать для других целей?

Чтобы дать ответы на эти вопросы, мы несколько дней экспериментировали с MFS2020, посетив крупные и небольшие города, зоны конфликтов и даже экологически опасные районы. Мы выяснили, что 3D-модели в игре недостаточно точные, чтобы их можно было использовать для геолокации. Однако рендеринг рельефа, а также динамическое освещение и погода могут помочь расследователям «почувствовать» местность, которую они изучают.

Сотворение мира с помощью ИИ (и его ограничения)

Первым наше внимание обратил на себя такой аспект игры, как рендеринг 3D-зданий: согласно Microsoft, всего таких зданий 1,5 миллиарда в 2 миллионах городов. На сайте Blackshark.ai описано, как их алгоритм идентифицирует и рендерит здания из спутниковых снимков в любой области. Для сравнения, Google Earth Pro крайне важен для геолокации, поскольку он предоставляет пользователям не только спутниковые снимки в высоком разрешении, но и 3D-модель рельефа. Если бы в MFS2020 были еще и точные модели зданий со всего мира, эта программа могла бы быть полезна для геолокации.

Однако после нескольких экспериментальных полетов стало понятно, что хотя ИИ создает впечатляющие общие картины городов, некоторые важные ограничения делают его ненадежным инструментом для такой точной задачи, как геолокация.

Например, иногда ИИ не узнает строений и вообще не рендерит их (или помещает их в некорректные места). Пример — район Сеула, Южная Корея:

Слева: район Сеула, Южная Корея в MFS2020. Заметьте, как некоторые здания не отрендерились, а другие оказались посреди дорог. Справа: тот же район в Bing Maps (источники: Microsoft Flight Simulator 2020/Bing Maps)

Даже когда игра узнает здание и рендерит его, результат иногда получается неточным. Например, этот район в венесуэльском городе Майкетия, где несколько зданий отображаются с неправильной высотой (три из них отмечены ниже). Другой пример неправильного рендеринга высоты см. в этой статье PC Gamer.

Слева: три жилых здания в MFS2020. Right: Справа: тени на спутниковом снимке Bing Maps говорят о том, что на самом деле они гораздо выше, чем в игре (источник: Microsoft Flight Simulator 2020/Bing Maps)

Это также видно в случае с уникальными строениями. Пример — Эль-Геликоид, здание в Каракасе, которое строилось в 50-е годы как суперсовременный торговый центр, однако теперь используется как тюрьма для политических заключенных. ИИ видит здание и пытается его отрендерить, но правильно определяет лишь часть элементов конструкции:

Игра узнала некоторые элементы здания и отрендерила их (источник: Microsoft Flight Simulator 2020)

Топография, освещение и погода

Как мы успели заметить за неделю, игра очень хорошо справляется с топографией и даже, по нашему мнению, превосходит Google Earth. Дело в том, что в отличие от Google Earth, в MFS2020 присутствует динамическое освещение, тени и атмосферные эффекты, что создает более реалистичные пейзажи (стоит отметить, что часть этих особенностей есть и в Google Maps, что позволяет создавать более «живые» пейзажи, чем в Google Earth Pro). Однако мы чаще используем для геолокации именно Google Earth Pro, поскольку навигация в нем удобнее, а также потому, что там есть много полезных для нас инструментов, в том числе импорт/экспорт KML-файлов.

Скриншоты ниже были сделаны на одном и том же месте на западе Йемена, где в августе 2015 года нанесла авиаудар саудовская коалиция. Верхний кадр — место удара в Google Earth Pro, а нижний — то же место и направление камеры, но в MFS2020:

Источник: Google Earth Pro

Источник: Microsoft Flight Simulator 2020

Аналогичные результаты очевидно и для этого пейзажа у озера Луиза, Альберта, Канада:

Источник: Google Earth Pro

Источник: Microsoft Flight Simulator 2020

Ниже представлено сравнение трех кадров горы Арарат со стороны Турции. Верхний кадр — гора в Google Earth Pro; средний — фотография горы, а нижний снят в MSFS2020.

Источник: Google Earth Pro

Источник: Wikimedia Commons

Источник: Microsoft Flight Simulator 2020

В игре также есть динамическая система погоды и времени суток, которые можно менять в настройках. Ниже — пример работы этой опции в игре у перуанской горы Алпамайо:

Все грехи человечества как на ладони

Игра может рендерить не только прекрасные пейзажи и захватывающие панорамы городов, но и местности, где человечество оставило самые черные следы. Виртуальный мир MFS2020 полон моделей зон конфликта и антропогенных катастроф.

Ниже виден Центр обработки Таможенной и пограничной службы США в МакАллене, штат Техас, где американские власти удерживают мигрантов без документов. Этот объект попал в СМИ в 2018 году, когда появились кадры отвратительных условий, в которых содержались мигранты, в том числе дети.

Источник: Microsoft Flight Simulator 2020

С помощью базы данных «лагерей перевоспитания» в Синьцзяне, которую составил Австралийский институт стратегической политики, мы нашли в игре такой лагерь в городе Кашгар (стоит отметить, что на более актуальном кадре Google Maps на этом месте видно больше зданий):

Лагерь в Кашгаре в MFS2020 (источник: Microsoft Flight Simulator 2020)

В Украине мы нашли следы продолжающегося вооруженного конфликта в виде воронок под Саур-Могилой:

Источник: Microsoft Flight Simulator 2020

Игра также отрендерила строения возле Кузьминского полигона — российской военной базы, которая использовалась как плацдарм для российских войск (обратите внимание на более актуальный снимок базы в Google Maps):

Источник: Microsoft Flight Simulator 2020

На спутниковом снимке Донецкого аэропорта в Bing Maps видны лишь небольшие повреждения терминала (который на самом деле полностью уничтожен). Поэтому в игре аэропорт представлен как полностью действующий: у терминала есть самолеты, на парковке — автомобили, на взлетной полосе — машины наземного обслуживания:

Совершенно целый и действующий Донецкий аэропорт в MFS2020. На самом деле аэропорт полностью уничтожен (источник: Microsoft Flight Simulator 2020)

В этом районе на северо-востоке Дамаска на спутниковом снимке видны обломки зданий, разрушенных из-за обстрелов. Игра рендерит те здания, которые определяет как до сих пор стоящие:

Игра отрендерила некоторые здания, которые выглядят относительно целыми на спутниковом снимке этого района в Дамаске, Сирия на Bing Maps (источник: Microsoft Flight Simulator 2020)

Игра также рендерит деревья. Ниже — фрагмент обезлесевших джунглей в Бразилии у границы с Боливией:

Источник: Microsoft Flight Simulator 2020

В Венесуэле видны печальные кадры экологического ущерба, нанесенного шахтой Лас Кларитас:

Шахта в игре (источник: Microsoft Flight Simulator)

Дальнейшие исследования

Другие стоящие направления исследований MFS2020 — отображение погоды и воздушного трафика в реальном времени. Например, было бы интересно посмотреть, как в игре отображаются грозы или ураганы.

Поскольку в мире есть места, пикселизированные в Bing Maps, мы проверили несколько из них, чтобы увидеть, пикселизированы ли они в игре (список пикселизированных/размытых территорий в картографических сервисах см. в этой статье Википедии). Мы обнаружили, что игра все равно рендерит некоторые здания в двух местах, которые мы проверили. Однако было бы интересно изучить другие места, чтобы понять, как игра решает, что и когда рендерить.

На снимках ниже видно, что хотя игра рендерит некоторые здания на этой военной базе в Лорьяне, Франция, там при этом не отображаются многие здания, которые видны на непикселизированном спутниковом снимке:

Источник: Microsoft Flight Simulator 2020

Источник: Bing Maps

Игра также рендерит охладительные башни и другие здания на атомной электростанции Каттеном во Франции, хотя спутниковый снимок Bing Maps пикселизирован и скрыт облаками пара:

Note that the game has rendered the buildings in the power plant despite them being obscured in the satellite image below (Source: Microsoft Flight Simulator 2020)

Источник: Bing Maps

Заключение

Мир MSFS2020 поразительно красив и детально проработан, что делает проведенные за игрой часы незабываемыми. Эта игра явно имеет некоторый потенциал как инструмент для расследований по открытым источникам. 3D-модели зданий — одна из особенностей, которые делают игру интересной, однако из-за обнаруженных нами неточностей потенциал этой особенности для геолокации очень ограничен. Однако рендеринг в игре более общих элементов рельефа, а также динамическое отображение погоды и времени суток может помочь исследователям визуализировать местность, с которой они будут работать.

Точная копия нашей планеты, воссозданная с высокой точностью и наполненная (пусть и не идеально похожими) объектами, — впечатляющее достижение на пути к будущим технологиям симуляции реальности.

Благодарим Эрика Толера за помощь при написании этой статьи.