У нас – первый матч ¼ ЧМ-2018, у них – удивительный футбольный лайфхак

Совместная исследовательская лаборатория University of Washington, Facebook и Google на прошедшей в конце июня в Солт-Лейк-Сити (США) крупнейшей конференции по компьютерному видению Conference on Computer Vision and Pattern Recognition объявила, что разработала систему распознавания, способную переводить двухмерное видеоизображение футбольного матча в трехмерную реконструкцию, которую зрители могут наблюдать с помощью устройств дополненной реальности или различных 3D-технологий.

Буквально в начале года Вашингтонский государственный научно-исследовательский университет сообщил об открытии лаборатории по изучению дополненной и виртуальной реальностей UW Reality.Facebook, Google и Huawei, совместно инвестировали в этот проект $6 млн, и вот, спустя шесть месяцев, сотрудничество принесло первые плоды. На CVPR 2018 команда представила концепт, состоящий из небольшого макета футбольного поля, очков дополненной реальности и проприетарного программного обеспечения. ПО базируется на нейронной сети, способной всесторонне анализировать поступающую картинку, определяя различные параметры находящихся в кадре объектов, отслеживать их, и в реальном времени воссоздавать 3D-модель.

Комментируют разработку исследователи University of Washington, Константинос Рематас, Ира Кемельмахер-Шлизерман, Брайан Кернслес и Стив Зейтц:

Созданная нами система самообучаема и постоянно совершенствуется, анализируя модели, применяемые в футбольных видеоиграх. Один из наиболее распространенных способов трехмерной реконструкции футбольного поля заключается в размещении по периметру множества камер, а затем построении на основе снимаемого ими изображения трехмерной модели. Подобная концепция не раз была освещена в международной прессе, найдя свое воплощение в коммерческом продукте Replay FreeD и ряде других. Получаемые с помощью подобной технологии результаты действительно впечатляют, но требуют физического присутствия оборудования на матче, синхронизации множества камер и внушительный вычислительный потенциал, необходимый для работы со множеством потоков видео высокого разрешения. Для нашей системы ничего этого не требуется. Достаточно просто воспроизвести ролик из YouTube

Созданная лабораторией система способна моментально обнаруживать игроков на видео, оценивать их положение и форму тел, отслеживать перемещения и расположение на поле, воссоздавая все это на виртуальной сетке. Смотрящий на макет футбольного поля зритель, предварительно одевший очки дополненной реальности, может видеть происходящий матч так, как если бы он был на стадионе, при этом сложной многоканальной видеозаписи для этого производить не требуется. В дальнейшем разработчики обещают реализовать возможность самостоятельного выбора ракурса, позволяющую смотреть спортивные события с любого угла и с любого расстояния.

Пока технология находится на стадии тестирования и не доведена до совершенства, имея ряд неточностей в проработке сцен, так что ее массовое распространение мы вряд ли увидим раньше следующего чемпионата мира по футболу, который состоится в 2022 году в Катаре. Тем не менее перспективы у нее, определенно, весьма неплохие — посмотреть футбольный матч прямо у себя на столе захочет каждый зритель, особенно если технология станет общедоступной.

Читайте АВ Клуб в Telegram