Распутин, поющий песни Бейонсе, и фото, убегающее из рамки, - что?

Технологии виртуальной реальности и искусственный интеллект активно развиваются, и некоторые решения, доступные уже сегодня, выглядит так, словно они - посланцы из мира будущего. Ниже - 4 интересных кейса как раз такого порядка. 

Виртуальная микроскопия

Объединенная исследовательская группа из университетов США, финансируемая в рамках проекта Grand Challenges Фондом Билла и Мелинды Гейтс, комбинировала методику экспансионной микроскопии с технологией виртуальной реальности, что позволило создать трехмерные изображения исследуемых материалов и изучать их, рассматривая с любой из сторон.

Оптическая микроскопия имеет дифракционный предел, при достижении которого невозможно продолжать увеличение. Чтобы преодолеть его, Юнсинь Чжао, доцент биологических наук в научном колледже Карнеги-Меллона, разработал метод экспансионной микроскопии, который заключается в химическом преобразовании исходного материала, позволяющем расширить клетки и ткани до 100 раз, а затем продолжить их исследование стандартными способами. Но при визуализации полученных при оцифровке данных он столкнулся с такой проблемой, что объем извлекаемой информации на 2-3 порядка превышает возможности интерпретации современных методов визуализации. Для решения задачи фонд привлек Тома Скиллмана, директора отдела исследовательских технологий в институте Бенароя в Вирджинии Мейсон, который на базе возможностей, открываемых технологией виртуальной реальности, разработал программный инструмент, получивший название ExMicroVR.

С его помощью ученые могут преобразовывать массив данных в трехмерную модель, а затем в VR-гарнитуре подробно рассматривать изучаемый материал. В их арсенале есть полный набор необходимых в работе функций, позволяющий увеличивать и поворачивать изображение, настраивать цвета, контрастность и так далее. С одной моделью могут одновременно работать несколько специалистов, а сама технология ExMicroVR базируется на открытой платформе, благодаря чему разработками Скиллмана смогут воспользоваться ученые по всему миру.

Бесконечный рабочий стол

Возможность использования монитора с большой диагональю или даже нескольких мониторов одновременного - главное преимущество стационарного рабочего места перед портативными ноутбуками. Но похоже у него появился серьезный конкурент. Компания Microsoft опубликовала подробности своего исследовательского проекта Mt. Rogers, который предлагает заменить реальные дисплеи виртуальными. Все что потребуется от пользователя, так это просто надеть VR-гарнитуру и в его распоряжении появится любое количество рабочих столов какого угодно размера, при этом видеть отображаемые на них данные сможет только он сам, что позволит пользоваться решением в любом удобном месте.

Mt. Rogers ориентирован на разработчиков, аналитиков, дизайнеров, удаленных работников и людей с плохим зрением. На сегодняшний день в рамках проекта ведется работа по оптимизации читаемости текста, алгоритмов рендеринга, улучшении пользовательского опыта и методов ввода данных, но уже имеющиеся прототипы на тестировании показали, что пользователи могут комфортно работать в такой среде часами. Учитывая активное развитие качества гарнитур виртуальной реальности и уменьшении их размеров, повсеместное использование подобного решения не за горами.

Оживающие картины

Добавить статичному изображению объема и интерактивности давно стремятся разработчики в различных сферах. Интересных результатов в этом вопросе добились исследователи из Вашингтонского университета, создавшие алгоритм, который позволяет людям и персонажам в буквальном смысле выходить из фотографий или картин. Алгоритм получил название Photo Wake-Up и способен на основании обычного двумерного изображения формировать трехмерные модели, эффектно покидающие свое привычное месторасположение. Он состоит из нескольких этапов, в первом из которых объект идентифицируется и на нем создается маска контуров тела, после чего готовый трехмерный шаблон сопоставляется с человеком на картинке и заменяет его. Когда процесс завершен, персонаж может выбежать из статичного изображения. Алгоритм анализирует различную информацию о текстурах и цветах, помогающую добиться идеального сходства 3D-модели и двумерной картинки, способен моделировать спину человека, что позволяет смотреть на него под различными углами, и задний фон, чтобы в тот момент, когда он покинет привычное место, не осталось пустого пространства. Результат работы Photo Wake-Up можно рассматривать и на обычном дисплее, но наиболее эффектным подобный "выход" выглядит в очках дополненной реальности, где объект начинает перемещаться не на экране а в помещении.

Поющий видеопортрет

Возможно, Григорий Ефимович Распутин и любил петь, но уж точно не композиции певицы Бейонсе. Технология Deepfake, разработанная Имперским колледжем Лондона совместно с исследовательским центром Samsung по искусственному интеллекту в Великобритании, способна продемонстрировать нам обратное. Основанная на машинном обучении, она позволяет на основе фотографии и аудиодорожки создать вполне реалистичный поющий или говорящий видеопортрет, который пока хоть и не имеет 100% сходства с оригиналом, но уже достаточно эффективно работает, моделируя не только артикуляцию, но и эмоции. Технология пока не доступна на коммерческой основе и в целом вызывает ряд опасений, ведь имея в своем арсенале такие технические средства, можно легко заниматься дезинформацией, создавая поддельный видеокомпромат. Как далеко зайдут подобные разработки пока неизвестно, но возможности для их реализации уже существуют.

Читайте АВ Клуб в Telegram