Группа исследователей из Университета Эрлангена — Нюрнберга, Института информатики Общества Макса Планка и Стэнфордского университета разработала технологию Face2Face, которая позволяет переносить мимику любого человека на лицо другого, заранее записанного на видео. Ученые продемонстрировали свою технологию на базе выступлений Барака Обамы и Дональда Трампа, а также на новогоднем обращении Владимира Путина.
При помощи датчика глубины изображения система строит маску для каждого из двух участников трансляции. К маске привязаны условные мимические точки на поверхности лица. Считывая деформацию маски источника, система в режиме реального времени создает фотореалистичную анимированную версию лица принимающей стороны поверх настоящего изображения.
По словам создателей Face2Face, от решений конкурентов их технология отличается высокой точностью. Даже если говорящая голова на видео подвижна, перенос мимики происходит почти без ошибок.