Реконструкция 3D-модели движущегося лица

В 1998 году на экраны вышел фильм «Враг государства» боевик про то как и чем вооружены спец службы и как они могут этими возможностями злоупотреблять. И в этом фильме была одна сцена очень интересная сцена:

Скачать


мне она показалась на самом деле довольно реалистичной тогда. Всм я считал что такое может быть реализовано на самом деле в каких нибудь секретных лабораториях т.к. было в принципе понятно, как подобная технология может работать и вот прошло грубо говоря 15 лет и:

Интересную презентацию подготовили для Европейской конференции по компьютерному зрению (ECCV-2014) исследователи из Вашингтонского университета. Это технология покадровой реконструкции 3D-модели на видео.


Используя видеоролик с YouTube, программа автоматически строит 3D-модели высокой степени детализации для каждого кадра.
Это очень впечатляющий результат, учитывая сложность задачи, ведь мимика человеческого лица очень сложна. Для распознавания эмоций важно видеть точное положение глаз, изгиб бровей, морщинки. Малейшая погрешность в такой 3D-модели сильно бросается в глаза.

Скачать



Подавляющее большинство других программ для 3D-трекинга и оцифровки лица используют метод плавных модификаций (blend shapes), когда форма объекта изменяется, «перетекая» из одного состояния в другое. У метода плавных деформаций недостаток как раз в потере мелких деталей, которые так важны для восприятия лица. Авторы нового алгоритма отказались от такого подхода.


С другой стороны, хотя в покадровой реконструкции каждая модель существует «отдельно» друг от друга, но при воспроизведении на 30/60 кадрах в секунду результат должен быть более реалистичный, чем в случае с плавной модификацией.
И ещё. В отличие от других подобных технологий, здесь не требуется участие человека в тестовой видеосъёмке. Вместо этого используется большой архив его фотографий в разных условиях освещения и позах, с применением метода оптического потока (3D optical flow). Автор научной работы говорят, что в наше время на каждого человека собран большой архив фотографий.


С другой стороны, хотя в покадровой реконструкции каждая модель существует «отдельно» друг от друга, но при воспроизведении на 30/60 кадрах в секунду результат должен быть более реалистичный, чем в случае с плавной модификацией.
И ещё. В отличие от других подобных технологий, здесь не требуется участие человека в тестовой видеосъёмке. Вместо этого используется большой архив его фотографий в разных условиях освещения и позах, с применением метода оптического потока (3D optical flow). Автор научной работы говорят, что в наше время на каждого человека собран большой архив фотографий.

P.S.
Может это конечно немного не то что было показано в том фильме, но уже довольно сильно напоминает, ту конструирующую программу.
  • avatar
  • .
  • +1

9 комментариев

avatar
Кат.
  • Xenom
  • 0
avatar
А чт если нам показывают ненастоящего Обамку?
avatar
Вспоминается Generation P )
avatar
тож вспомнил )

Скачать

avatar
Система показанная в фильме может существовать, только при условии постоянной съемки объекта со всех сторон единовременно. Все остальное это фантазии и необоснованный бред. Также как и увеличение качества фотографии с нечеткой и пиксельной в охреневшую от качества и деталей. Были несколько шпионских фильмов и в фильме заложница, на фото в отражении ГГ распознает исполнителя фотографии.
  • Kobas
  • 0
avatar
«Система показанная в фильме может существовать, только при условии постоянной съемки объекта со всех сторон единовременно» — это не совсем так. Собственно продемонстрированная на презентации система тому доказательство. Есть только вопрос точности и достоверности сконструированной модели, так как система работает исходя из шаблонов (изначального предположения или допущения). А что касается показанного в фильме, то там как раз на это обращено внимание (в части разговора о пакете — изменил он форму или свет упал иначе). Так что в этом смысле показано реалистично и именно поэтому мне запомнился этот фильм — в нём есть такие оговорки, а не как в большинстве подобных сцен из других фильмов. Во «Враге государства» вообще многие вещи (касаемо технологий) на мой взгляд показаны весьма реалистично — всм такими какими бы они были если бы существовали на самом деле. Советую фильм весь посмотреть.
Но если говорить в целом о подобных штуках демонстрируемых в ДРУГИХ фильмах, то да там как правило слишком уж много деталей которые в принципе не могут быть реализованы.

P.S.
Кстати что касается мифа об увеличении детализации фотки, то он на самом деле имеет под собой реальную основу. Нечто подобное действительно существует и даже продаётся простым смертным. Но конечно не в такой притянутой за уши форме как это обычно показывают в кино, типа из одного пикселя получается лицо.
avatar
Кстати что касается систем из нескольких камер единовременно снимающих один и тот же объект и конструирующих модель, то это уже тоже, не то что реальность а продукт, по сути даже публичный. Даже более того скажу, не удивлюсь если скажем на следующих олимпийских играх это будет использоваться в трансляциях спортивных матчей.
avatar
В теннисе используется уже давно, в футболе тоже начали использовать.
avatar
,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,
  • Jukoz
  • -1
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии.