На сегодняшний день основными методами создания реалистичной анимации виртуальных существ являются скелетная анимация и небезызвестный Motion Capture (mocap). Однако специалисты постоянно находятся в поиске новых не менее качественных, но более дешевых способов. И, вполне возможно, в этом могут помочь нейросети.
Одну из них недавно обучили распознавать движения людей и переносить их на виртуальных персонажей. Подойдет для этого любое видео. Даже видео с YouTube.
За разработку отвечают ученые из Лаборатории исследований в области искусственного интеллекта Калифорнийского университета в Беркли (США) и Университета Британской Колумбии (Канада). Новый алгоритм получил название DeepMimic и был создан еще в начале 2018 года, но полноценная презентация состоялась лишь недавно в рамках конференции SIGGRAPH Asia 2018. Как утверждают авторы,
Сам алгоритм работает довольно просто: система «смотрит» видео, на котором выполняется определенное действие. Затем ролик разбивается покадрово и для каждого кадра создается трехмерная модель. После этого все модели «соединяются», а специальная подпрограмма следит за связками между ними и удаляет артефакты и сглаживает «рывки» анимации.
Оценить работу алгоритма вы можете на демонстрационном видео, доступном ниже. Но хочется добавить, что результат действительно получился впечатляющим, при условии того, что это, конечно, не заранее заготовленные видео, а рандомные ролики из интернета.
