A Epic Games, desenvolvedora da Unreal Engine, lançou o Live Link Face, um aplicativo para iPhone que usa os sensores 3D frontais no smartphone para capturar movimentos ao vivo para animações faciais em projetos 3D como videogames, animações ou filmes.
O aplicativo usa ferramentas da estrutura ARKit da Apple e do sensor TrueDepth do iPhone para transmitir a captura de movimento ao vivo de um usuário que olha para o smartphone para fazer capturas de personagens 3D no Unreal Engine em execução em uma estação de trabalho próxima. Captura expressões faciais, bem como rotação da cabeça e pescoço.
O Live Link Face pode transmitir para várias máquinas ao mesmo tempo, e "o suporte robusto ao código de tempo e a precisão precisa do quadro permitem a sincronização perfeita com outros componentes do palco, como câmeras e captura de movimentos corporais", de acordo com a publicação do blog da Epic no anúncio do aplicativo. Os usuários obtêm um CSV de dados brutos de forma de mesclagem e um MOV da câmera de vídeo frontal do smartphone, com códigos de tempo.
Para muitos, o conjunto de sensores TrueDepth do iPhone não parecia necessário, todos estavam felizes com o Touch ID que funcionava bem para os propósitos da maioria das pessoas nos iPhones anteriores, e não havia muitas aplicações claras da tecnologia além do Face ID e dos Animojis e nada a mais que justificaria a tecnologia.
Agora, com esse aplicativo, embora para um público restrito: desenvolvedores de jogos e cineastas independentes podem usar aplicativos como este no iPhone para captura de movimento, dando vida a personagens virtuais com expressões faciais e outros movimentos de atores humanos reais. Isso é algo que tradicionalmente envolveria estúdios caros e fora do alcance de todos, exceto dos grandes players.
A captura de movimento que os sensores do iPhone podem gerenciar não é tão precisa quanto a usada pelos estúdios de desenvolvimento de jogos "triple A" ou pelos principais filmes, é claro, para que esses estúdios sofisticados não abandonem seus estúdios mo-cap equipados para iPhones agora. Mas agora, criadores individuais e equipes menores podem fazer algo que antes era proibitivo em termos de custos.
A Apple recentemente adicionou um sensor lidar ao iPad Pro, e existem muitos boatos na Internet de que ele também alcançará pelo menos uma das variantes da linha de novos iPhones em 2020.