Pesquisadores da NVIDIA desenvolveram uma forma de converter vídeos em velocidade normal capturados a 30fps em slow-motion com até 480 fps. Além disso, o estudo é resultado da colaboração com cientistas da Universidade de Massachusetts e da Universidade da Califórnia.
Para alcançar tal resultado os envolvidos desenvolveram um sistema de deep-learnin. Está é uma técnica de interpolação para prever quadros extras que serão adicionados ao vídeo. A inclusão de quadros extras é essencial para gerar o resultado impressionante entregue pela tecnologia. Isso porque é necessário adicionar imagens extras para preencher a lacuna da captação inicial de somente 30 fps.
Super slow-motion de forma inteligente
“Existem muitos momentos memoráveis na sua vida que você pode querer gravar com uma câmera em slow-motion porque eles são difíceis de ver claramente com seus olhos: a primeira vez que um bebê anda, um difícil truque de skate, um cachorro pegando a bola. Enquanto é possível gravar vídeos de 240 quadros por segundo com um celular, gravar tudo em altas taxas de quadro é imprático, pois requer grandes memórias e gasta muita bateria de dispositivos móveis”, diz o comunicado oficial da equipe de pesquisa da NVIDIA.
Em relação ao seu funcionamento, a tecnologia é baseada em uma rede neural convolucional (CNN). Essa tecnologia estima o fluxo óptico e o padrão de movimento dos objetos e superfícies. Posteriormente, esse algoritmo de inteligência artificial é capaz de prever como os pixels se moverão de um quadro atual para o próximo quadro. Isso gera o que é chamado de “campo de fluxo”, um vetor 2D de movimento previsto que se funde para aproximar um campo de fluxo ao quadro intermediário.
Para treinar a inteligência artificial a NVIDIA utilizou 11.000 vídeos de atividades diárias e esportivas filmadas em 240 fps. Foram utilizadas placas de vídeo NVIDIA Tesla V100 com o framework PyTorch.
Após o treinamento, a IA foi capaz de prever os quadros extras que precisariam ser criados para desacelerar o vídeo.
Entretanto, infelizmente, essa tecnologia impressionante deve demorar um bom tempo até chegar ao mercado. Ela não é otimizada e fazê-la funcionar em tempo real é muito complexo atualmente . Os pesquisadores acreditam que ela será lançada ao público no momento certo. Assim, ela estará presente em dispositivos e aplicativos que se beneficiam do processo através da nuvem.
Fonte: Venture Beat
