Agora você pode gravar um show sem precisar ficar seguindo o artista com a câmera: a IA da Samsung faz isso depois

A nova geração de celulares dobráveis ​​da Samsung, composta pelo Galaxy Z Fold8 Ultra, Galaxy Z Fold8 e Galaxy Z Flip8, chegou não só com inovações em design, hardware e desempenho, mas também com recursos de software muito atraentes, entre os quais se destaca o My FanCam.

Caso ainda não conheça, esta ferramenta permite alternar o enquadramento usando a câmera ultra grande angular, aproveitando ao máximo o formato da tela dos dispositivos dobráveis. O telefone grava em um plano aberto e, em seguida, a inteligência artificial recorta a filmagem de acordo com a proporção que melhor se adapta às suas necessidades.

O recurso mantém o foco constante nos principais assuntos ou ações, com a vantagem de salvar ambos os arquivos: o vídeo original ultra grande angular e a versão reenquadrada. Esta é uma solução criada pela Samsung para agilizar a edição, já que basta selecionar a pessoa na tela para que a IA faça o trabalho.

Para aprofundar o processo por trás desse desenvolvimento, membros da equipe responsável compartilharam detalhes sobre sua criação. Entre eles estão Hwangpil Park, da equipe de Tecnologia Visual da Samsung Research, bem como Sunghwan Kim e Sherry Hong, do Grupo de Desenvolvimento Multimídia da MX Business.

“Começamos perguntando como poderíamos facilitar a criação de vídeos focados nas pessoas que os usuários desejam ver. Como gravar, editar e compartilhar conteúdo em smartphones se tornou algo comum, os vídeos de fãs de artistas favoritos ganharam popularidade nas redes sociais. Em resposta a essa tendência, idealizamos o My FanCam, um recurso que permite a qualquer pessoa criar um vídeo focado na pessoa de sua escolha com apenas alguns toques, e colaboramos com a Samsung Research para dar vida à ideia.”

Sherry Hong

Os especialistas explicam que o núcleo do My FanCam, e a chave para rastrear um sujeito em tomadas complexas, reside em um modelo avançado de inteligência artificial focado no reconhecimento de pessoas. Esse algoritmo identifica e memoriza a localização exata, juntamente com as características visuais de cada indivíduo, permitindo o rastreamento contínuo da mesma pessoa durante toda a gravação.

O principal objetivo é reduzir o tempo de processamento durante a edição. Dessa forma, se os usuários quiserem alternar entre diferentes assuntos em um vídeo em grupo, não precisarão reanalisar o arquivo a cada mudança de enquadramento, evitando esperas desnecessárias.

Sunghwan Kim

"Projetamos o My FanCam para analisar várias pessoas simultaneamente, permitindo que os usuários alternem entre os indivíduos e vejam os resultados instantaneamente após a conclusão da análise inicial."

Sunghwan Kim

Um aspecto fundamental dessa ferramenta é a simplificação do processo, permitindo que os usuários recortem as imagens para a proporção que melhor se adapte às suas necessidades ou plataformas preferidas.

A equipe de Tecnologia Visual da Samsung Research e o Grupo de Desenvolvimento Multimídia da MX Business colaboraram no desenvolvimento desse recurso. Ambos os grupos identificaram desafios comuns na edição de conteúdo e propuseram soluções concretas, realizando reuniões semanais e em momentos-chave para monitorar continuamente o progresso.

Durante o projeto, um rigoroso processo de tentativa e erro foi conduzido, abrangendo uma ampla variedade de cenários do mundo real. Vários membros da equipe contribuíram com gravações pessoais, incluindo vídeos de seus tempos de universidade e de baladas, para avaliar o desempenho da ferramenta.

O desafio era significativo: algoritmos que apresentavam desempenho ideal em ambientes de laboratório exibiam comportamentos diferentes quando confrontados com imagens do mundo real devido à velocidade de movimento e ao enquadramento complexo. Em resposta, a Samsung Research analisou as causas principais, refinando o modelo de inteligência artificial e otimizando os métodos de rastreamento.

Hwangpil Park

"O principal desafio foi processar as cargas de trabalho de IA inteiramente no dispositivo, sem um servidor separado. Vídeos mais longos exigem mais poder de processamento, então tivemos que considerar a velocidade de processamento, o consumo de energia e a geração de calor"

Sunghwan Kim

Os três engenheiros envolvidos neste projeto recomendam gravar em alta resolução e manter um enquadramento amplo para permitir movimentos suficientes ao redor do sujeito. Ao selecionar uma pessoa para edição, é aconselhável escolher um enquadramento onde ela não se sobreponha muito a outras pessoas e onde seu rosto ou corpo inteiro permaneça claramente visível.

Um aspecto particularmente interessante é que a ferramenta não se limita a filmagens gravadas no próprio telefone, mas também processa vídeos antigos de shows, viagens ou atividades anteriores. Dessa forma, sem a pressão de enquadrar uma pessoa específica durante a filmagem, os usuários podem aproveitar o evento e deixar a composição para a inteligência artificial.

"Como o My FanCam funciona com vídeos que não foram gravados em um dispositivo Galaxy, espero que as pessoas o experimentem com uma grande variedade de filmagens. Ele pode oferecer uma nova perspectiva sobre vídeos antigos, ajudando os usuários a reviver momentos significativos, focando em alguém especial"

Hwangpil Park

Por fim, os desenvolvedores enfatizam que o que começou como uma ideia focada na conveniência do usuário evoluiu para o My FanCam, uma experiência de vídeo inovadora que combina inteligência artificial, otimização para dispositivos móveis e trabalho em equipe. A marca promete que essa ferramenta responderá com a mesma eficácia em tudo, desde grandes shows até atividades cotidianas, facilitando a captura e a edição dos momentos mais memoráveis.