A nova IA que transforma poucas imagens em um mundo 3D que você pode explorar

Basta dar uma olhada no anúncio oficial do Atlas e a coisa não parece grande coisa. Já faz algum tempo que os modelos de IA generativa de vídeo são capazes de criar todo tipo de cena com um realismo fantástico. No entanto, este novo modelo quer ir além da IA generativa para dar o salto aos promissores “modelos do mundo”.

O Atlas é o resultado desse esforço, e a verdade é que a proposta chama a atenção por dois motivos: o primeiro, pela forma como consegue reconstruir nosso mundo a partir de informações limitadas. O segundo é porque quem está por trás dele é Fei-Fei Li, considerada a “madrinha da IA”.

A World Labs descreve o Atlas como um modelo multimodal treinado do zero para operar com texto, imagens, posições de câmera, mapas de profundidade e sequências de vídeo. Todos esses tipos de entrada são combinados para criar um contexto espacial comum que, depois, permite gerar novas observações coerentes com o espaço 3D percebido pelo modelo.

Tecnicamente, ele é chamado de “multimodal autoregressive diffusion transformer”, mas aqui o que se prevê não é o próximo token de uma palavra ou frase, e sim o que deveria ser visto em seguida a partir de uma determinada posição no espaço.

Ângulos inéditos sem precisar de câmeras

Em várias das demonstrações no anúncio oficial, é possível ver, por exemplo, cenas gravadas com dois ou três smartphones a partir das quais o Atlas consegue gerar perspectivas que não foram registradas por nenhuma câmera. Ele as cria do nada, mas sempre mantendo coerência com os dados reais que possui (de imagens, gravações ou dos já mencionados mapas de profundidade, por exemplo). Em uma entrevista ao a16z, Fei-Fei Li foi clara: “Não há linguagem lá fora. Você não sai para a natureza e vê palavras escritas no céu para você”.

É possível criar um prompt que descreva uma trajetória de câmera específica e muito detalhada, por exemplo, e pedir ao modelo que gere uma visualização realmente convincente a partir dessas perspectivas, mesmo quando elas nunca foram registradas por câmeras reais. Isso abre possibilidades espetaculares, como, por exemplo, gravar uma cena e depois poder colocar a câmera em lugares onde ela nunca esteve para mostrá-la a partir dali.

Mas o Atlas não vê o que não acontece. Se dermos a esse modelo três fotografias de um cômodo, ele não pode saber exatamente o que havia atrás do sofá ou em um canto que nenhuma câmera captou. O que se faz nesse caso é gerar uma solução plausível, inventando conteúdo que seja coerente. A World Labs resume isso com uma frase: quanto mais imagens recebe, menos ele precisa imaginar.

Além do cinema

Embora as aplicações para criadores de conteúdo ou para a indústria audiovisual e cinematográfica sejam evidentes, o Atlas pode ser aplicado a campos diversos. Um dos mais promissores é o da robótica: essa IA pode transformar algumas poucas imagens de um lugar real em um ambiente que um robô virtual pode percorrer.

O modelo gera as imagens e os dados de profundidade que os sensores do robô captariam a partir de diferentes trajetórias. A empresa chama isso de real-to-sim: capturar um espaço real, transformá-lo em uma simulação e utilizá-la depois para treinar ou avaliar robôs antes de colocá-los à solta no mundo físico real.

Treinar robôs não é como treinar um LLM. Para ensinar um robô a pegar uma xícara, precisamos da xícara, de uma mesa, de câmeras, sensores, um robô e inúmeras tentativas físicas. Além disso, esse ambiente muda: a iluminação varia, os objetos podem se mover e as coisas podem quebrar. A World Labs aponta que essa é uma das grandes dificuldades para tirar os robôs do laboratório. Essas simulações permitem repetir testes e cometer erros sem pagar o custo que esses erros teriam no mundo real. A Runway busca algo parecido com o GWM-1, por exemplo.

Bem-vindos à “internet dos robôs”

Com o Atlas, a proposta é criar uma espécie de internet perfeita para o treinamento de robôs. Em vez de ser composta por páginas da web, ela seria formada por enormes quantidades de espaços tridimensionais com os quais seria possível experimentar. O Atlas ainda não oferece algo assim como um produto completo, mas a estratégia da World Labs é criar modelos capazes de perceber, gerar, raciocinar e interagir com mundos virtuais e físicos.

Os videogames já deram um passo impressionante nesse campo. Cada jogo tridimensional contém dados como a geometria do mundo virtual, câmeras, objetos, texturas, física e milhões de posições a partir das quais é possível observar um cenário. Por isso, começam a surgir empresas que querem transformar esses mundos virtuais em formas de treinar esses modelos do mundo. Os LLMs se apropriaram de milhões de textos e livros escritos por humanos, mas os modelos espaciais podem aproveitar esses mundos virtuais que foram construídos no universo dos videogames, mas também em outros campos, como simuladores ou o segmento da arquitetura.

Em Xataka Brasil

Após EUA restringirem acesso aos seus modelos de IA mais sensíveis por motivos de segurança nacional, China estuda fazer o mesmo

De gerar mundos a interagir dentro deles. A World Labs vem insistindo há algum tempo em uma ideia simples: ver não basta. A inteligência espacial precisa entender onde as coisas estão, como elas se relacionam e o que acontece quando agimos sobre elas.

O Atlas é, por enquanto, uma primeira abordagem ao problema — está disponível apenas com acesso antecipado para parceiros selecionados —, mas apresenta algo diferente dos modelos de IA que nos acompanharam nos últimos anos. O ChatGPT e seus concorrentes se perguntam qual palavra vem em seguida, mas, no Atlas, a pergunta é diferente: se eu me mover por aqui, o que deveria ver?

Este texto foi traduzido/adaptado do site Xataka Espanha.