Anthropic criou um modelo melhor que Mythos, mas decidiu que o mundo não pode usá-lo

A Anthropic possui um modelo de IA disponível que não podemos testar. Ele é simplesmente chamado de "Modelo 2", é ainda mais poderoso que o Mythos 5 e, segundo a própria empresa, oferece uma "melhoria notável" em muitas das tarefas que realizam internamente. Não é um salto tão grande quanto o que ocorreu com o lançamento do Mythos Preview, mas para os responsáveis ​​por ele, o modelo é poderoso demais para ser lançado publicamente. Se essa história parece familiar, é porque era essa a intenção.

Modelo que está construindo o futuro

A Anthropic indica que utiliza amplamente tanto o Mythos 5 quanto o Modelo 2 nas áreas de engenharia de software, programação, geração de dados e uso de agentes de IA persistentes em seus fluxos de trabalho de negócios. Seu relatório revela que Claude já está escrevendo a maior parte do código que acaba sendo incorporado aos repositórios de produção da Anthropic. O Modelo 2 não está disponível publicamente, mas já está ajudando a criar o que está por vir.

Nenhum problema à vista

A avaliação geral da Anthropic continua a classificar o risco de o modelo causar danos graves como baixo. De fato, durante a fase de aprovação para uso interno, a Anthropic não constatou que o Modelo 2 apresentasse um alinhamento pior do que o Mythos 5. Mesmo assim, sua estimativa geral do risco de "desalinhamento" em situações de alto impacto passou de "muito baixo" para "baixo", em parte devido à incerteza gerada pelos recentes escândalos de segurança cibernética envolvendo seus modelos e os da OpenAI.

Precisamos de evidências melhores

A empresa também reconhece que tem menos confiança do que antes em tirar conclusões sobre os riscos decorrentes desses novos modelos. O motivo é que diversas avaliações específicas já estão saturadas: os modelos melhoraram tanto que esses parâmetros de referência não são mais muito úteis. Com o Modelo 2, eles nem sequer executaram toda a bateria de testes porque, simplesmente, não pretendem divulgá-lo publicamente.

Modelos de IA gerando nodelos de IA

Nesse relatório, a Anthropic também levanta algo interessante e preocupante. Seus modelos estão acelerando e aumentando a velocidade com que tanto a pesquisa quanto o desenvolvimento de produtos progridem. Isso se aplica não apenas a softwares, mas também a outras áreas, como robótica, biotecnologia, energia e semicondutores. Eles não acreditam que o Mythos 5 ou o Modelo 2 possam substituir seus pesquisadores, mas quanto mais pesquisas esses modelos realizam, mais fácil parece imaginar que, mais cedo ou mais tarde, um novo modelo ajudará a treinar e aprimorar o próximo.

Dilema dos modelos superpoderosos

A OpenAI também está adiando seu modelo de próxima geração, Astra, porque não conseguiu descartar a possibilidade de que ele seja poderoso demais na área de cibersegurança. A tendência é certamente marcante: startups de IA estão entrando em uma fase em que terminam de treinar um modelo e então precisam decidir se o lançam ou não. Até então, assim que desenvolviam um novo modelo, o lançavam, mas agora surgiu essa fase (necessária) de avaliação e compreensão das capacidades do modelo antes do lançamento.

Tudo está acontecendo muito rápido

A Anthropic não diminuiu o ritmo de desenvolvimento e continua treinando modelos mais avançados, mas as notícias das últimas semanas refletem uma situação paradoxal. Mesmo considerando que o risco de implantar um modelo seja baixo, como neste caso, as empresas já não têm tanta certeza de que devem lançá-los, caso algo dê errado. E aqui surge uma nova necessidade: precisamos cada vez mais ter certeza de que os modelos não ultrapassarão seus limites antes de lançá-los.