Bárbara Castro
RedatoraO Revolut transformou o GLM, modelo de IA de ponta da chinesa Z.ai, no assistente de programação padrão para seus cerca de 2.000 engenheiros. De acordo com David Abitbol, diretor de operações e infraestrutura de IA da fintech, as ferramentas da Anthropic e da OpenAI agora ficam reservadas exclusivamente para as tarefas mais complexas.
Os modelos locais e auto-hospedados evoluíram muito em apenas dois anos. As opções mais avançadas já realizam tarefas antes consideradas impensáveis, com o benefício extra de serem mais baratas e manterem todos os dados processados internamente. O Revolut agora aposta neles para a rotina diária, acompanhando um movimento que ganha força em diversas empresas de tecnologia.
Durante a conferência GTC da Nvidia em Berlim, Abitbol revelou que a empresa gasta hoje aproximadamente um décimo do valor cobrado por modelos de fronteira equivalentes. Um marco significativo para um banco digital que reúne mais de 80 milhões de clientes no mundo todo.
De acordo com o executivo, os desenvolvedores da equipe dependiam fortemente do Claude Code, da Anthropic, e do Codex, da OpenAI. Agora, eles trabalham principalmente com o GLM, um modelo de pesos abertos com parâmetros públicos, executado na própria infraestrutura de servidores da companhia. Abitbol destaca que as ferramentas proprietárias de fronteira continuam acessíveis, mas apenas como recurso secundário, voltado a problemas de alta complexidade e sob um orçamento restrito.
Segundo a apresentação de Abitbol, a fintech fornece o modelo a seus engenheiros utilizando cerca de 56 GPUs da Nvidia. O custo combinado gira em torno de US$ 0,30 por milhão de tokens. Além do valor reduzido, a despesa tornou-se previsível e fixa, em vez de escalar a cada nova requisição enviada.
O diretor compartilhou métricas obtidas após a implementação da estratégia junto aos 2.000 desenvolvedores. Segundo ele, o tempo dedicado à escrita de código diminuiu cerca de 60%, enquanto o ciclo total de entrega — desde a abertura do chamado até o deploy — foi reduzido em aproximadamente 70%.
O Revolut começou testando o Gemini, do Google, em janeiro. Na época, a ferramenta gerou um ganho de 10% no tempo de entrega e de 20% na codificação. Em seguida, a empresa adotou o Claude Code com uma cota mensal de US$ 300 por desenvolvedor — um teto que, segundo Abitbol, limitou os ganhos de produtividade por se esgotar antes do fim do mês. A virada veio com o modelo auto-hospedado deste ano, que garantiu tokens ilimitados à equipe.
Sem a barreira de um orçamento limitado por chamada, os engenheiros passaram a usar a IA para tarefas cotidianas de suporte, como pesquisar documentações no Confluence, organizar chamados no Jira ou buscar históricos no Slack. Como observou Abitbol, isso provou que o gargalo operacional não residia na escrita das linhas de código, mas no ecossistema de trabalho ao redor dele.
A transição não foi simples desde o primeiro dia. O executivo relatou que, em junho, o tempo de resposta passava de 10 segundos ao lidar com apenas quatro requisições por segundo. Após ajustes finos de arquitetura no mesmo grupo de placas gráficas, a latência caiu para menos de 1,8 segundo, sustentando um ritmo superior a oito requisições por segundo.
Entre as recomendações deixadas por ele na conferência estão o limite da janela de contexto em 256.000 tokens, o uso de formatos com menor precisão como FP4 em substituição ao FP8 — o que poupou cerca de 40% da capacidade das GPUs — e o controle rigoroso da taxa de acertos em cache. Abitbol enfatiza que as empresas devem evitar a tentação de apenas comprar mais hardware para resolver gargalos de tráfego.
Adotar um modelo originário da China em uma instituição financeira regulada costuma causar receio, fato que Abitbol reconhece. O executivo ressalta, no entanto, que a fintech utiliza estritamente os pesos abertos do sistema e os processa em data centers próprios ou em provedores contratados na União Europeia e nos Estados Unidos. Nenhum dado trafega por servidores externos chineses — uma salvaguarda de privacidade que ele considera superior ao envio rotineiro de código a APIs de terceiros.
Para reforçar a governança, o gestor detalha que os agentes são executados dentro de um ambiente isolado (sandbox), capaz de liberar comandos seguros e bloquear ações de risco, mantendo sempre a supervisão humana no processo. Por fim, como o GLM atua apenas com texto, as tarefas visuais são encaminhadas para modelos multimodais econômicos, como o Gemini Flash.
Matéria traduzida de Xataka*
Ver 0 Comentários