Raspberry Pi percebeu crescente interesse em executar modelos de IA localmente: sua nova placa faz isso e muito mais

A Raspberry Pi anunciou o lançamento de seu novo acessório AI HAT+ 2, uma placa complementar para o Raspberry Pi 5 que promete expandir suas capacidades para usos envolvendo sistemas de inteligência artificial generativa por um preço acessível. A placa incorpora o acelerador neural Hailo-10H e 8 GB de RAM dedicada, recursos que, segundo a empresa, permitirão que grandes modelos de linguagem (LLMs) sejam executados diretamente no dispositivo, sem a necessidade de conexão com a internet.

Raspberry Pi AI HAT+ 2, ficha técnica

Placa para modelos locais

O AI HAT+ 2 representa um grande avanço em relação ao seu antecessor, lançado há pouco mais de um ano. Enquanto o AI HAT+ original focava exclusivamente em tarefas de visão computacional, como detecção de objetos, estimativa de pose ou segmentação de cenas, este novo modelo busca atender ao crescente interesse em executar modelos de linguagem localmente e sem a necessidade de conexão com a internet.

De acordo com a Raspberry Pi, a placa oferece 40 TOPS de desempenho de inferência (em INT4) graças ao chip Hailo-10H. A adição de 8 GB de RAM LPDDR4X na própria placa é a novidade mais notável, pois libera o processador e a RAM do Raspberry Pi 5 para outras tarefas enquanto o acelerador neural cuida do processamento de IA.

Diversos modelos de linguagem, com 1 a 1,5 bilhão de parâmetros, estarão disponíveis no lançamento, incluindo DeepSeek-R1-Distill, Llama 3.2 e diferentes versões do Qwen. A empresa garante que em breve adicionará modelos maiores e que os usuários poderão ajustar esses modelos a casos de uso específicos utilizando técnicas como LoRa (Low-Rank Adaptation).

Além do papel

Juntamente com os benefícios prometidos pela placa complementar, é importante saber que o chip Hailo 10H que ela incorpora tem um consumo de energia limitado a 3W. Isso significa que, embora se traduza em melhor eficiência energética em comparação com o chip que acompanha o próprio Raspberry Pi 5, essa limitação de energia implica em um desempenho bruto inferior.

Além disso, embora os 8GB extras de RAM sejam extremamente úteis, vale ressaltar que a versão de 16GB da própria placa Raspberry Pi 5 também supera a placa complementar nesse quesito. Vale ressaltar que muitos modelos de linguagem quantizados e de tamanho médio normalmente utilizam mais de 10 GB de RAM, portanto, o AI HAT+ 2 seria limitado a modelos menores.

No entanto, esta é uma solução muito interessante para fazer com que o Raspberry Pi 5 utilize o desempenho da placa adicional para executar modelos, enquanto usa os recursos da placa principal para outras tarefas.

Para quem foi projetado?

O AI HAT+ 2 mantém os recursos de visão computacional de seu antecessor e, de acordo com a Raspberry Pi, pode executar simultaneamente modelos de visão e de linguagem. A placa pode encontrar seu nicho em aplicações com restrições de energia que precisam combinar processamento de visão e inferência de modelos de linguagem, como sistemas de automação industrial ou dispositivos IoT.

Também pode ser útil como um kit de desenvolvimento para empresas que planejam integrar o chip Hailo-10H em seus próprios produtos.

Para usuários que simplesmente desejam executar modelos de linguagem localmente em um Raspberry Pi, a opção mais prática ainda é adquirir um Raspberry Pi 5 com 16 GB de RAM.

Preço e disponibilidade

O Raspberry Pi AI HAT+ 2 já está disponível por US$ 130, embora varie de acordo com os distribuidores oficiais. Além disso, no repositório GitHub da Hailo e na sua Developer Zone, você encontra exemplos, tutoriais e documentação para aproveitar ao máximo a placa.

Imagens | Raspberry Pi