A pequena startup Arcee AI construiu um LLM de código aberto de 400B do zero para o melhor Meta’s Llama

Muitos na indústria pensam que os vencedores do mercado de modelos de IA já foram decididos: a Big Tech será a proprietária (Google, Meta, Microsoft, um pouco da Amazon) juntamente com os seus fabricantes de modelos preferidos, em grande parte OpenAI e Anthropic.

Mas a pequena startup Arcee AI, de 30 pessoas, discorda. A empresa acaba de lançar um modelo de base de uso geral verdadeiramente e permanentemente aberto (licença Apache) chamado Trinity, e Arcee afirma que, em parâmetros de 400B, está entre os maiores modelos de base de código aberto já treinados e lançados por uma empresa dos EUA.

Arcee diz que Trinity se compara ao Llama 4 Maverick 400B da Meta e ao Z.ai GLM-4.5, um modelo de código aberto de alto desempenho da Universidade Tsinghua da China, de acordo com testes de benchmark realizados usando modelos básicos (muito pouco pós-treinamento).

Como outros modelos de última geração (SOTA), o Trinity é voltado para codificação e processos de várias etapas, como agentes. Ainda assim, apesar do seu tamanho, ainda não é um verdadeiro concorrente do SOTA porque atualmente suporta apenas texto.

Mais modos estão em desenvolvimento – um modelo de visão está atualmente em desenvolvimento e uma versão de fala para texto está no roteiro, disse o CTO Lucas Atkins ao TechCrunch (foto acima, à esquerda). Em comparação, o Llama 4 Maverick da Meta já é multimodal, suportando texto e imagens.

Mas antes de adicionar mais modos de IA à sua lista, diz Arcee, ela queria um LLM básico que impressionasse seus principais clientes-alvo: desenvolvedores e acadêmicos. A equipe deseja especialmente convencer as empresas norte-americanas de todos os tamanhos a não escolherem modelos abertos da China.

“Em última análise, os vencedores deste jogo, e a única maneira de realmente vencer o uso, é ter o melhor modelo de peso aberto”, disse Atkins. “Para conquistar os corações e mentes dos desenvolvedores, você precisa dar a eles o melhor.”

Os benchmarks mostram que o modelo básico Trinity, atualmente em pré-visualização enquanto ocorre mais pós-treinamento, está se mantendo em grande parte e, em alguns casos, superando ligeiramente o Llama em testes de codificação e matemática, bom senso, conhecimento e raciocínio.

O progresso que Arcee fez até agora para se tornar um laboratório de IA competitivo é impressionante. O grande modelo Trinity segue dois pequenos modelos anteriores lançado em dezembro: o Trinity Mini de 26B de parâmetros, um modelo de raciocínio totalmente pós-treinado para tarefas que variam de aplicativos da web a agentes, e o Trinity Nano de 6B de parâmetros, um modelo experimental projetado para ultrapassar os limites de modelos que são minúsculos, mas faladores.

O melhor é que Arcee treinou todos eles em seis meses por um total de US$ 20 milhões, usando 2.048 GPUs Nvidia Blackwell B300. Isso dos cerca de US$ 50 milhões que a empresa arrecadou até agora, disse o fundador e CEO Mark McQuade (foto acima, à direita).

Esse tipo de dinheiro foi “muito para nós”, disse Atkins, que liderou o esforço de construção do modelo. Ainda assim, ele reconheceu que isso não é nada comparado ao quanto os laboratórios maiores estão gastando atualmente.

O cronograma de seis meses “foi muito calculado”, disse Atkins, cuja carreira antes dos LLMs envolveu a construção de agentes de voz para carros. “Somos uma startup mais jovem que está extremamente faminta. Temos uma quantidade enorme de talentos e jovens pesquisadores brilhantes que, quando tiveram a oportunidade de gastar essa quantia de dinheiro e treinar um modelo desse tamanho, confiamos que eles estariam à altura da situação. E eles certamente o fizeram, com muitas noites sem dormir, muitas longas horas.”

McQuade, anteriormente um dos primeiros funcionários do mercado de modelos de código aberto HuggingFace, diz que Arcee não começou querendo se tornar um novo laboratório de IA dos EUA: a empresa estava originalmente fazendo customização de modelos para grandes clientes corporativos como a SK Telecom.

“Estávamos apenas fazendo pós-treinamento. Então, pegaríamos o excelente trabalho de outros: pegaríamos um modelo Llama, pegaríamos um modelo Mistral, pegaríamos um modelo Qwen que fosse de código aberto e faríamos pós-treinamento para torná-lo melhor” para o uso pretendido da empresa, disse ele, incluindo fazer o aprendizado por reforço.

Mas à medida que a lista de clientes crescia, disse Atkins, a necessidade de um modelo próprio estava se tornando uma necessidade, e McQuade estava preocupado em depender de outras empresas. Ao mesmo tempo, muitos dos melhores modelos abertos vinham da China, algo que as empresas norte-americanas desconfiavam ou eram impedidas de utilizar.

Foi uma decisão estressante. “Acho que há menos de 20 empresas no mundo que já treinaram e lançaram seu próprio modelo” no tamanho e nível que Arcee almejava, disse McQuade.

A empresa começou pequena, experimentando um modelo minúsculo de 4,5B criado em parceria com a empresa de treinamento DatologyAI. O sucesso do projeto incentivou então empreendimentos maiores.

Mas se os EUA já possuem o Llama, por que precisam de outro modelo aberto? Atkins afirma que ao escolher a licença de código aberto Apache, a startup se compromete a manter sempre seus modelos abertos. Isso ocorreu depois que o CEO da Meta, Mark Zuckerberg, indicou no ano passado que sua empresa nem sempre tornaria todos os seus modelos mais avançados de código aberto.

“O Llama pode ser visto como um código não verdadeiramente aberto, pois usa uma licença controlada pelo Meta com ressalvas comerciais e de uso”, diz ele. Isso causou algumas organizações de código aberto para reivindicar que o Llama não é compatível com código aberto.

“A Arcee existe porque os EUA precisam de uma alternativa de nível de fronteira permanentemente aberta, licenciada pelo Apache, que possa realmente competir na fronteira de hoje”, disse McQuade.

Todos os modelos Trinity, grandes e pequenos, podem ser baixados gratuitamente. A versão maior será lançada em três sabores. Trinity Large Preview é um modelo de instrução levemente pós-treinado, o que significa que foi treinado para seguir instruções humanas, não apenas prever a próxima palavra, o que o prepara para uso geral no chat. Trinity Large Base é o modelo básico sem pós-treinamento.

Depois temos o TrueBase, um modelo com quaisquer dados instruídos ou pós-treinamento para que empresas ou pesquisadores que desejam personalizá-lo não tenham que desenrolar quaisquer dados, regras ou suposições.

A Acree AI eventualmente oferecerá uma versão hospedada de seu modelo de lançamento geral para, segundo ela, preços competitivos de API. Faltam até seis semanas para esse lançamento, à medida que a startup continua a melhorar o treinamento de raciocínio do modelo.

O preço da API para Trinity-Mini é de US$ 0,045/US$ 0,15, e também há um nível gratuito com taxa limitada disponível. Enquanto isso, a empresa ainda vende opções de pós-treinamento e customização.