Aviões agitados e a promessa de IA baseada em pesquisas

Um novo laboratório de IA chamado Aviões batendo lançado na quarta-feira, com US$ 180 milhões em financiamento inicial do Google Ventures, Sequoia e Index. A equipe fundadora é impressionante, e o objetivo – encontrar uma maneira de treinar modelos grandes com menos consumo de dados – é particularmente interessante.

Com base no que vi até agora, eu os classificaria como Nível Dois na escala de tentativa de ganhar dinheiro.

Mas há algo ainda mais emocionante no projeto Flapping Airplanes que eu não consegui identificar até ler esta postagem do parceiro da Sequoia, David Cahn.

Conforme descreve Cahn, Flapping Airplanes é um dos primeiros laboratórios a ir além do escalonamento, a construção incansável de dados e computação que definiu a maior parte da indústria até agora:

O paradigma da expansão defende a dedicação de uma enorme quantidade de recursos da sociedade, tanto quanto a economia pode reunir, para a expansão dos LLMs actuais, na esperança de que isso conduza à AGI. O paradigma da investigação defende que estamos a 2-3 avanços de investigação de uma inteligência “AGI” e, como resultado, deveríamos dedicar recursos a investigação de longa duração, especialmente projectos que podem levar 5-10 anos a dar frutos.

(…)

Uma abordagem que prioriza a computação priorizaria a escala do cluster acima de tudo e favoreceria fortemente os ganhos de curto prazo (da ordem de 1 a 2 anos) em detrimento das apostas de longo prazo (da ordem de 5 a 10 anos). Uma abordagem de investigação em primeiro lugar distribuiria as apostas temporalmente e deveria estar disposta a fazer muitas apostas que tenham uma probabilidade absoluta baixa de funcionar, mas que expandam colectivamente o espaço de busca para o que é possível.

Pode ser que o pessoal da computação esteja certo e seja inútil focar em outra coisa senão na construção frenética de servidores. Mas com tantas empresas já apontando nessa direção, é bom ver alguém indo na direção oposta.