A inteligência artificial avança a uma velocidade impressionante. Para os especialistas, os testes atuais já não são suficientes para avaliar as verdadeiras capacidades desses sistemas cada vez mais sofisticados.
Um novo exame está em preparação. Seu objetivo: demonstrar se uma IA pode alcançar o nível de expertise de um ser humano em domínios complexos.
O projeto, batizado de "Humanity's Last Exam" (O último exame da humanidade), foi lançado pelo Center for AI Safety (CAIS) e a start-up Scale AI. Seu objetivo é desenvolver testes capazes de medir as aptidões da IA em questões de alto nível.
Os avanços realizados por OpenAI e Anthropic mostram que os sistemas atuais estão batendo recordes em testes acadêmicos, mas ainda enfrentam dificuldades em tarefas que exigem planejamento ou raciocínios abstratos. A necessidade de exames mais complexos torna-se evidente. Dan Hendrycks, diretor do CAIS, destaca que os antigos testes, que ele mesmo co-projetou em 2021, são agora muito simples para avaliar as IAs modernas. Sua relevância diminui à medida que os sistemas se tornam mais avançados.
O núcleo do projeto é um questionário com 1 000 perguntas. Essas perguntas serão suficientemente complexas para desencorajar os não especialistas e não deverão ser solucionáveis com uma simples pesquisa online. Parte do conteúdo será mantida em segredo para evitar que as IAs aprendam a memorizar as respostas.
Para elaborar esse questionário, os organizadores estão pedindo aos especialistas de todo o mundo que contribuam enviando perguntas. Essas submissões serão analisadas por pares, e as melhores serão premiadas com recompensas de até 5 mil dólares. Uma restrição, no entanto, se impõe: nenhuma pergunta poderá abarcar armas, por uma questão de segurança. O perigo de um conhecimento não controlado pela IA nesse domínio é demasiadamente grande.
Alexandr Wang, CEO da Scale AI, afirma que esses testes precisam acompanhar a velocidade de evolução das IAs. O público e os especialistas estão, assim, mobilizados para criar esse teste definitivo.
Portanto, se você tem cinco anos de experiência em um campo técnico ou possui doutorado em um domínio no qual deseja desafiar uma IA, você tem a liberdade de submeter uma questão através deste
formulário online.
Pode então surgir um segundo desafio: a utilização dos 5 000 dólares. Para esse tópico, podemos adivinhar, IA definitivamente não será necessária!
Autor do artigo: Cédric DEPOND
Fonte: Reuters