Recentemente o The New York Times publicou uma análise que encomendaram relacionada ao resumo de IA do Google. Em suma, esse estudo analisava o nível de exatidão dos resumos de IA, que geralmente aparecem como resposta a uma pesquisa comum, de acordo com o modelo Gemini 2 e Gemini 3. Nesse post, nós da Hosting Machine vamos falar mais sobre essa pesquisa, por que isso acontece e qual foi a resposta do Google em relação a esse estudo.

Resumo de IA Google erra 1 em cada 10 respostas

Os Resumos de IA do Google compilam informações de várias fontes diferentes para oferecer respostas diretas no topo dos resultados de busca, substituindo parcialmente a lista tradicional de links. No entanto, um estudo da startup Oumi, encomendado pelo The New York Times, analisou esse recurso usando o benchmark SimpleQA. Assim, constataram uma exatidão de 85% com Gemini 2 e 91% com Gemini 3.

Mesmo depois do avanço do modelo, a taxa de erro é cerca de 9-10%. Dessa forma, gerando dezenas de milhões de respostas erradas por hora, considerando mais de cinco trilhões de buscas anuais do Google. Além disso, o estudo também destacou o aumento de citações “não fundamentadas”, indo de 37% para 56% nas respostas corretas, revelando fragilidades na confiabilidade do sistema em escala global.

Como isso foi descoberto?

Isso foi descoberto por meio de um estudo independente realizado pela Oumi, que é uma startup especializada em desenvolvimento de modelos de IA aberta, a pedido do The New York Times. O NYT publicou essa análise no início de abril e ela repercutiu em diversos canais de mídia diferentes.

Em suma, eles aplicaram o benchmark SimpleQA, um conjunto de dados para testar respostas factuais curtas e objetivas, em 4.326 buscas reais do Google Search. Eles fizeram os testes em dois momentos diferentes, primeiro em outubro de 2024 com Gemini 2, depois em fevereiro de 2025 com o Gemini 3. Além da acurácia, os pesquisadores também avaliaram as 5.380 fontes citadas nos resumos e conseguiram identificar padrões de citações não sustentadas e erros sistemáticos.

Essa metodologia combina avaliação humana e automatizada, também usando o próprio modelo HallOumi da startup para julgar respostas, garantindo replicabilidade. Além disso, esse estudo não simulou buscas aleatórias, mas focou em perguntas factuais complexas do SimpleQA, o que permitiu quantificar erros em escala. Embora o Google tenha tido resultados internos semelhantes, ele contestou a representatividade do benchmark.

Exemplos de erros

Um grande exemplo que podemos dar envolve a casa de Bob Marley na Jamaica. Já que ao perguntarem o ano em que a residência se tornou museu, a resposta foi 1987, mas a data correta é 11 de maio de 1986, que é o quinto aniversário da morte do músico. Além disso, as fontes citadas eram, no mínimo, duvidosas, nesse exemplo a IA usou como fonte uma página no Facebook de Cedella Marley sem data exata, um blog de viagens com informações imprecisas e a Wikipédia, que apresentava datas contraditórias no mesmo artigo.

Outro exemplo é quando ele foi questionado sobre qual rio delimita o lado oeste da cidade de Goldsboro, a IA respondeu oque é o Neuse River, que na verdade está localizado ao sudoeste. Ademais a isso, a fonte citada era um site de turismo local, que mencionava que o Neuse passa pela cidade. O rio correto é o Little River. Isso sem contar outros casos que incluem a adição de detalhes falsos mesmo quando a informação principal estava certa, e a validação de artigos fictícios como fontes confiáveis.

Por que isso acontece?

Isso acontece por conta da natureza probabilística dos Large Language Models (LLMs) como o Gemini. Já que são treinados para prever a próxima palavra em sequências de texto com base em padrões estatísticos gigantescos. Ou seja, esses modelos não “entendem” os fatos, eles só geram respostas plausíveis a partir de correlações aprendidas. Dessa forma, quando os dados de treinamento contêm contradições, informações incompletas ou satíricas, a IA pode acabar “alucinando”. Assim, produzindo um conteúdo extremamente convincente, mas falso. No caso dos Resumos de IA, o sistema combina busca tradicional com geração de linguagem, embora falhe na ancoragem de fontes confiáveis.

Outro fator que influencia esse fenômeno é o incentivo durante o treinamento e avaliação. Já que os modelos são otimizados para maximizar acurácia em benchmarks, premiando o “chute” confiante ao invés de admitir qualquer tipo de incerteza. Diversas pesquisas da OpenAI e papers no arXiv mostram que avaliações que penalizam respostas vazias incentivam ainda mais issas alucinações. Nos AI Overviews, o Retrieval-Augmented Generation (RAG), que recupera documentos da web, agrava ainda mais o problema. Já que a IA pode interpretar mal uma fonte ou pode priorizar um conteúdo de baixa qualidade, como Facebook e Reddit, que apareceram frequentemente nas citações.

Por fim, limitações técnicas ainda existem mesmo com os avanços da tecnologia. Embora o Gemini 3 tenha melhorado sua precisão geral, a presença de citações não fundamentadas aumentou de 37% para 56%, já que os modelos mais potentes geram texto fluido com menos “freios” de verificação. O overfitting, viés nos dados e a complexidade do modelo são fatores que também contribuem para inferências erradas. Diversas fontes como IBM e NYT destacam que, sem qualquer supervisão humana em tempo real ou uma verificação cruzada rigorosa, as alucinações acabam sendo inerentes aos LLMs atuais, principalmente em uma escala de trilhões de buscas.

Qual foi o pronunciamento do Google?

Por meio do seu porta-voz Ned Adriance, o Google classificou esse estudo como repleto de “falhas sérias”. Segundo Ned, essa análise não reflete as buscas reais dos usuários, já que o benchmark SimpleQA possui informações incorretas por design e não representa o comportamento típico no Google Search. Além disso, Ned também criticou o uso de um modelo de IA (HallOumi) para avaliar outro, dizendo que uma IA julgando outra compromete a validade dos resultados.

Também enfatizaram que os AI Overviews seguem os mesmos padrões rigorosos de qualidade e proteções anti-spam da busca tradicional. Internamente, o Google afirma que seus testes mostram um desempenho superior ao do Gemini 3 isolado, que teria 28% de imprecisão. Embora reconheça as melhorias necessárias, Ned afirmou que os modelos Gemini lideram o setor em precisão e que ele atende ao “alto padrão” de todos os produtos de busca da companhia. O Google ainda mantém o disclaimer “A IA pode cometer erros, verifique as respostas”, no entanto negou qualquer impacto negativo significativo.

Esse foi o nosso post sobre a exatidão do resumo de IA do Google. Esperamos que você tenha gostado desse post! Caso queira ver mais posts semelhantes, dê uma olhada na sessão de notícias e na sessão de IA do nosso blog.