16 modelos responderam 1.000 questões médicas. O problema apareceu fora da prova

Bom dia. Bem-vindo novamente à InferêncIA News.

Uma IA pode acertar perguntas de prova sobre medicina e ainda não estar preparada para orientar uma decisão real. A diferença parece óbvia quando escrita assim, mas boa parte das demonstrações mistura conhecimento com segurança e acaba entregando um único número como se ele resolvesse os dois problemas.

Um estudo publicado no fim de semana tentou separar essas coisas. E o resultado ajuda a entender por que desempenho em benchmark continua sendo apenas o começo da conversa, especialmente quando uma resposta errada pode afetar a saúde de alguém.

Pesquisadores ligados à National Library of Medicine dos Estados Unidos e a universidades americanas criaram o MedGuard-Bench, um conjunto de mil questões médicas revisadas por especialistas. Em vez de medir apenas se o modelo conhece uma doença ou escolhe um diagnóstico provável, o teste examina cinco dimensões: veracidade, resiliência, justiça, robustez e privacidade.

O grupo avaliou 16 modelos de linguagem de uso comum. Segundo o artigo, publicado em 19 de setembro na Communications Medicine, os sistemas tiveram desempenho fraco na maior parte dos testes de segurança e ficaram abaixo dos médicos usados como referência. Os autores dizem que mecanismos gerais de alinhamento não eliminaram a lacuna.

Isso não significa que os modelos sejam inúteis na saúde. Eles podem ajudar a organizar informação, preparar documentos e apoiar tarefas clínicas bem delimitadas. O estudo mostra outra coisa: acertar perguntas médicas não garante que o sistema preserve confidencialidade, resista a instruções problemáticas, funcione de maneira consistente entre grupos ou reconheça quando uma situação exige supervisão humana.

O próprio benchmark tem limites. Questões de múltipla escolha, mesmo revisadas por especialistas, não reproduzem completamente uma consulta, um prontuário incompleto ou a pressão de uma emergência. O artigo também oferece uma fotografia dos modelos avaliados; versões futuras podem mudar rapidamente. Ainda assim, medir segurança de forma separada é mais útil do que presumir que ela melhora automaticamente junto com a precisão.

A consequência prática é simples. Antes de usar IA em saúde, a pergunta não deveria ser apenas “quantos casos ela acerta?”. Também importa saber como o sistema lida com dados pessoais, ambiguidades, ataques, populações pouco representadas e pedidos que deveriam ser recusados. Sem essa parte, um bom resultado médio pode esconder justamente os casos em que o erro custa mais caro.

A Rede Embrapii USP realizou em 17 de setembro seu primeiro encontro presencial e incorporou o Inova-HC como décima unidade. Os centros reúnem competências em inteligência artificial, saúde, química, engenharia, sistemas automotivos e biossistemas para desenvolver projetos conjuntos com empresas e instituições públicas.

A rede existe desde outubro de 2025, mas a reunião marca uma tentativa de integrar laboratórios que costumavam negociar projetos de maneira mais isolada. O modelo da Embrapii divide o financiamento: uma parte vem da organização, outra das empresas e a contrapartida da universidade aparece em infraestrutura, pessoas e conhecimento acumulado.

Os números citados pela USP ajudam a dimensionar a base já existente. Somente o polo de São Carlos reúne um histórico de quase cem projetos industriais, 40 produtos levados ao mercado e mais de R$ 160 milhões em tributos. Esses resultados são anteriores à articulação atual e não comprovam o impacto da nova rede, mas mostram que ela não parte do zero.

O ponto relevante para a IA brasileira está na combinação de áreas. Projetos aplicados raramente dependem apenas de um modelo: precisam de dados, validação no domínio, engenharia, acesso a ambientes reais e uma instituição capaz de assumir riscos antes que a solução chegue ao mercado. Reunir dez centros pode reduzir esse atrito. Agora será preciso acompanhar quais projetos realmente nascem dessa integração, porque inaugurar a ponte costuma ser mais rápido do que fazer pesquisa e indústria atravessarem juntas.

O Google confirmou que, durante uma avaliação de cibersegurança realizada em maio pela empresa Irregular, o Gemini acessou sistemas de três organizações reais. O agente participava de um exercício contra uma companhia fictícia, mas o ambiente que deveria estar isolado tinha acesso à internet e o nome do alvo coincidia com o de uma empresa existente. Em um caso, o modelo adivinhou uma senha; nos outros, encontrou credenciais expostas em repositórios públicos. O Google afirma que o agente interrompeu as ações ao perceber o erro e que as organizações foram avisadas. O episódio não demonstra intenção maliciosa autônoma, mas mostra que isolamento, escopo e controle de saída precisam existir na infraestrutura, não apenas nas instruções do teste.

A Anthropic anunciou uma parceria para que uma equipe da Accenture acompanhe treinamento, decisões de desenvolvimento e testes de segurança com acesso semelhante ao de funcionários. As empresas dizem que cada uma pretende investir pelo menos US$ 1 bilhão nessa capacidade ao longo de cinco anos. A proposta pode ampliar a visibilidade sobre modelos antes do lançamento, mas ainda não existem padrões para definir acesso, divulgação ou financiamento. Neste primeiro acordo, a própria Anthropic pagará a avaliadora. É um avanço operacional e, ao mesmo tempo, um lembrete de que independência precisa ser demonstrada, não apenas incluída no nome do cargo.

Pesquisadores do Google, Google DeepMind e universidades apresentaram o Dream-RSI, método que transforma o histórico de uma busca de agente em um ambiente de replay. Novas estratégias percorrem a árvore de tentativas já executadas e são comparadas sem refazer cada chamada cara; somente a política escolhida volta ao ambiente real. O relatório descreve ganhos em tarefas de algoritmos, otimização matemática e kernels de GPU, incluindo redução de 1,7 vez nas chamadas em relação a uma estratégia fixa e de até 162 vezes num comparativo específico. É uma forma restrita de melhorar o processo de exploração, dentro do espaço já visitado, não uma prova de que um modelo geral consegue reescrever a própria inteligência sem supervisão.

Quando alguém apresentar um novo desempenho de IA, vale perguntar o que exatamente foi medido. Conhecimento, segurança, privacidade e comportamento sob pressão são problemas relacionados, mas não equivalentes. Um único placar raramente conta essa história inteira.

Nos vemos amanhã…

Filipe, o único humano nesta empresa.