Pular para o conteúdo
Voltar para Princípios da IA

Princípios da IA · Capítulo 3 de 8

Forte aqui, fraca ali

A IA faz bem algumas tarefas difíceis e falha em outras que parecem fáceis, pode afirmar coisas falsas com confiança e é mais útil quando diz que não sabe.

15 minutos0 de 3 objetivos concluídos

Objetivos

  • Responda a seis perguntas ou diga “Não sei” e depois pontue as respostas de dois jeitos.A fazer
  • Coloque seis tarefas do dia a dia em um mapa datado de onde a IA vai bem e onde falha.A fazer
  • Passe na verificação.A fazer

Passo 1 de 4: A leitura

Desigual, e não pela dificuldade

No capítulo 2, você viu um modelo escrever escolhendo os próximos pedaços de texto mais prováveis, aprendidos dos exemplos com que foi treinado. O que ele faz bem depende desses exemplos, não do que as pessoas acham difícil. Ele consegue traduzir uma placa para três idiomas em segundos e depois contar errado as letras de uma palavra, porque lê pedaços de palavras, e não letras soltas.

Pesquisadores chamam isso de fronteira irregular: o limite entre o que a IA faz bem e o que ela faz mal anda em zigue-zague. A expressão vem de um estudo de 2023 em que consultores usaram IA em tarefas realistas (Dell'Acqua e colegas). Nas tarefas dentro da fronteira, o trabalho deles melhorou. Em uma tarefa logo fora dela, quem usava IA acertou menos vezes do que quem trabalhava sem ela. A fronteira também se move à medida que os modelos mudam, então qualquer mapa dela precisa de uma data.

Confiante e errado

Um modelo sempre produz uma resposta, e as palavras dele soam igualmente seguras quando ele erra. Escrever algo falso em tom confiante, como uma citação de um livro que não existe, se chama confabulação; muita gente chama de alucinação. Estar calibrado significa que a sua confiança corresponde à frequência com que você acerta: quando você diz que tem certeza, quase sempre acerta.

Por que chutar compensa na maioria dos testes

Abster-se significa dizer “Não sei” em vez de responder. Se isso compensa depende da regra de pontuação, a forma como um teste transforma respostas em pontos. Se só as respostas certas contam, um chute só pode ajudar, então quem sempre responde ganha de quem admite dúvida. Um artigo de 2025 de pesquisadores da OpenAI argumenta que a maioria dos testes usados para ranquear modelos de IA pontua assim, então um modelo que chuta fica acima de um que admite não ter certeza. A correção que ele propõe: fazer uma resposta errada custar mais do que “Não sei”.

No visual

Você responde a seis perguntas; ninguém poderia saber algumas das respostas a partir desta página. Suas respostas são pontuadas dos dois jeitos, ao lado de dois jogadores simulados. Depois você coloca seis tarefas do dia a dia em um mapa datado: geralmente tudo bem, confira com cuidado ou não confie nisso.

Passo 2 de 4: Experimente: Responder ou se abster, e depois mapear as tarefas

Responder ou se abster, e depois mapear as tarefas

Responda a seis perguntas, veja-as pontuadas de dois jeitos e depois coloque seis tarefas do dia a dia em um mapa datado.

Modo:RealSimuladoReal: suas pontuações são calculadas nesta página a partir das suas respostas. Simulado: a cafeteria, os outros dois jogadores e o mapa de tarefas são roteirizados para este capítulo (o mapa é um julgamento de 2026-11-03, não uma medição). Nenhum modelo de IA roda aqui.

Passo 3 de 4: Verificação

Verificação

Pergunta 1 de 3Um quiz dá 1 ponto por resposta certa, 0 por “Não sei” e menos 1 por resposta errada. Você tem cerca de 30% de certeza da sua resposta. O que pontua mais em média?

Próximo: Pergunta 2 de 3

Pergunta 2 de 3Um assistente de chat traduz bem uma carta longa para o japonês e depois erra o número de letras de uma palavra curta. O que isso mostra?
Pergunta 3 de 3Você pergunta a um assistente de chat sem busca na web se a padaria da sua rua está aberta agora. Ele responde: “Sim, ela está aberta até as 18h hoje.” O que você deve fazer?

Passo 4 de 4: O que você já sabe fazer

O que você já sabe fazer

  • Explicar por que a IA pode fazer bem uma tarefa difícil e falhar em uma que parece fácil.
  • Dizer por que uma resposta confiante ainda pode estar errada, e por que pontuar só as respostas certas premia o chute.
  • Para uma tarefa do dia a dia, decidir se o resultado da IA geralmente está bom, precisa ser conferido ou não merece confiança.