Princípios da IA · Capítulo 6 de 8
Conferir o que você recebe
Uma resposta caprichada pode esconder um número errado, uma fonte inventada ou um fato que falta, e um modelo pode concordar com você só porque você disse, então você confere o que recebe e refina até que passe na conferência.
Objetivos
- Encontre os quatro erros plantados em um relatório caprichado e diga de que tipo é cada um.A fazer
- Escolha o pedido de ajuste que corrige mais e veja o que uma segunda conferência encontra.A fazer
- Passe no teste.A fazer
Passo 1 de 4: A leitura
Pronto não é o mesmo que certo
O capítulo 5 tratou de como pedir. Este trata do que volta. Uma resposta pode parecer pronta, com título, subtítulos e um número em destaque, e mesmo assim estar errada. Julgá-la significa conferir três coisas.
Fatos: os nomes, números, datas e fontes que ela traz. Compare os que importam com algo em que você confia, como as suas próprias anotações, e calcule você mesmo os números principais. Raciocínio: se cada conclusão decorre dos fatos dados. Lacunas: o que ficou de fora e mudaria a conclusão.
O acabamento baixa a guarda
Essa aparência de pronto joga contra você: as pessoas tendem a conferir menos as respostas que parecem prontas. Como o capítulo 2 mostrou, palavras fluentes mostram o que era provável, não o que é verdade. Um modelo pode até escrever uma fonte que não existe, como um estudo com um nome convincente: o capítulo 3 chamou isso de confabulação. Se você não consegue abrir uma fonte e encontrar a afirmação nela, trate a afirmação como não confirmada.
Ele pode só concordar com você
Os modelos tendem a concordar com quem pergunta, mesmo quando essa pessoa está errada. Isso se chama bajulação. Um motivo provável é o treinamento: os modelos aprendem em parte com as notas que as pessoas dão às respostas deles, e as pessoas tendem a dar boas notas a quem concorda com elas. Então, se a sua pergunta traz um palpite, como “foi por isso que as vendas subiram, certo?”, a resposta pode devolver o seu palpite como se fosse um fato. Em vez disso, peça que ele teste o palpite contra os fatos.
Descrever, conferir, refinar
O hábito que ajuda é um ciclo. Descreva o que você quer, como no capítulo 5. Confira o que volta. Depois refine: nomeie cada problema e peça de novo. Um retorno vago como “melhore isso” tende a mudar as palavras, não os fatos. Confira também a nova versão, porque ela pode corrigir um erro e acrescentar outro. Use o resultado só depois que ele passar.
No visual
Você tem uma pequena cafeteria e pede a um assistente de IA um relatório curto sobre os números de maio, com as suas anotações e o seu próprio palpite. O relatório foi escrito para este capítulo, com quatro erros plantados de propósito: um número errado, uma fonte inventada, um contexto que falta e uma concordância bajuladora. Encontre-os e diga de que tipo é cada um. Depois escolha um pedido de ajuste e veja o que uma segunda conferência encontra.
Passo 2 de 4: Experimente: Encontre os erros plantados
Encontre os erros plantados
Encontre e nomeie os quatro erros plantados em um relatório caprichado; depois escolha um pedido de ajuste e veja o que uma segunda conferência encontra.
Modo:RecriadoRecriado: a cafeteria, as anotações, o relatório, as respostas aos quatro pedidos de ajuste e o que cada conferência encontra foram escritos para este capítulo, do jeito que um assistente de chat costuma responder, com quatro erros plantados de propósito. O estudo que o relatório cita não existe. Nenhum modelo roda aqui, e nada do que você faz sai da página.
Passo 3 de 4: Verificação
Verificação
Coloque em ordem os passos de trabalhar com uma IA em uma tarefa.
Arraste os itens, ou use os botões de seta, para colocá-los em ordem.
- Posição 1: Confira os fatos, o raciocínio e as lacunas da resposta.
- Posição 2: Descreva o que você quer, com os fatos que só você conhece.
- Posição 3: Nomeie cada problema e peça uma nova versão.
- Posição 4: Use o resultado depois que ele passar na sua conferência.
- Posição 5: Confira a nova versão do mesmo jeito.
Passo 4 de 4: O que você já sabe fazer
O que você já sabe fazer
- Conferir os fatos, o raciocínio e as lacunas de uma resposta de IA com uma fonte em que você confia.
- Perceber uma fonte inventada, um número errado e um contexto que falta, mesmo em um relatório caprichado.
- Notar quando uma resposta só repete o seu palpite, e pedir que ela teste o palpite contra os fatos.
- Escrever um pedido de ajuste que nomeie cada problema, e conferir a nova versão antes de usá-la.