Princípios da IA · Capítulo 2 de 8
Como um modelo escreve
Um modelo de linguagem escreve um token por vez sorteando de uma lista de probabilidades, a temperatura muda como ele sorteia, e nada nesse passo verifica se as palavras são verdadeiras.
Objetivos
- Leia as probabilidades para um prompt e deixe o modelo pegar a palavra mais provável.A fazer
- Escolha você as próximas cinco palavras.A fazer
- Escreva com uma temperatura baixa e com uma alta e veja o texto se desviar.A fazer
- Passe na verificação.A fazer
Passo 1 de 4: A leitura
Um pedaço por vez
No capítulo anterior, um classificador aprendeu com exemplos a separar pontos em tipos. Um modelo de linguagem, o tipo de IA por trás dos assistentes de chat, aprendeu com uma quantidade enorme de texto a fazer uma só coisa: dado um texto, dizer o que provavelmente vem a seguir. Ele escreve repetindo esse passo. Ele calcula uma probabilidade para cada próximo pedaço possível, escolhe um, acrescenta ao texto e começa de novo.
Tokens e probabilidades
Os pedaços se chamam tokens. Um token é um pedaço curto de texto: uma palavra, parte de uma palavra ou um sinal de pontuação. Uma probabilidade é um número de 0% a 100%, e as probabilidades de todos os próximos tokens possíveis somam 100%. Depois de “A cafeteria abre às 8 da”, o token “manhã” recebe uma probabilidade alta e “lua”, uma minúscula. O texto do qual você parte se chama prompt.
Temperatura
O modelo sorteia o próximo token, com peso dado pelas probabilidades, então os tokens prováveis saem com mais frequência. A temperatura é um ajuste que remodela as probabilidades antes do sorteio. Perto de 0, o token mais provável quase sempre vence, e o mesmo prompt dá quase o mesmo texto toda vez. Mais acima, tokens improváveis são escolhidos com mais frequência: o texto varia mais e, a partir de certo ponto, desanda em algo sem sentido.
Fluente não é o mesmo que verdadeiro
Cada token é escolhido porque é provável que venha a seguir, não porque é verdadeiro. Nada nesse passo verifica um fato. Um modelo pode escrever uma frase fluente com uma data, um preço ou um nome errado, e uma temperatura baixa não resolve isso: ela só escolhe as palavras mais prováveis. Verificar o que ele escreve continua sendo trabalho seu, e um capítulo mais adiante mostra como.
O modelo desta página
O explorador abaixo roda um modelo minúsculo que o seu navegador treina quando a página abre, com dez fábulas de Esopo. Os tokens dele são palavras inteiras e sinais de pontuação. Ele olha só para os dois últimos e conta o que veio depois deles nas fábulas. Os modelos por trás dos assistentes de chat usam tokens que podem ser partes de palavras, levam em conta muito mais do texto e têm bilhões de parâmetros, os números que eles ajustam enquanto aprendem. O passo de escolher funciona do mesmo jeito.
Passo 2 de 4: Experimente: Explorador da próxima palavra
Explorador da próxima palavra
Leia as probabilidades para um prompt, escolha você algumas palavras e depois mova a temperatura e veja o texto se desviar.
Modo:RealReal: o seu navegador treina o modelo de palavras com dez fábulas de Esopo quando a página abre, e cada probabilidade e cada escolha são calculadas ao vivo. Ele é muito menor que os modelos por trás dos assistentes de chat.
Passo 3 de 4: Verificação
Verificação
Próximo: Pergunta 2 de 3
Passo 4 de 4: O que você já sabe fazer
O que você já sabe fazer
- Explicar que um modelo de linguagem escreve um token por vez, sorteando cada um a partir de probabilidades.
- Dizer o que a temperatura muda e o que ela não muda.
- Explicar por que uma resposta fluente e confiante ainda pode estar errada.