Tipos de modelos
Los modelos de chat, de razonamiento, multimodales, de embeddings, los rerankers y los modelos de voz, de imagen, guardianes y pequeños hacen trabajos distintos, y un agente suele usar varios.
Los tipos de modelos que usan los agentes, de dónde vienen y cómo compararlos. Con números, sin código.
Para quien quiera saber qué hay dentro de los modelos detrás de las herramientas de IA. Ves cómo el texto se convierte en tokens, cómo un modelo elige el siguiente, cómo se hacen los modelos, cuánto ocupan y qué permiten sus licencias, y luego eliges un modelo para un agente. Los ejemplos combinan modelos cerrados con modelos abiertos, y cada cifra viene de una instantánea con fecha.
Los modelos de chat, de razonamiento, multimodales, de embeddings, los rerankers y los modelos de voz, de imagen, guardianes y pequeños hacen trabajos distintos, y un agente suele usar varios.
Los modelos leen y escriben texto en forma de tokens, cada familia de modelos divide el texto a su manera, y tanto los precios como los límites de contexto se cuentan en tokens.
Un modelo da una puntuación a cada token siguiente posible, convierte las puntuaciones en probabilidades y sortea uno; la temperatura, top-k y top-p cambian el sorteo, y los modelos base, instruct y de razonamiento se entrenan para escribir de formas distintas.
Un modelo se hace por etapas, desde los datos y el preentrenamiento hasta el ajuste fino, la retroalimentación, la destilación y la cuantización, y en los modelos abiertos muchas etapas dejan un archivo que puedes revisar.
La memoria que necesita un modelo sale de sus parámetros y de los bits que guardan cada uno, más espacio para su contexto; una mezcla de expertos usa unos pocos de sus parámetros en cada token, pero los mantiene todos en memoria.
Algunos modelos solo se pueden usar a través del servicio de su creador, otros comparten sus pesos con licencias que van de estrictas a permisivas, y unos pocos son de código abierto, con sus datos y su código.
Los benchmarks y las clasificaciones te ayudan a comparar modelos, pero los márgenes de error, los ajustes de esfuerzo, el costo, las pruebas filtradas, las pruebas al tope, el programa de la prueba y quién la ejecutó cambian lo que significa una puntuación.
Elegir un modelo es descartar los que no cumplen un límite estricto y luego sopesar capacidad, velocidad, precio por tarea, contexto y fiabilidad con herramientas para el trabajo de un agente.