Les types de modèles
Les modèles de chat, de raisonnement, multimodaux et d'embedding, les rerankers, les modèles vocaux, d'image et de garde, et les petits modèles font des tâches différentes, et un agent en utilise souvent plusieurs.
Les types de modèles qu'utilisent les agents, d'où ils viennent et comment les comparer. Des chiffres, sans code.
Pour toute personne qui veut savoir ce qu'il y a dans les modèles derrière les outils d'IA. Vous voyez comment un texte devient des tokens, comment un modèle choisit le suivant, comment les modèles sont fabriqués, quelle est leur taille et ce que permettent leurs licences, puis vous choisissez un modèle pour un agent. Les exemples associent des modèles fermés et des modèles ouverts, et chaque chiffre vient d'un instantané daté.
Les modèles de chat, de raisonnement, multimodaux et d'embedding, les rerankers, les modèles vocaux, d'image et de garde, et les petits modèles font des tâches différentes, et un agent en utilise souvent plusieurs.
Les modèles lisent et écrivent du texte sous forme de tokens, chaque famille de modèles découpe le texte à sa façon, et les prix comme les limites de contexte se comptent en tokens.
Un modèle donne un score à chaque token suivant possible, transforme les scores en probabilités et en tire un au sort ; la température, le top-k et le top-p changent ce tirage, et les modèles de base, instruct et de raisonnement sont entraînés à écrire différemment.
Un modèle se fabrique par étapes, des données et du pré-entraînement jusqu'au fine-tuning, aux retours, à la distillation et à la quantification, et pour les modèles ouverts, de nombreuses étapes laissent un fichier que vous pouvez examiner.
La mémoire dont un modèle a besoin dépend de ses paramètres et des bits qui stockent chacun d'eux, plus de la place pour son contexte ; un mélange d'experts utilise quelques-uns de ses paramètres pour chaque token, mais les garde tous en mémoire.
Certains modèles ne s'utilisent que par le service de leur créateur, d'autres partagent leurs poids sous des licences plus ou moins strictes, et quelques-uns sont open source, avec leurs données et leur code.
Les benchmarks et les classements aident à comparer des modèles, mais les marges d'erreur, les réglages d'effort, le coût, les tests divulgués, les tests saturés, le programme du test et qui l'a lancé changent tous le sens d'un score.
Choisir un modèle, c'est écarter ceux qui échouent à une limite stricte, puis peser la capacité, la vitesse, le prix par tâche, le contexte et la fiabilité avec les outils pour le travail d'un agent.