Ce glossaire a pour objectif de lister et définir les concepts importants qui régissent le fonctionnement des Large Language Models (LLM)
BERT
Modèle de langage développé par Google en 2018. Il est considéré comme le premier LLM.
Conversational AI (IA conversationnelle)
L’IA conversationnelle désigne les systèmes capables de mener des conversations avec les humains en utilisant le langage naturel. Par exemple, un robot conversationnel qui peut répondre aux questions des clients sur un site web, en fournissant des informations utiles basées sur le corpus de connaissance de l’entreprise.
Embedding
Représentation d’un texte sous forme de nombres permettant au modèle de langage de capturer des aspects sémantiques et syntaxiques de ce texte. Les embeddings permettent de traiter le texte de manière nuancée, en rapprochant les mots de sens similaires. Par exemple, les mots « chat » et « chien » auraient des embeddings proches pour le LLM.
Entity recognition (Reconnaissance d’entités)
Tâche d’identification et de classification des entités nommées (personnes, lieux, organisations…) dans un texte. Par exemple, identifier « Paris » comme une ville et « Emmanuel Macron » comme une personne dans une phrase.
Few-shot Learning (Apprentissage en quelques exemples)
Capacité d’un LLM à apprendre une nouvelle tâche à partir de quelques exemples seulement. Un modèle de langage pourrait par exemple apprendre à reconnaître un nouveau type d’animal en lui montrant seulement quelques images de cet animal.
Fine-Tuning
Le LLM est un modèle générique qui sait exécuter de nombreuses tâches : génération, classification… Le Fine-Tuning consiste à compléter l’apprentissage du LLM pour qu’il effectue une tâche particulière.
Hallucination
Un modèle génératif génère le mot suivant le plus probable par rapport au corpus de données sur lequel il a été entraîné. L’hallucination fait référence à la génération de réponses ou d’informations non fondées sur les données d’apprentissage ou la réalité. Un modèle pourrait « halluciner » un événement historique qui n’a jamais eu lieu ou inventer une citation attribuée à une personnalité célèbre.
Language Model Pre-training (Pré-entraînement de modèle de langage)
Processus de fabrication d’un LLM. Entraînement initial par apprentissage auto-supervisé sur de vastes corpus de connaissances par le biais d’une tâche de prédiction du mot suivant ou d’un mot masqué.
Neural network (Réseau de neurones)
Un réseau de neurones est un modèle d’apprentissage automatique inspiré d’une modélisation simplifiée du cerveau humain, composé de couches interconnectées de neurones artificiels qui traitent et transmettent des informations. Il apprend en ajustant les poids des connexions pour reconnaître des motifs et prendre des décisions. Les LLM sont des réseaux de neurones.
Neural Networks Weights (Poids d’un neurone)
Le poids d’un neurone représente l’importance de sa connexion avec les autres neurones dans un réseau de neurones. Ces poids déterminent la force et le type d’influence qu’un neurone exerce sur les autres. Lors de l’apprentissage du modèle, les poids sont progressivement ajustés pour permettre au réseau de mieux prédire les données, stockant ainsi ce que le modèle a appris.
NLP (Natural Language Processing) ou TALN (Traitement automatique du langage naturel)
Le traitement automatique du langage naturel (TALN) est un domaine de l’intelligence artificielle qui se concentre sur l’interaction entre les ordinateurs et le langage humain. Il vise à permettre aux machines de comprendre, d’interpréter et de générer du langage naturel de manière similaire aux humains.
Parameters (Paramètres)
Les paramètres représentent les composants internes du modèle (neurones) qui sont ajustés pendant l’entraînement pour minimiser l’erreur de prédiction. La taille d’un modèle est souvent exprimée en nombre de paramètres. GPT-4 aurait par exemple plus de mille milliards de paramètres.
Prompt (Instruction)
Un prompt est une instruction donnée à un modèle de langage pour générer une réponse.
Prompt engineering (Ingénierie de prompt)
Le prompt engineering est l’art de créer des prompts efficaces qui permettent d’obtenir les résultats souhaités d’un modèle de langage. Pour en savoir plus, découvrez les meilleures techniques de prompt engineering et des prompt frameworks à usage professionnel
Quantization (Quantification)
La quantification est une technique qui permet de réduire à la fois la taille des modèles et leur coût de traitement en réduisant la taille des paramètres. Par exemple, les paramètres qui sont des nombres flottants sur 32 bits peuvent être transformés en entiers sur 4 bits pour rendre le modèle exploitable sur un ordinateur personnel. La quantification entraîne une baisse de performances du modèle.
Question answering (Réponse aux questions)
Tâche qui consiste à trouver la réponse à une question posée en langage naturel à partir d’un corpus de connaissances.
Sentiment analysis (Analyse des sentiments)
Tâche consistant à déterminer l’émotion ou l’opinion exprimée dans un texte. Comme classifier des tweets comme positifs, négatifs ou neutres en fonction de leur contenu.
Summarization (Résumé)
Tâche de génération d’un résumé d’un texte tout en préservant les informations clés. Comme résumer un article de presse en quelques phrases.
Temperature (Température)
La température est un paramètre contrôlant la créativité d’un modèle génératif lors de la génération de texte. Un modèle génératif prédit le mot suivant à partir du mot le plus probable. La température permet d’influencer cette probabilité. Une température plus élevée produit des résultats plus créatifs, tandis qu’une température plus faible génère des résultats plus conservateurs.
Text classification (Classification de texte)
La classification de texte est une tâche qui consiste à attribuer une catégorie à un texte donné. Un système de classification de texte peut être utilisé pour classifier des e-mails en tant que spam ou non-spam.
Token (Jeton)
Le token est l’unité de base du traitement de texte dans les modèles de langage. Il peut représenter un mot, un sous-mot ou un caractère comme une ponctuation. La tokenisation est le processus de décomposition du texte en tokens pour faciliter son traitement. La tokenisation varie en fonction des LLM. Par exemple, le mot « bonjour » peut être considéré comme un seul token ou divisé en sous-mots comme « bon » et « jour » et représenter 2 tokens selon les LLM utilisés.
Transformer
Technologie de réseau de neurones qui sert de base pour la construction des LLM.
Zero-shot Learning (Apprentissage sans exemple)
Technique d’apprentissage qui permet à un modèle de langage d’accomplir une tâche sans avoir été entraîné sur des exemples spécifiques. Un LLM comme GPT-4 peut répondre à des questions sur un sujet qu’il n’a jamais vu pendant l’entraînement, en utilisant ses connaissances générales.
