Glossaire du LLM

Dans cet article

Ce glossaire a pour objectif de lister et définir les concepts importants qui régissent le fonctionnement des Large Language Models (LLM)

BERT

Modèle de langage développé par Google en 2018. Il est considéré comme le premier LLM.

Conversational AI (IA conversationnelle)

L’IA conversationnelle désigne les systèmes capables de mener des conversations avec les humains en utilisant le langage naturel. Par exemple, un robot conversationnel qui peut répondre aux questions des clients sur un site web, en fournissant des informations utiles basées sur le corpus de connaissance de l’entreprise.

Embedding

Représentation d’un texte sous forme de nombres permettant au modèle de langage de capturer des aspects sémantiques et syntaxiques de ce texte. Les embeddings permettent de traiter le texte de manière nuancée, en rapprochant les mots de sens similaires. Par exemple, les mots « chat » et « chien » auraient des embeddings proches pour le LLM.

Entity recognition (Reconnaissance d’entités)

Tâche d’identification et de classification des entités nommées (personnes, lieux, organisations…) dans un texte. Par exemple, identifier « Paris » comme une ville et « Emmanuel Macron » comme une personne dans une phrase.

Few-shot Learning (Apprentissage en quelques exemples)

Capacité d’un LLM à apprendre une nouvelle tâche à partir de quelques exemples seulement. Un modèle de langage pourrait par exemple apprendre à reconnaître un nouveau type d’animal en lui montrant seulement quelques images de cet animal.

Fine-Tuning

Le LLM est un modèle générique qui sait exécuter de nombreuses tâches : génération, classification… Le Fine-Tuning consiste à compléter l’apprentissage du LLM pour qu’il effectue une tâche particulière.

Hallucination

Un modèle génératif génère le mot suivant le plus probable par rapport au corpus de données sur lequel il a été entraîné. L’hallucination fait référence à la génération de réponses ou d’informations non fondées sur les données d’apprentissage ou la réalité. Un modèle pourrait « halluciner » un événement historique qui n’a jamais eu lieu ou inventer une citation attribuée à une personnalité célèbre.

Language Model Pre-training (Pré-entraînement de modèle de langage)

Processus de fabrication d’un LLM. Entraînement initial par apprentissage auto-supervisé sur de vastes corpus de connaissances par le biais d’une tâche de prédiction du mot suivant ou d’un mot masqué.

Neural network (Réseau de neurones)

Un réseau de neurones est un modèle d’apprentissage automatique inspiré d’une modélisation simplifiée du cerveau humain, composé de couches interconnectées de neurones artificiels qui traitent et transmettent des informations. Il apprend en ajustant les poids des connexions pour reconnaître des motifs et prendre des décisions.

Les LLM sont des réseaux de neurones.

NLP (Natural Language Processing) ou TALN (Traitement automatique du langage naturel)

Le traitement automatique du langage naturel (TALN) est un domaine de l’intelligence artificielle qui se concentre sur l’interaction entre les ordinateurs et le langage humain. Il vise à permettre aux machines de comprendre, d’interpréter et de générer du langage naturel de manière similaire aux humains.

Parameters (Paramètres)

Les paramètres représentent les composants internes du modèle (neurones) qui sont ajustés pendant l’entraînement pour minimiser l’erreur de prédiction. La taille d’un modèle est souvent exprimée en nombre de paramètres. GPT-4 aurait par exemple plus de mille milliards de paramètres.

Prompt (Instruction)

Un prompt est une instruction donnée à un modèle de langage pour générer une réponse.

Prompt engineering (Ingénierie de prompt)

Le prompt engineering est l’art de créer des prompts efficaces qui permettent d’obtenir les résultats souhaités d’un modèle de langage.

Quantization (Quantification)

La quantification est une technique qui permet de réduire à la fois la taille des modèles et leur coût de traitement en réduisant la taille des paramètres. Par exemple, les paramètres qui sont des nombres flottants sur 32 bits peuvent être transformés en entiers sur 4 bits pour rendre le modèle exploitable sur un ordinateur personnel. La quantification entraîne une baisse de performances du modèle.

Question answering (Réponse aux questions)

Tâche qui consiste à trouver la réponse à une question posée en langage naturel à partir d’un corpus de connaissances.

Sentiment analysis (Analyse des sentiments)

Tâche consistant à déterminer l’émotion ou l’opinion exprimée dans un texte. Comme classifier des tweets comme positifs, négatifs ou neutres en fonction de leur contenu.

Summarization (Résumé)

Tâche de génération d’un résumé d’un texte tout en préservant les informations clés. Comme résumer un article de presse en quelques phrases.

Temperature (Température)

La température est un paramètre contrôlant la créativité d’un modèle génératif lors de la génération de texte. Un modèle génératif prédit le mot suivant à partir du mot le plus probable. La température permet d’influencer cette probabilité. Une température plus élevée produit des résultats plus créatifs, tandis qu’une température plus faible génère des résultats plus conservateurs.

Text classification (Classification de texte)

La classification de texte est une tâche qui consiste à attribuer une catégorie à un texte donné. Un système de classification de texte peut être utilisé pour classifier des e-mails en tant que spam ou non-spam.

Token (Jeton)

Le token est l’unité de base du traitement de texte dans les modèles de langage. Il peut représenter un mot, un sous-mot ou un caractère comme une ponctuation. La tokenisation est le processus de décomposition du texte en tokens pour faciliter son traitement. La tokenisation varie en fonction des LLM. Par exemple, le mot « bonjour » peut être considéré comme un seul token ou divisé en sous-mots comme « bon » et « jour » et représenter 2 tokens selon les LLM utilisés.

Transformer

Technologie de réseau de neurones qui sert de base pour la construction des LLM.

Zero-shot Learning (Apprentissage sans exemple)

Technique d’apprentissage qui permet à un modèle de langage d’accomplir une tâche sans avoir été entraîné sur des exemples spécifiques. Un LLM comme GPT-4 peut répondre à des questions sur un sujet qu’il n’a jamais vu pendant l’entraînement, en utilisant ses connaissances générales.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

reglo.ai

RegloBlog

Les prochains articles Reglo dans votre boite mail.

Partager

reglo.ai

Articles récents

Comprendre

13 Mai 2024

SaaS vs Local : avantages et inconvénients

Les Large Language Models (LLM) ouvrent de nouvelles perspectives pour les entreprises mais soulèvent aussi des questions importantes au niveau... Lire plus

Comprendre

8 Mai 2024

Qu’est-ce que l’Enterprise Search ?

Un système d’Enterprise Search peut être désigné comme un moteur de recherche d’entreprise. Il est utilisé pour permettre aux utilisateurs... Lire plus

Cas d'usage

25 Avr 2024

Les LLM ont-ils de l’humour ?

Un brin de légèreté avec le prompt : Raconte-moi une bonne blague ! claude-2.0 Voici une blague amusante en français... Lire plus