Plateforme d’agrégation d’API d’IA avec un point de terminaison LLM compatible avec OpenAI, pour des tâches de TAL telles que la traduction, le résumé, la génération multilingue et l’extraction structurée.
Une sélection de ressources consacrées au traitement automatique des langues.
Cette liste couvre le traitement automatique des langues : analyse linguistique, outils multilingues, méthodes classiques et neuronales, jeux de données et évaluation. Les grands modèles de langue ne sont inclus que lorsqu’ils font progresser ou évaluent une tâche ou une capacité centrale du TAL (tokenisation, multilinguisme, traduction automatique, résumé, reconnaissance d’entités nommées, questions-réponses, factualité, sondage, distillation). Les chatbots généralistes, frameworks d’agents, dépôts de modèles de prompts, outils de génération de code et kits de démarrage d’applications RAG figurent dans d’autres listes — voir Voir aussi.
The Berkeley NLP Group - parmi ses contributions notables figure un outil permettant de reconstituer des langues disparues depuis longtemps, cité ici, en exploitant les corpus de 637 langues parlées aujourd’hui en Asie et dans le Pacifique pour reconstituer leur langue ancêtre.
NLP research group, Columbia University - a créé BOLT (gestion interactive des erreurs dans les systèmes de traduction vocale) ainsi qu’un projet sans nom visant à caractériser le rire dans les dialogues.
Advanced NLP with spaCy - cours gratuit en ligne sur le traitement de texte, l’analyse de données à grande échelle, les pipelines de traitement et l’entraînement de réseaux neuronaux pour des tâches de TAL personnalisées.
Kaggle NLP Learning Guide - tutoriels accessibles aux débutants, comprenant des guides de démarrage, l’apprentissage profond appliqué au TAL et des explications visuelles de techniques comme BERT, GloVe et TF-IDF.
Deep NLP Course par Yandex Data School, qui aborde des notions importantes allant des représentations vectorielles de texte à la traduction automatique, notamment la modélisation de séquences et les modèles de langue.
fast.ai Code-First Intro to Natural Language Processing - présente un mélange de sujets classiques du TAL (expressions régulières, SVD, Bayes naïf, tokenisation) et d’approches neuronales récentes (RNN, seq2seq, GRU et Transformer), tout en abordant des enjeux éthiques urgents comme les biais et la désinformation. Les notebooks Jupyter sont disponibles ici.
Applied Natural Language Processing- série de cours de l’IIT Madras, des notions fondamentales aux autoencodeurs et au-delà. Les notebooks GitHub du cours sont également disponibles ici.
DeepLearning.AI Natural Language Processing Specialization - programme en quatre cours sur l’analyse des sentiments, les représentations vectorielles de mots, les RNN, les LSTM, les mécanismes d’attention et les modèles Transformer comme BERT et T5, appliqués notamment à la traduction automatique et au résumé.
Stanford CS25: Transformers United - série de séminaires avec des conférences données par les auteurs de travaux récents sur les Transformers et le TAL.
Cohere LLM University - cours gratuit sur les grands modèles de langue, les représentations vectorielles, la recherche sémantique et les applications du TAL.
Hugging Face NLP Course - cours pratique de TAL utilisant les bibliothèques Transformers, Datasets et Tokenizers.
NLP Demystified - cours gratuit, accessible aux débutants, sur les fondamentaux du TAL jusqu’aux Transformers, avec des notebooks Python/Jupyter.
The Math Behind Artificial Intelligence - par Tiago Monteiro | ouvrage gratuit de FreeCodeCamp expliquant les mathématiques de l’IA dans un anglais accessible, du point de vue de l’ingénierie. Il traite de l’algèbre linéaire, du calcul, des probabilités et statistiques ainsi que de la théorie de l’optimisation, à l’aide d’analogies, d’applications concrètes et d’exemples de code Python.
sentimental-onix Modèles d’analyse des sentiments pour spaCy avec ONNX.
TextAttack - attaques adversariales, entraînement adversarial et augmentation des données en TAL.
TextBlob - API cohérente pour explorer les tâches courantes de traitement automatique des langues (TAL). Elle s’appuie sur les solides fondations de Natural Language Toolkit (NLTK) et de Pattern, avec lesquelles elle s’intègre parfaitement :+1:
spaCy - TAL de qualité industrielle avec Python et Cython :+1:
textacy - outils TAL de haut niveau reposant sur spaCy.
gensim - bibliothèque Python de modélisation sémantique non supervisée à partir de texte brut :+1:
scattertext - bibliothèque Python pour créer des visualisations d3 montrant les différences de langue entre des corpus.
GluonNLP(archivé) - boîte à outils d’apprentissage profond pour le TAL, fondée sur MXNet/Gluon.
AllenNLP(archivé) - bibliothèque de recherche en TAL fondée sur PyTorch pour développer des modèles d’apprentissage profond de pointe couvrant de nombreuses tâches linguistiques.
PyTorch-NLP - boîte à outils de recherche en TAL conçue pour le prototypage rapide, avec de meilleurs chargeurs de données et de vecteurs de mots, des représentations de couches de réseaux neuronaux et des métriques TAL courantes comme BLEU.
Rosetta - outils de traitement de texte et interfaces, par exemple pour Vowpal Wabbit.
PyNLPl - bibliothèque Python de traitement automatique des langues polyvalente, prenant en charge certains formats spécifiques comme les modèles de langue ARPA, les tables de phrases Moses et les alignements GIZA++.
foliapy - bibliothèque Python pour manipuler FoLiA, un format XML d’annotation linguistique.
PySS3 - paquet Python qui implémente le classificateur de texte interprétable SS3 et fournit des outils de visualisation interactifs expliquant ses prédictions.
jPTDP - boîte à outils pour l’étiquetage morphosyntaxique (POS) et l’analyse des dépendances conjoints. jPTDP propose des modèles préentraînés pour plus de 40 langues.
BigARTM - bibliothèque rapide de modélisation de sujets.
Snips NLU - bibliothèque prête pour la production d’analyse des intentions.
Chazutsu - bibliothèque de téléchargement et d’analyse de jeux de données classiques de recherche en TAL.
Word Forms - génère avec précision toutes les formes possibles d’un mot anglais.
Natural Language Toolkit (NLTK) - bibliothèque offrant un large éventail de fonctions TAL et prenant en charge plus de 50 corpus.
NLP Architect - bibliothèque pour explorer les architectures et techniques d’apprentissage profond de pointe en TAL et en NLU.
Flair - cadre très simple de TAL multilingue de pointe, fondé sur PyTorch. Comprend les représentations vectorielles BERT, ELMo et Flair.
Kashgari - cadre TAL multilingue simple fondé sur Keras, permettant de créer en cinq minutes des modèles de reconnaissance d’entités nommées (NER), d’étiquetage morphosyntaxique (POS) et de classification de texte. Comprend des représentations BERT et word2vec.
FARM - transfert d’apprentissage rapide et facile pour le TAL, axé sur l’exploitation des modèles de langue dans l’industrie et les questions-réponses.
Haystack - cadre Python de bout en bout pour créer des interfaces de recherche en langage naturel sur des données. Il exploite Transformers et les dernières avancées du TAL et prend en charge DPR, Elasticsearch, Modelhub de Hugging Face, et bien plus encore.
Rita DSL - langage spécifique à un domaine (DSL) inspiré librement de RUTA d’Apache UIMA. Il permet de définir des motifs linguistiques (TAL à base de règles), ensuite traduits en règles spaCy ou, pour une solution plus légère et moins riche en fonctionnalités, en expressions régulières.
Transformers - traitement automatique des langues pour TensorFlow 2.0 et PyTorch.
Tokenizers - tokeniseurs rapides de qualité recherche et production.
fairSeq - implémentations par Facebook AI Research de modèles seq2seq de pointe dans PyTorch.
corex_topic - modélisation hiérarchique de sujets avec un minimum de connaissances du domaine.
Sockeye - boîte à outils de traduction automatique neuronale (NMT) qui alimente Amazon Translate.
DL Translate - bibliothèque de traduction par apprentissage profond pour 50 langues, fondée sur transformers et mBART Large de Facebook.
Jury - évaluation des sorties de modèles TAL à l’aide de diverses métriques automatisées.
python-ucto - tokeniseur à expressions régulières compatible Unicode pour diverses langues. Interface Python de la bibliothèque C++, compatible avec le format FoLiA.
Pearmut - outil d’annotation humaine pour les tâches TAL multilingues, comme la traduction automatique.
Stanza - boîte à outils Python de Stanford NLP pour la tokenisation, l’étiquetage morphosyntaxique, la lemmatisation, l’analyse des dépendances et la reconnaissance d’entités nommées dans plus de 70 langues.
Sentence-Transformers - représentations vectorielles de phrases et de documents, recherche sémantique et reclassement ; référence actuelle pour le TAL axé sur la recherche d’information.
Argilla - plateforme libre d’annotation de données et de collecte de retours pour les jeux de données TAL et LLM.
HuggingFace Datasets - chargeurs normalisés et outils de traitement pour des milliers de jeux de données TAL.
sacrebleu - évaluation reproductible avec BLEU/chrF/TER pour la traduction automatique.
COMET - métriques apprises pour la traduction automatique, désormais la norme de facto.
LangTest - plus de 60 types de tests de robustesse, de biais et d’équité pour les modèles TAL.
yasbd-lib - détecteur de limites de phrases (SBD) à base de règles et de haute précision. Adaptateur pysbd prêt à l’emploi, API de flux, interface en ligne de commande et composant spaCy pour plus de 39 langues.
CRF++ - implémentation libre des champs aléatoires conditionnels (CRF) pour segmenter et étiqueter des données séquentielles et pour d’autres tâches de TAL.
CRFsuite - implémentation des champs aléatoires conditionnels (CRF) pour l’étiquetage de données séquentielles.
BLLIP Parser - analyseur de langue naturelle BLLIP, également appelé analyseur Charniak-Johnson.
colibri-core - bibliothèque C++, outils en ligne de commande et interface Python pour extraire et manipuler rapidement et efficacement en mémoire des structures linguistiques élémentaires comme les n-grammes et les skip-grammes.
ucto - tokeniseur à expressions régulières compatible Unicode pour diverses langues. Outil et bibliothèque C++, compatible avec le format FoLiA.
frog - suite TAL à base de mémoire conçue pour le néerlandais : étiqueteur morphosyntaxique, lemmatiseur, analyseur des dépendances, reconnaissance d’entités nommées, analyseur syntaxique superficiel et analyseur morphologique.
MeTA - ModErn Text Analysis : boîte à outils C++ de science des données pour l’exploration de grands volumes de texte.
StarSpace - bibliothèque de Facebook pour créer des représentations vectorielles de mots, de paragraphes et de documents, ainsi que pour la classification de texte.
QSMM - analyseurs probabilistes adaptatifs, descendants et ascendants.
ReVerb Extraction ouverte d’informations à l’échelle du Web.
OpenRegex Langage et moteur efficaces et flexibles d’expressions régulières fondés sur les tokens.
CogcompNLP - bibliothèques fondamentales développées par le Cognitive Computation Group de l’Université de l’Illinois.
MALLET - MAchine Learning for LanguagE Toolkit : paquet de traitement statistique automatique des langues, de classification et de regroupement de documents, de modélisation de sujets, d’extraction d’informations et d’autres applications d’apprentissage automatique sur le texte.
RDRPOSTagger - boîte à outils robuste d’étiquetage morphosyntaxique disponible en Java et Python, accompagnée de modèles préentraînés pour plus de 40 langues.
Saul - bibliothèque de développement de systèmes TAL, avec des modules intégrés comme l’étiquetage des rôles sémantiques (SRL) et l’étiquetage morphosyntaxique (POS).
tm - implémentation de la modélisation de sujets fondée sur la PLSA multilingue régularisée.
word2vec-scala - interface Scala pour les modèles word2vec ; comprend des opérations vectorielles comme la distance entre mots et les analogies.
Epic - analyseur statistique haute performance écrit en Scala et cadre de création de modèles complexes de prédiction structurée.
Spark NLP - bibliothèque de traitement automatique des langues fondée sur Apache Spark ML, qui fournit des annotations TAL simples, performantes et précises pour des pipelines d’apprentissage automatique facilement extensibles en environnement distribué.
TAL sous forme d’API offrant des fonctionnalités de haut niveau comme la reconnaissance d’entités nommées, l’étiquetage de sujets, etc. | Retour en haut
Wit-ai - interface en langage naturel pour les applications et les appareils.
Amazon Comprehend - suite TAL et apprentissage automatique couvrant la plupart des tâches courantes, comme la reconnaissance d’entités nommées, l’étiquetage et l’analyse des sentiments.
Google Cloud Natural Language API - analyse syntaxique, reconnaissance d’entités nommées, analyse des sentiments et étiquetage de contenu dans au moins neuf langues, dont l’anglais et le chinois (simplifié et traditionnel).
ParallelDots - service d’API d’analyse de texte de haut niveau, allant de l’analyse des sentiments à l’analyse des intentions.
Textalytic - traitement automatique des langues dans le navigateur : analyse des sentiments, extraction d’entités nommées, étiquetage morphosyntaxique, fréquences des mots, modélisation de sujets, nuages de mots et plus encore.
NLP Cloud - modèles TAL spaCy (personnalisés et préentraînés) fournis par API REST pour la reconnaissance d’entités nommées (NER), l’étiquetage morphosyntaxique (POS) et plus encore.
Cloudmersive - API TAL unifiées et gratuites permettant notamment l’étiquetage de la parole, la reformulation de texte, la traduction et la détection de langue, ainsi que l’analyse syntaxique des phrases.
GATE - General Architecture and Text Engineering : projet libre et gratuit actif depuis plus de 15 ans.
Anafora est un outil gratuit, libre et Web d’annotation de textes bruts.
brat - outil rapide d’annotation brat, environnement en ligne d’annotation collaborative de texte.
doccano - outil gratuit et libre proposant des fonctions d’annotation pour la classification de texte, l’étiquetage de séquences et les tâches séquence à séquence.
INCEpTION - plateforme d’annotation sémantique offrant une assistance intelligente et une gestion des connaissances.
prodigy est un outil d’annotation reposant sur l’apprentissage actif, payant.
LightTag - outil hébergé et géré d’annotation de texte pour les équipes, payant.
rstWeb - outil libre, local ou en ligne, d’annotation des arbres discursifs.
GitDox - outil serveur libre d’annotation, avec gestion de versions GitHub et validation des données XML ainsi que grilles de feuilles de calcul collaboratives.
Datasaur prend en charge diverses tâches TAL pour les particuliers et les équipes, avec une offre freemium.
Konfuzio - outil d’annotation de textes, d’images et de PDF hébergé ou sur site, conçu pour les équipes, reposant sur l’apprentissage actif ; offre freemium payante.
UBIAI - outil d’annotation de texte facile à utiliser pour les équipes, avec des fonctions complètes d’annotation automatique. Prend en charge la reconnaissance d’entités nommées, les relations, la classification de documents et l’annotation OCR de factures ; payant.
Shoonya - plateforme libre et gratuite d’annotation de données, offrant divers niveaux de gestion des organisations et des espaces de travail. Indépendante des données, elle permet aux équipes d’annoter à grande échelle avec plusieurs étapes de vérification.
Annotation Lab - plateforme gratuite, sans code et de bout en bout pour annoter du texte et entraîner/ajuster des modèles d’apprentissage profond. Prise en charge intégrée des modèles Spark NLP pour la reconnaissance d’entités nommées, la classification, l’extraction de relations et le statut d’assertion. Utilisateurs, équipes, projets et documents illimités. Non libre.
FLAT - environnement Web d’annotation linguistique fondé sur le format FoLiA, un format XML riche pour l’annotation linguistique. Gratuit et libre.
Argilla - plateforme libre de collecte de commentaires humains, de création de jeux de données TAL et LLM et de curation de données de préférences.
Label Studio - plateforme d’étiquetage multimodale à cœur libre, largement utilisée pour l’étiquetage TAL.
Potato - outil d’annotation gratuit et libre couvrant plus de 21 types de tâches (classification, segments, coréférence, liaison d’entités, évaluation de traces d’agents), avec contrôle qualité MACE intégré, vérifications d’attention, annotation assistée par IA et plus de 300 exemples de tâches.
Tâches de TAL classées par problème linguistique. Chaque sous-section présente d’abord les travaux fondateurs et classiques, puis les approches neuronales, et enfin les méthodes fondées sur les grands modèles de langue lorsqu’elles sont pertinentes. Pour les recherches consacrées aux modèles de langue modernes (préentraînement, évaluation, recherche d’information, raisonnement, etc.), voir Modèles de langue pour le TAL.
ELMo - représentations contextuelles profondes des mots.
CoVe - vecteurs contextuels appris à partir de la traduction automatique.
ULMFiT - ajustement fin d’un modèle de langue pour la classification de texte.
InferSent - représentations de phrases issues de l’inférence en langue naturelle (NLI).
Représentations vectorielles modernes de phrases et de documents : voir Recherche d’information pour le TAL (Sentence-Transformers, E5, BGE-M3, Nomic, GritLM) et MTEB pour les classements actuels.
Byte Latent Transformer (BLT) (Meta, 2024) - découpage dynamique en octets, aussi performant à grande échelle que les modèles tokenisés avec BPE ; relance l’approche sans tokeniseur.
SuperBPE (2025) - tokenisation en super-mots améliorant BPE pour les tâches en aval.
Over-Tokenized Transformer (ICML 2025) - dissocie les vocabulaires d’entrée et de sortie ; met en évidence une relation log-linéaire entre la taille du vocabulaire d’entrée et la perte d’entraînement, permettant de faire évoluer le vocabulaire indépendamment de la taille du modèle.
Foundations of Tokenization (ICLR 2025) - premier cadre unifié formel pour les modèles de tokeniseurs, fondé sur la théorie des catégories et des applications stochastiques ; établit les conditions de cohérence statistique.
The Token Tax: Systematic Bias in Multilingual Tokenization (2025) - quantifie la manière dont la fragmentation en tokens prédit la précision des modèles selon la langue et révèle des pénalités structurelles pour les langues morphologiquement complexes et peu dotées.
Reducing Tokenization Premiums for Low-Resource Languages (2026) - ajouts a posteriori au vocabulaire qui regroupent des séquences de caractères réparties sur plusieurs tokens dans les langues peu dotées, réduisant le coût d’inférence sans réentraînement.
Étiquetage morphosyntaxique et analyse des dépendances
Generative NER in the Era of LLMs (2026) - huit grands modèles de langue ouverts évalués sur quatre benchmarks NER ; l’ajustement fin efficace des paramètres (PEFT) avec sorties structurées atteint les performances de la NER fondée sur des encodeurs.
Multilingual MT with Open LLMs at Practical Scale (2025) - évalue des grands modèles de langue ouverts de moins de 10 milliards de paramètres sur la traduction dans 28 langues ; ils rivalisent avec GPT-4-turbo et Google Translate.
Bridging the Linguistic Divide: Survey on LLMs for MT (2025) - état des lieux de la manière dont le suivi d’instructions, l’apprentissage en contexte et l’alignement des préférences ont transformé la méthodologie de la traduction automatique.
DocRED - benchmark d’extraction de relations au niveau du document.
LLMs for Semantic Role Labeling (2025) - les grands modèles de langue génératifs associés à la recherche augmentée par récupération (RAG) et à l’autocorrection surpassent les modèles de type BERT encodeur-décodeur en étiquetage des rôles sémantiques (SRL) en anglais et en chinois.
Adapting LLMs for Minimal-edit GEC (2025) - des grands modèles de langue décodeurs seuls, avec un nouveau calendrier d’adaptation au taux d’erreurs, établissent un nouvel état de l’art en correction grammaticale BEA-test.
Recherche d’information et représentations vectorielles
GritLM (2024) - génération et représentation vectorielle unifiées dans un seul modèle.
RAG (Retrieval-Augmented Generation) - cadre original de génération augmentée par la recherche d’information, fondement des pipelines modernes de questions-réponses.
Gemini Embedding (2025) - représentations vectorielles denses dérivées de Gemini ; état de l’art sur MMTEB dans plus de 250 langues et en recherche interlingue (XOR-Retrieve, XTREME-UP).
Qwen3-Embedding (2025) - série de modèles de représentation vectorielle à décodeur (0,6 à 8 milliards de paramètres) fondée sur Qwen3 ; première sur MTEB Multilingual et MTEB Code, devant les anciens modèles propriétaires.
Rank1 (2025) - premier modèle de reclassement entraîné avec du calcul à l’inférence, par distillation des traces de raisonnement DeepSeek-R1 ; état de l’art en suivi d’instructions et en recherche hors distribution.
ReasonEmbed (2025) - modèle de représentation vectorielle pour la recherche nécessitant un raisonnement approfondi, avec synthèse de données ReMixer et entraînement adaptatif Redapter ; record de 38,1 en nDCG@10 sur BRIGHT.
ColBERT-Att (2026) - étend la recherche à interaction tardive en intégrant les poids d’attention des requêtes et des documents au score ColBERT ; améliore le rappel sur MS-MARCO, BEIR et LoTTE.
Benchmarks de représentation vectorielle et de recherche d’information :
MMTEB (2025) - extension communautaire de MTEB à plus de 500 tâches dans plus de 250 langues.
Quelques ressources indicatives, car ce domaine touche à des disciplines voisines :
Whisper - reconnaissance vocale automatique (ASR) multilingue ; référence moderne parmi les outils ouverts.
SeamlessM4T - traduction unifiée de la parole et du texte.
Canary (NVIDIA, 2024) - premier modèle ASR multilingue ouvert.
FunASR - boîte à outils ASR de qualité industrielle ; vitesse 170 fois supérieure au temps réel sur GPU, plus de 50 langues, détection d’activité vocale, ponctuation, diarisation et détection des émotions intégrées. Comprend SenseVoice non autorégressif et les modèles Fun-ASR-Nano fondés sur des grands modèles de langue.
Wav2Vec 2.0 - préentraînement auto-supervisé fondateur pour la parole.
RedPajama / RedPajama-V2 (2023-2024) - reproductions des données de préentraînement de LLaMA ; la version 2 contient 30 billions de tokens et des indicateurs de qualité.
Dolma (AI2, 2023-2024) - corpus ouvert de préentraînement de 3 billions de tokens, avec pipeline de filtrage documenté.
FineWeb / FineWeb-Edu (2024) - corpus Web nettoyé de 15 billions de tokens ; FineWeb-Edu filtre les données selon leur qualité pédagogique.
CulturaX - 6,3 billions de tokens dans 167 langues.
Common Corpus (2024) - corpus multilingue ouvert sous licence, de 2 billions de tokens.
Jeux de données de tâches et d’instructions :
Universal Dependencies - annotation de banques d’arbres cohérente entre les langues, couvrant plus de 100 langues.
Tülu 3 SFT Mixture (2024) - données ouvertes d’ajustement fin supervisé par instructions à l’origine de Tülu 3.
tiny_qa_benchmark_pp - petits jeux de données TAL multilingues de questions-réponses et bibliothèque permettant de générer vos propres copies synthétiques.
UDPipe est un pipeline entraînable pour tokeniser, étiqueter, lemmatiser et analyser les banques d’arbres Universal Dependencies ainsi que d’autres fichiers CoNLL-U. Principalement écrit en C++, il offre une solution rapide et fiable pour le traitement TAL multilingue.
NLP-Cube : pipeline de traitement automatique des langues — segmentation des phrases, tokenisation, lemmatisation, étiquetage morphosyntaxique et analyse des dépendances. Nouvelle plateforme écrite en Python avec Dynet 2.0. Propose un fonctionnement autonome (interfaces CLI/Python) et serveur (API REST).
UralicNLP est une bibliothèque TAL principalement consacrée à plusieurs langues ouraliennes menacées, comme le same, le mordve, le mari et le komi. Elle prend également en charge certaines langues non menacées, comme le finnois, ainsi que des langues non ouraliennes comme le suédois et l’arabe. UralicNLP assure l’analyse et la génération morphologiques, la lemmatisation et la désambiguïsation.
Modèles de langue préentraînés et recherches associées, limités aux tâches de TAL et aux phénomènes linguistiques. Pour les outils généralistes dédiés aux grands modèles de langue, les agents ou les kits d’applications RAG, voir Voir aussi.
Encodeurs (toujours les principaux outils des tâches classiques de TAL) :
BERT - préentraînement Transformer bidirectionnel ; fondement de la plupart des travaux de TAL fondés sur des encodeurs depuis 2018. Lire en ligne avec navigation par section et source ACL jointe.
RoBERTa - préentraînement de BERT optimisé de façon robuste ; référence courante pour les encodeurs.
DeBERTa / DeBERTa-v3 - attention dissociée ; performant en classification, reconnaissance d’entités nommées et inférence en langue naturelle.
ELECTRA - préentraînement par détection de tokens remplacés, économe en exemples.
ModernBERT (2024) - encodeur modernisé avec représentations positionnelles rotatives, FlashAttention et contexte de 8 000 tokens ; encodeur de référence actuel pour la classification, la reconnaissance d’entités nommées et la recherche.
NeoBERT (2025) - encodeur de 250 millions de paramètres intégrant des améliorations d’architecture modernes (RoPE, contexte de 4 000 tokens, profondeur/largeur optimisée) ; état de l’art sur MTEB, devant ModernBERT et RoBERTa-large avec un ajustement fin identique.
Encodeurs-décodeurs et modèles seq2seq :
T5 et FLAN-T5 - formulation texte-à-texte des tâches de TAL ; références solides d’encodeurs-décodeurs ajustés par instructions.
BART - préentraînement seq2seq par débruitage ; largement utilisé pour le résumé et la génération.
Grands modèles de langue ouverts à décodeur seul (utilisés comme base pour des tâches TAL) :
Llama 3 / 3.1 / 3.3 (Meta, 2024-2025) - famille de poids ouverts largement adoptée ; modèle de base par défaut pour l’ajustement fin de diverses tâches TAL.
Qwen 2.5 / Qwen 3 (Alibaba, 2024-2025) - vaste couverture multilingue, notamment du chinois ; souvent en tête des modèles ouverts sur les benchmarks multilingues.
DeepSeek-V3 (2024) - préentraînement efficace par mélange d’experts (MoE) ; modèle de base ouvert compétitif.
OLMo 2 (AI2, 2025) - entièrement ouvert : poids, données d’entraînement et code ; référence en matière de reproductibilité.
Gemma 2 / Gemma 3 (Google, 2024-2025) - modèles ouverts de petite et moyenne taille, performants sur les tâches TAL.
Mistral / Mixtral - modèles ouverts efficaces, denses et à mélange d’experts épars.
BLOOM - modèle de langue multilingue ouvert de 176 milliards de paramètres, couvrant 46 langues naturelles.
Aya 23 / Aya Expanse (Cohere For AI, 2024) - modèles massivement multilingues ajustés par instructions, couvrant de 23 à 101 langues.
Glot500 - encodeur pour plus de 500 langues, axé sur les langues peu dotées.
NLLB-200 - No Language Left Behind : traduction automatique pour 200 langues.
MADLAD-400 - modèle de traduction automatique pour plus de 400 langues et corpus multilingue de 3 billions de tokens.
SeamlessM4T / Seamless (Meta, 2023-2024) - traduction vocale et textuelle multilingue et multimodale, couvrant plus de 100 langues.
SEA-LION / SeaLLM (2024-2025) - modèles de langue ciblant les langues d’Asie du Sud-Est.
Babel (2025) - grands modèles de langue multilingues ouverts (9 et 83 milliards de paramètres), couvrant les 25 langues les plus parlées (environ 90 % des locuteurs du monde) ; dépasse des modèles multilingues ouverts de taille similaire sur XCOPA, XNLI, MGSM et FLORES-200.
Lugha-Llama (Princeton/Mila, 2025) - Llama-3.1-8B adapté aux langues africaines peu dotées grâce au corpus WURA sélectionné ; résultats ouverts de pointe sur IrokoBench et AfriQA.
AfriqueLLM (McGill, 2026) - suite de grands modèles de langue ouverts (4 à 14 milliards de paramètres), poursuivant le préentraînement sur 26 milliards de tokens dans 20 langues africaines et accompagnée d’une étude empirique approfondie du mélange de données.
TranslateGemma (Google, 2026) - modèles ouverts spécialisés en traduction, fondés sur Gemma 3 et couvrant 55 paires de langues grâce à l’ajustement fin supervisé et à l’apprentissage par renforcement avec des modèles de récompense de qualité.
MiLMMT-46 (Xiaomi, 2026) - traduction automatique multilingue ouverte couvrant 46 langues et rivalisant avec des systèmes commerciaux comme Google Translate et Gemini 3 Pro.
Compréhension du langage et évaluation interlingue :
GLUE et SuperGLUE - benchmarks de compréhension du langage en anglais.
XTREME et XGLUE - compréhension du langage interlingue.
XNLI - inférence en langue naturelle interlingue dans 15 langues.
FLORES-200 - évaluation de la traduction automatique dans 200 langues.
MTEB - Massive Text Embedding Benchmark ; référence pour les encodeurs de phrases et de documents.
BEIR - benchmark hétérogène de recherche d’information pour les modèles de récupération.
Évaluation moderne des modèles de langue (2023-2026) :
HELM - évaluation holistique sur des tâches TAL, mesurant la précision et d’autres critères.
BIG-bench - plus de 200 tâches évaluant les capacités des modèles de langue.
MMLU - évaluation des connaissances multitâches dans 57 domaines.
MMLU-Pro (2024) - version plus difficile et plus discriminante de MMLU.
GPQA - questions-réponses de niveau universitaire et évaluation du raisonnement « à l’épreuve de Google ».
REFUTE (2026) - benchmark de raisonnement scientifique pour la critique fondée sur des preuves, la détection d’affirmations excessives, le refus en l’absence de preuves et la calibration.
IFEval - évaluation vérifiable du suivi d’instructions.
Chatbot Arena (LMSYS) - classement ELO des modèles conversationnels selon les préférences humaines.
LiveBench (2024) - benchmark résistant à la contamination et renouvelé chaque mois.
LM Evaluation Harness - cadre unifié d’évaluation des modèles de langue sur des benchmarks.
MMLU-ProX (2025) - extension multilingue de MMLU-Pro à 29 langues typologiquement diverses ; révèle jusqu’à 24,3 % d’écart de performance entre les langues fortement et faiblement dotées.
MultiChallenge (2025) - benchmark conversationnel à plusieurs tours révélant des échecs conjoints du suivi d’instructions et du raisonnement en contexte ; tous les modèles de pointe testés obtiennent moins de 50 %.
FRAMES (2025) - évaluation unifiée de la génération augmentée par la recherche d’information : 824 questions à plusieurs étapes nécessitant simultanément factualité, précision de la recherche et raisonnement interdocuments.
RULER (2024) - tâches synthétiques à long contexte allant au-delà de la simple recherche d’information.
LongBench - benchmark bilingue à long contexte couvrant des tâches TAL.
LongBench v2 (2025) - 503 questions à choix multiples conçues par des experts, couvrant des contextes de 8 000 à 2 millions de mots et nécessitant un raisonnement approfondi à plusieurs étapes ; les humains obtiennent 53,7 % sous contrainte de temps.
U-NIAH (2025) - étend le test de l’aiguille dans une botte de foin avec des configurations à aiguilles multiples et imbriquées ; montre que RAG atténue la perte d’information au milieu du contexte pour les petits grands modèles de langue, mais dégrade les modèles de raisonnement.
Tendance majeure de 2024 à 2026 : des modèles qui produisent des traces de raisonnement explicites et bénéficient d’un calcul supplémentaire à l’inférence.
Chain-of-Thought Prompting - résultat fondateur : les étapes de raisonnement intermédiaires améliorent les performances.
Self-Consistency - vote majoritaire parmi des chaînes de raisonnement (CoT) échantillonnées.
DeepSeek-R1 (2025) - modèle de raisonnement ouvert entraîné uniquement par apprentissage par renforcement ; reproduit en ouvert le comportement de type o1.
OpenAI o1 / o3 (2024-2025) - systèmes de raisonnement fondés sur le calcul à l’inférence.
s1: Simple Test-Time Scaling (2025) - méthode simple de mise à l’échelle du raisonnement, ouverte et compacte, par forçage du budget.
Kimi k1.5 (2025) - apprentissage par renforcement à long contexte avec optimisation de politique (sans MCTS ni PRM), atteignant les performances de o1 ; introduit la distillation de chaînes de raisonnement longues vers des modèles à chaînes courtes.
rStar-Math (2025) - petit modèle de politique associé à un modèle de préférences de processus entraîné avec des parcours MCTS ; permet aux petits modèles de langue de développer leurs capacités de raisonnement sans distillation de modèles plus grands.
DAPO (2025) - système ouvert d’apprentissage par renforcement fondé sur GRPO, avec quatre améliorations clés (écrêtage découplé, échantillonnage dynamique, perte au niveau des tokens, bonus d’entropie) ; reproduit et dépasse le raisonnement de niveau DeepSeek-R1-Zero.
VAPO (2025) - apprentissage par renforcement fondé sur un modèle de valeur, avec GAE adaptatif à la longueur et écrêtage par token ; dépasse les méthodes GRPO sans modèle de valeur sur AIME 2024 avec un entraînement stable.
ThinkPRM (2025) - modèles génératifs de récompense de processus produisant une vérification en chaîne à chaque étape ; égalent les PRM discriminatifs avec 1 % des étiquettes de supervision.
OpenThoughts (2025) - plus de 1 000 expériences contrôlées sur les recettes de données des modèles de raisonnement ouverts ; état de l’art sur AIME 2025, à égalité avec les références fermées par distillation.
Titans: Learning to Memorize at Test Time (2025) - module neuronal de mémoire à long terme apprenant à mémoriser le contexte antérieur pendant l’inférence ; dépasse 2 millions de tokens et surpasse les Transformers et les modèles récurrents linéaires modernes en modélisation de langue et en raisonnement.
MiniMax-01 (2025) - modèle hybride de 456 milliards de paramètres combinant attention linéaire lightning et attention softmax éparse ; égale les performances TAL de GPT-4o avec des contextes d’inférence allant jusqu’à 4 millions de tokens.
Native Sparse Attention (NSA) (2025) - attention éparse entraînable combinant compression grossière et sélection fine ; fortes accélérations à 64 000 tokens sans dégradation des benchmarks TAL.
LongRoPE2 (2025) - identifie le sous-entraînement des dimensions RoPE à haute fréquence et applique une mise à l’échelle par recherche évolutionnaire ; étend LLaMA3-8B à 128 000 tokens avec 80 fois moins de tokens d’entraînement que la méthode de Meta.
Characterizing SSM and Hybrid LM Long-Context Performance (2025) - première analyse exhaustive de la mémoire et de la vitesse des Transformers, modèles à espace d’états et modèles hybrides jusqu’à 220 000 tokens ; les modèles à espace d’états sont jusqu’à quatre fois plus rapides, les hybrides équilibrant rappel et efficacité.
HalluLens (2025) - benchmark des hallucinations avec taxonomie extrinsèque/intrinsèque et régénération dynamique du jeu de tests pour résister aux fuites de données.
Atomic Calibration (2025) - analyse de la calibration au niveau des affirmations pour les textes longs ; les modèles sont nettement moins bien calibrés dans les sorties longues que pour des affirmations isolées.
FRANQ (2025) - quantification de l’incertitude sensible à la fidélité pour la vérification factuelle RAG ; distingue formellement la fidélité de la factualité.
MUCH (2025) - benchmark multilingue des hallucinations dans des affirmations en anglais, français, espagnol et allemand ; publie les logits au niveau des tokens pour une évaluation rigoureuse de la quantification de l’incertitude.
HalluHard (2026) - benchmark exigeant d’hallucinations à plusieurs tours pour les réponses nécessitant des citations ; le taux d’hallucination reste proche de 30 %, même avec la recherche Web.
CURE: Think Through Uncertainty (2026) - entraîne les modèles à raisonner sur l’incertitude de chaque affirmation avant de générer ; fortes améliorations en factualité biographique et en AUROC sur FactBench.
Circuit Tracing: Revealing Computational Graphs in Language Models (Anthropic, 2025) - présente les transcodeurs inter-couches et les graphes d’attribution pour construire un modèle de remplacement interprétable ; permet le traçage, au niveau de la requête, des interactions causales entre caractéristiques.
On the Biology of a Large Language Model (Anthropic, 2025) - applique les graphes d’attribution à Claude 3.5 Haiku pour étudier le raisonnement à plusieurs étapes, la planification des rimes et des exemples de contournement des garde-fous.
Transcoders Beat Sparse Autoencoders for Interpretability (2025) - montre que les transcodeurs (reconstruisant les sorties d’une couche à partir de ses entrées) produisent des caractéristiques plus interprétables que les SAE ; présente les transcodeurs à sauts.
DistilBERT et MiniLM - encodeurs distillés pour le TAL en production.
Phi-3 / Phi-4 (Microsoft, 2024) - petits modèles entraînés sur des données sélectionnées, compétitifs avec des modèles bien plus grands sur les benchmarks TAL.
SmolLM2 (HuggingFace, 2025) - famille de petits modèles de langue entièrement ouverts, avec données d’entraînement reproductibles.
SmolLM3 (HuggingFace, 2025) - décodeur entièrement ouvert de 3 milliards de paramètres, préentraîné sur 11,2 billions de tokens avec NoPE et YaRN pour un contexte de 128 000 tokens ; compétitif avec les modèles de classe 4 milliards.
Gemma 3 Technical Report (Google, 2025) - modèles ouverts de 1 à 27 milliards de paramètres, avec une forte proportion d’attention locale par rapport à l’attention globale afin de maintenir un cache KV gérable pour un contexte de 128 000 tokens.
Qwen3 Technical Report (Alibaba, 2025) - modèles denses et à mélange d’experts de 0,6 à 235 milliards de paramètres, avec modes de raisonnement et sans raisonnement unifiés ; le modèle MoE 30B-A3B rivalise avec des modèles denses plus grands en n’activant que 3 milliards de paramètres.
Apple Intelligence Foundation Language Models (Apple, 2025) - modèle embarqué de 3 milliards de paramètres utilisant le partage du cache KV et une quantification consciente de l’entraînement (QAT) sur 2 bits, réduisant de 37,5 % la mémoire du cache sans perte de précision.
Sentence-Transformers - représentations vectorielles de phrases et de paragraphes par BERT siamois.
SetFit - classification de texte en quelques exemples, sans requêtes.
FastFit - classification rapide en quelques exemples pour les tâches à nombreuses classes.
GTE, BGE et Stella - modèles compacts de représentation vectorielle de texte, près du sommet de MTEB.
Quantification et mise à disposition (pertinentes pour déployer des modèles TAL à grande échelle) :
GPTQ - quantification après entraînement des Transformers.
AWQ - quantification des poids tenant compte des activations.
KVTuner (ICML 2025) - quantification mixte du cache KV, couche par couche, tenant compte de la sensibilité ; améliore le débit jusqu’à 21 % par rapport à KV8 uniforme.
LoRA et QLoRA - adaptateurs de faible rang et ajustement fin quantifié ; méthodes standard pour adapter des modèles de langue aux tâches TAL avec du matériel modeste.
DoRA (2024) - adaptation de faible rang par décomposition des poids.
PEFT - bibliothèque Hugging Face regroupant LoRA, prefix tuning, IA3 et d’autres méthodes.
Ajustement par instructions et optimisation des préférences
Tülu 3 (AI2, 2024) - recette ouverte de post-entraînement, avec des résultats de pointe parmi les modèles ouverts.
LIMA - « moins, c’est mieux pour l’alignement » : un petit ensemble de données SFT de haute qualité peut suffire.
TRL - bibliothèque de référence pour SFT, DPO, GRPO et RLHF.
Magpie (2024-2025) - synthétise des paires instruction-réponse de haute qualité en interrogeant des modèles de langue alignés sans fournir de contenu ; l’ajustement fin supervisé sur le sous-ensemble filtré égale Llama-3-Instruct officiel.
WildGuard (2024) - modèle et benchmark ouverts de modération de sécurité.
Emergent Misalignment (2025) - l’ajustement fin sur une tâche étroite (code non sécurisé) provoque de manière inattendue de larges échecs d’alignement dans des domaines sans rapport.
SafeDialBench (2025) - benchmark multilingue de sécurité (chinois/anglais) comprenant plus de 4 000 dialogues à plusieurs tours, répartis sur 22 scénarios et 7 stratégies de contournement.
TeleAI-Safety (2025) - cadre modulaire d’évaluation des contournements, intégrant 19 attaques, 29 défenses et 19 méthodes d’évaluation sur 14 modèles et 12 catégories de risques.
IndicSafe (2026) - benchmark multilingue de sécurité couvrant 12 langues indiennes ; révèle un accord interlingue de 12,8 % et des refus excessifs dans les écritures peu dotées.
VLAF: Value-Conflict Alignment Faking (2026) - la falsification de l’alignement apparaît dans 37 % des cas sur des modèles de seulement 7 milliards de paramètres lorsque les règles entrent en conflit avec les valeurs internalisées ; une atténuation par vecteur de pilotage la réduit de 94%.
FudanNLP - bibliothèque Java de traitement de texte chinois.
HanLP - bibliothèque TAL multilingue offrant une prise en charge avancée du chinois.
LTP - plateforme de technologies linguistiques du HIT : segmentation, étiquetage morphosyntaxique, reconnaissance d’entités nommées et analyse syntaxique.
python-frog - interface Python pour Frog, suite TAL néerlandaise (étiquetage morphosyntaxique, lemmatisation, analyse des dépendances et reconnaissance d’entités nommées).
SimpleNLG_NL - générateur de surface néerlandais pour la génération de langue naturelle, fondé sur l’implémentation SimpleNLG.
Alpino - analyseur de dépendances pour le néerlandais (assure aussi l’étiquetage morphosyntaxique et la lemmatisation).
Kaldi NL - modèles néerlandais de reconnaissance vocale fondés sur Kaldi.
spaCy Dutch model - pipeline spaCy de TAL néerlandais de qualité industrielle.
IndoBERT (IndoNLU) - modèle de langue indonésien préentraîné avec la suite de benchmarks IndoNLU.
IndoBERT (IndoLEM) - autre variante d’IndoBERT avec le benchmark IndoLEM.
NusaCrowd / Cendol (2023-2024) - jeux de données communautaires à grande échelle et modèles de langue indonésiens et régionaux ajustés par instructions avec Cendol.
Sailor - modèles de langue ouverts d’Asie du Sud-Est, couvrant l’indonésien.
SEA-LION (2024) - modèle de langue ouvert de l’IA de Singapour pour l’Asie du Sud-Est, performant en indonésien.
SEACrowd - plateforme de données multilingue et multimodale proposant des jeux de données et benchmarks normalisés pour le TAL d’Asie du Sud-Est (EMNLP 2024).
Bijankhan Corpus - corpus étiqueté adapté à la recherche en TAL persan (farsi), comprenant environ 2,6 millions de mots annotés manuellement selon 40 catégories morphosyntaxiques.
Uppsala Persian Corpus (UPC) - grand corpus persan librement accessible, contenant 2,7 millions de tokens annotés selon 31 catégories morphosyntaxiques.
Large-Scale Colloquial Persian - LSCP : 120 millions de phrases issues de 27 millions de tweets familiers en persan, avec annotations de dépendances, d’étiquetage morphosyntaxique et de sentiments.
ArmanPersoNERCorpus - 250 000 tokens et 7 682 phrases annotées en entités nommées au format IOB.
spanlp - bibliothèque Python pour détecter, censurer et nettoyer les grossièretés, discours haineux et actes d’intimidation en espagnol, avec des données de 21 pays hispanophones.
SOAS English-Uzbek RAG Evaluation - benchmark bilingue d’évaluation de la recherche d’information pour RAG contextualisé culturellement. 400 lignes, anglais et ouzbek, licences MIT/CC-BY-4.0.
ViText2SQL - jeu de données vietnamien d’analyse sémantique de texte vers SQL (EMNLP-2020 Findings).
EVB Corpus - 20 millions de mots dans 15 livres bilingues, 100 textes parallèles anglais-vietnamien, 250 textes juridiques parallèles, 5 000 articles d’actualité et 2 000 sous-titres de films.
Russe : pymorphy2 - bon étiqueteur morphosyntaxique pour le russe.
Langues asiatiques : implémentation ElasticSearch du tokeniseur ICU pour le thaï, le lao, le chinois, le japonais et le coréen.
Langues anciennes : CLTK : la boîte à outils de langues classiques est une bibliothèque Python et une collection de textes permettant le TAL dans les langues anciennes.
Hébreu : NLPH_Resources - collection d’articles, de corpus et de ressources linguistiques pour le TAL en hébreu.
HagiCode est un espace de développement agentique. Des interactions d’interface riches et pratiques rendent la planification, l’exécution des agents et le travail sur les projets accessibles et faciles à suivre, pour une expérience de développement engageante.
Une expérience de développement engageante grâce à des interactions d’interface riches et pratiques.
IntelligentLes workflows OpenSpec transforment une intention en parcours exécutable, de la proposition à la livraison en passant par la conception et les tâches.
EfficaceL’exécution multi-agent fait avancer recherche, réalisation et revue en parallèle, sur plusieurs dépôts et avec les Agent CLI que vous utilisez déjà.
IntéressantDes interactions d’interface riches et pratiques rendent la planification, l’exécution des agents et le travail sur les projets accessibles et faciles à suivre.
HagiCode rend la planification, l’exécution des agents et le travail sur les projets accessibles grâce à des interactions d’interface riches et pratiques : https://www.hagicode.com/
Transformez vos idées en logiciels livrés.
HagiCode est un espace de développement agentique : les workflows OpenSpec planifient le changement, l’exécution multi-agent le réalise et Hero Scenario rend le long parcours visible, pour transformer vos idées en logiciels livrés.
La relecture de session (lorsqu'un fournisseur enregistre les sessions) fait partie de l'analyse. Aucun fournisseur n'enregistre l'écran. (Google Analytics, 51LA, PostHog)
