KI-API-Aggregationsplattform mit einem OpenAI-kompatiblen LLM-Endpunkt für NLP-Aufgaben wie Übersetzung, Zusammenfassung, mehrsprachige Generierung und strukturierte Extraktion.
Eine kuratierte Sammlung von Ressourcen zur natürlichen Sprachverarbeitung.
Diese Liste umfasst die Verarbeitung natürlicher Sprache: linguistische Analyse, mehrsprachige Werkzeuge, klassische und neuronale Methoden, Datensätze und Evaluierung. Große Sprachmodelle werden nur aufgenommen, wenn sie eine zentrale NLP-Aufgabe oder -Fähigkeit (Tokenisierung, Mehrsprachigkeit, maschinelle Übersetzung, Zusammenfassung, NER, QA, Faktentreue, Sondierung, Destillation) voranbringen oder bewerten. Allgemeine Chatbots, Agenten-Frameworks, Prompt-Vorlagen-Repositories, Codegenerierungstools und RAG-Anwendungsstarterkits stehen in anderen Listen – siehe Siehe auch.
The Berkeley NLP Group - Zu den bemerkenswerten Beiträgen zählt ein Werkzeug zur Rekonstruktion längst ausgestorbener Sprachen, auf das hier verwiesen wird. Dabei werden Korpora aus 637 heute in Asien und im Pazifik gesprochenen Sprachen genutzt, um ihre Vorläufersprache zu rekonstruieren.
NLP research group, Columbia University - Verantwortlich für die Entwicklung von BOLT (interaktive Fehlerbehandlung für Sprachübersetzungssysteme) und ein unbenanntes Projekt zur Charakterisierung von Lachen in Dialogen.
Advanced NLP with spaCy - Kostenloser Onlinekurs zu Textverarbeitung, Datenanalyse im großen Maßstab, Verarbeitungspipelines und dem Training neuronaler Netze für benutzerdefinierte NLP-Aufgaben.
Kaggle NLP Learning Guide - Einsteigerfreundliche Tutorials mit Einstiegsleitfäden, Deep Learning für NLP und visuellen Erläuterungen von Techniken wie BERT, GloVe und TF-IDF.
Deep NLP Course von Yandex Data School mit wichtigen Konzepten von Texteinbettungen bis zur maschinellen Übersetzung, darunter Sequenzmodellierung und Sprachmodelle.
fast.ai Code-First Intro to Natural Language Processing - Behandelt eine Mischung aus traditionellen NLP-Themen (einschließlich regulärer Ausdrücke, SVD, Naive Bayes und Tokenisierung) und modernen neuronalen Ansätzen (einschließlich RNNs, Seq2seq, GRUs und dem Transformer) sowie dringende ethische Fragen wie Verzerrungen und Desinformation. Die Jupyter-Notebooks findest du hier.
Applied Natural Language Processing- Vorlesungsreihe des IIT Madras, die von den Grundlagen bis hin zu Autoencodern und weiteren Themen reicht. Die GitHub-Notebooks zum Kurs findest du ebenfalls hier.
DeepLearning.AI Natural Language Processing Specialization - Vier Kurse zu Sentimentanalyse, Worteinbettungen, RNNs, LSTMs, Aufmerksamkeitsmechanismen und Transformermodellen wie BERT und T5 für Aufgaben wie maschinelle Übersetzung und Zusammenfassung.
The Math Behind Artificial Intelligence - von Tiago Monteiro | Ein kostenloses FreeCodeCamp-Buch, das die Mathematik hinter KI in verständlicher Sprache aus technischer Perspektive erklärt. Es behandelt lineare Algebra, Analysis, Wahrscheinlichkeit und Statistik sowie Optimierungstheorie anhand von Analogien, Anwendungen aus dem Alltag und Python-Codebeispielen.
TextAttack - Adversarielle Angriffe, adversariales Training und Datenerweiterung in NLP.
TextBlob - Bietet eine einheitliche API für gängige Aufgaben der Verarbeitung natürlicher Sprache (NLP). Baut auf den großen Leistungen von Natural Language Toolkit (NLTK) und Pattern auf und lässt sich gut mit beiden einsetzen :+1:
spaCy - NLP in Industriequalität mit Python und Cython :+1:
gensim - Python-Bibliothek für unüberwachtes semantisches Modellieren anhand von Klartext :+1:
scattertext - Python-Bibliothek zur Erstellung von d3-Visualisierungen, die Sprachunterschiede zwischen Korpora zeigen.
GluonNLP(archiviert) - Deep-Learning-Toolkit für NLP auf Basis von MXNet/Gluon.
AllenNLP(archiviert) - NLP-Forschungsbibliothek auf Basis von PyTorch zur Entwicklung modernster Deep-Learning-Modelle für zahlreiche linguistische Aufgaben.
PyTorch-NLP - NLP-Forschungs-Toolkit für schnelles Prototyping mit verbesserten Daten- und Wortvektorladern, Darstellungen neuronaler Netzwerkschichten und gängigen NLP-Metriken wie BLEU.
Rosetta - Werkzeuge und Wrapper zur Textverarbeitung (z. B. Vowpal Wabbit).
PyNLPl - Python-Bibliothek für die Verarbeitung natürlicher Sprache. Allgemeine NLP-Bibliothek für Python, die bestimmte Formate wie ARPA-Sprachmodelle, Moses-Phrasentabellen und GIZA++-Ausrichtungen verarbeitet.
foliapy - Python-Bibliothek für die Arbeit mit FoLiA, einem XML-Format für linguistische Annotationen.
PySS3 - Python-Paket mit dem White-Box-Textklassifikator SS3 und interaktiven Visualisierungswerkzeugen zur Erklärung von Vorhersagen.
jPTDP - Toolkit für gemeinsames Part-of-Speech-Tagging (POS) und Dependenzparsing. jPTDP bietet vortrainierte Modelle für mehr als 40 Sprachen.
BigARTM - schnelle Bibliothek zur Themenmodellierung.
Snips NLU - produktionsreife Bibliothek zur Absichtserkennung.
Chazutsu - Bibliothek zum Herunterladen und Parsen gängiger NLP-Forschungsdatensätze.
Word Forms - erzeugt zuverlässig alle möglichen Formen eines englischen Wortes.
NLP Architect - Bibliothek zur Erkundung modernster Deep-Learning-Architekturen und -Techniken für NLP und NLU.
Flair - einfaches, auf PyTorch aufbauendes Framework für mehrsprachiges NLP auf dem neuesten Stand der Technik. Enthält BERT-, ELMo- und Flair-Einbettungen.
Kashgari - einfaches, Keras-basiertes mehrsprachiges NLP-Framework, mit dem sich Modelle für Erkennung benannter Entitäten (NER), Part-of-Speech-Tagging (PoS) und Textklassifikation in fünf Minuten erstellen lassen. Enthält BERT- und word2vec-Einbettungen.
FARM - schnelles und einfaches Transferlernen für NLP. Sprachmodelle für den industriellen Einsatz; Schwerpunkt Fragebeantwortung.
Haystack - durchgängiges Python-Framework zum Erstellen von Suchoberflächen für Daten in natürlicher Sprache. Nutzt Transformers und den neuesten Stand der NLP-Forschung. Unterstützt DPR, Elasticsearch, HuggingFace Model Hub und vieles mehr.
Rita DSL - DSL, die lose auf RUTA in Apache UIMA basiert. Ermöglicht die Definition von Sprachmustern (regelbasiertes NLP), die anschließend in spaCy oder, wenn weniger Funktionen und eine schlanke Lösung bevorzugt werden, in reguläre Ausdrücke übersetzt werden.
Transformers - Verarbeitung natürlicher Sprache mit TensorFlow 2.0 und PyTorch.
Tokenizers - für Forschung und Produktion optimierte Tokenizer.
fairSeq Implementierungen moderner Seq2seq-Modelle von Facebook AI Research in PyTorch.
corex_topic - hierarchische Themenmodellierung mit minimalem Domänenwissen.
Sockeye - Toolkit für neuronale maschinelle Übersetzung (NMT), das Amazon Translate antreibt.
DL Translate - Deep-Learning-basierte Übersetzungsbibliothek für 50 Sprachen auf Basis von transformers und Facebooks mBART Large.
Jury - Evaluierung von NLP-Modellausgaben mit verschiedenen automatisierten Metriken.
python-ucto - Unicode-fähiger, auf regulären Ausdrücken basierender Tokenizer für verschiedene Sprachen. Python-Bindung an eine C++-Bibliothek mit Unterstützung des FoLiA-Formats.
Pearmut - Werkzeug für menschliche Annotationen bei mehrsprachigen NLP-Aufgaben wie der maschinellen Übersetzung.
Stanza - Python-Toolkit von Stanford NLP für Tokenisierung, POS-Tagging, Lemmatisierung, Dependenzparsing und NER in mehr als 70 Sprachen.
Sentence-Transformers - Satz- und Dokumenteinbettungen, semantische Suche und Neurangierung; heutiger Standard für Retrieval-basiertes NLP.
Argilla - Open-Source-Plattform zum Sammeln menschlichen Feedbacks, Erstellen von NLP- und LLM-Datensätzen sowie Kuratieren von Präferenzdaten.
HuggingFace Datasets - standardisierte Loader und Verarbeitung für Tausende NLP-Datensätze.
sacrebleu - reproduzierbare BLEU-/chrF-/TER-Bewertung für maschinelle Übersetzung.
COMET - erlernte Metriken für maschinelle Übersetzung, heute De-facto-Standard.
LangTest - mehr als 60 Testarten für Robustheit, Verzerrungen und Fairness von NLP-Modellen.
yasbd-lib - hochpräziser, regelbasierter Satzgrenzendetektor (SBD). Drop-in-Adapter für pysbd, Streaming-APIs, CLI und spaCy-Komponente für mehr als 39 Sprachen.
CRF++ - quelloffene Implementierung von Conditional Random Fields (CRFs) zur Segmentierung und Annotation sequenzieller Daten sowie für weitere Aufgaben der Verarbeitung natürlicher Sprache.
CRFsuite - Implementierung von Conditional Random Fields (CRFs) zur Annotation sequenzieller Daten.
BLLIP Parser - BLLIP-Parser für natürliche Sprache, auch als Charniak-Johnson-Parser bekannt.
colibri-core - C++-Bibliothek, Kommandozeilenwerkzeuge und Python-Bindung zum schnellen und speichereffizienten Extrahieren und Verarbeiten grundlegender linguistischer Konstruktionen wie N-Grammen und Skip-Grammen.
ucto - Unicode-fähiger, auf regulären Ausdrücken basierender Tokenizer für verschiedene Sprachen. Werkzeug und C++-Bibliothek mit Unterstützung des FoLiA-Formats.
ReVerb offene Informationsextraktion im Webmaßstab.
OpenRegex effiziente und flexible Sprache und Engine für tokenbasierte reguläre Ausdrücke.
CogcompNLP - Kernbibliotheken der Cognitive Computation Group der University of Illinois.
MALLET - MAchine Learning for LanguagE Toolkit: Paket für statistische Verarbeitung natürlicher Sprache, Dokumentklassifikation, Clusterung, Themenmodellierung, Informationsextraktion und weitere Anwendungen des maschinellen Lernens auf Text.
RDRPOSTagger - robustes POS-Tagging-Toolkit für Java und Python mit vortrainierten Modellen für mehr als 40 Sprachen.
tm - Implementierung der Themenmodellierung auf Basis regularisierter mehrsprachiger PLSA.
word2vec-scala - Scala-Schnittstelle für word2vec-Modelle mit Vektoroperationen wie Wortdistanz und Wortanalogie.
Epic - leistungsstarker statistischer Parser in Scala mit einem Framework zum Erstellen komplexer strukturierter Vorhersagemodelle.
Spark NLP - Bibliothek zur Verarbeitung natürlicher Sprache auf Basis von Apache Spark ML, die einfache, performante und präzise NLP-Annotationen für ML-Pipelines bereitstellt, die sich leicht in verteilten Umgebungen skalieren lassen.
Amazon Comprehend - NLP- und ML-Suite für die meisten gängigen Aufgaben wie NER, Tagging und Sentimentanalyse.
Google Cloud Natural Language API - Syntaxanalyse, NER, Sentimentanalyse und Inhalts-Tagging in mindestens neun Sprachen, darunter Englisch und Chinesisch (vereinfacht und traditionell).
ParallelDots - umfangreicher Textanalyse-API-Dienst von Sentimentanalyse bis Absichtsanalyse.
Textalytic - Verarbeitung natürlicher Sprache im Browser mit Sentimentanalyse, Erkennung benannter Entitäten, POS-Tagging, Worthäufigkeiten, Themenmodellierung, Wortwolken und mehr.
NLP Cloud - spaCy-NLP-Modelle (benutzerdefiniert und vortrainiert) über eine RESTful-API für die Erkennung benannter Entitäten (NER), POS-Tagging und weitere Aufgaben.
Cloudmersive - einheitliche und kostenlose NLP-APIs für Aufgaben wie Sprach-Tagging, Umformulieren von Texten, Übersetzen und Erkennen von Sprachen sowie Satzparsing.
GATE - General Architecture and Text Engineering ist mehr als 15 Jahre alt, kostenlos und quelloffen.
Anafora ist ein kostenloses, quelloffenes, webbasiertes Werkzeug zur Annotation von Rohtexten.
brat - brat rapid annotation tool ist eine Online-Umgebung für kollaborative Textannotation.
doccano - doccano ist kostenlos und quelloffen und bietet Annotationsfunktionen für Textklassifikation, Sequenzlabeling und Sequenz-zu-Sequenz-Aufgaben.
INCEpTION - Plattform für semantische Annotation mit intelligenter Assistenz und Wissensmanagement.
prodigy ist ein durch aktives Lernen unterstütztes Annotationswerkzeug und kostenpflichtig.
LightTag - gehostetes und verwaltetes Textannotationswerkzeug für Teams, kostenpflichtig.
rstWeb - quelloffenes lokales oder Online-Werkzeug zur Annotation von Diskursbäumen.
GitDox - quelloffenes serverbasiertes Annotationswerkzeug mit GitHub-Versionskontrolle und Validierung für XML-Daten sowie kollaborative Tabellengitter.
Datasaur unterstützt verschiedene NLP-Aufgaben für Einzelpersonen und Teams und bietet ein Freemium-Modell.
Konfuzio - teamorientiertes gehostetes und lokal betreibbares Annotationswerkzeug für Text, Bilder und PDFs mit aktivem Lernen; Freemium-Modell, kostenpflichtig.
UBIAI - benutzerfreundliches Textannotationswerkzeug für Teams mit umfassenden Funktionen zur automatischen Annotation. Unterstützt NER, Relationen und Dokumentklassifikation sowie OCR-Annotation zur Rechnungskennzeichnung; kostenpflichtig.
Shoonya - kostenlose und quelloffene Datenannotationsplattform mit vielfältiger Verwaltung auf Organisations- und Arbeitsbereichsebene. Shoonya ist datenunabhängig und ermöglicht Teams, Daten in großem Maßstab mit verschiedenen Verifizierungsstufen zu annotieren.
Annotation Lab - kostenlose, durchgängige No-Code-Plattform für Textannotation und Training/Feinabstimmung von DL-Modellen. Unterstützt standardmäßig Spark-NLP-Modelle zur Erkennung benannter Entitäten, Klassifikation, Relationsextraktion und Assertion-Status. Unbegrenzte Unterstützung für Nutzer, Teams, Projekte und Dokumente. Keine FOSS-Software.
FLAT - FLAT ist eine webbasierte linguistische Annotationsumgebung auf Basis des FoLiA-Formats, eines umfangreichen XML-Formats für linguistische Annotationen. Kostenlos und quelloffen.
Argilla - quelloffene Plattform zum Sammeln menschlichen Feedbacks, Erstellen von NLP- und LLM-Datensätzen sowie Kuratieren von Präferenzdaten.
Label Studio - Open-Core-Plattform zur multimodalen Kennzeichnung, häufig für NLP-Annotationen eingesetzt.
Potato - kostenloses, quelloffenes Annotationswerkzeug für mehr als 21 Aufgabentypen (Klassifikation, Spans, Koreferenz, Entity Linking, Agenten-Trace-Evaluierung) mit integrierter MACE-Qualitätskontrolle, Aufmerksamkeitsprüfungen, KI-gestützter Kennzeichnung und mehr als 300 Beispielaufgaben.
NLP-Aufgaben sind nach linguistischen Problemen geordnet. Jeder Unterabschnitt führt zuerst grundlegende und klassische Arbeiten auf, dann neuronale Ansätze und, wo relevant, LLM-basierte Methoden. Moderne Sprachmodellforschung (Vortraining, Evaluierung, Retrieval, Reasoning usw.) findest du unter Sprachmodelle für NLP.
Byte Latent Transformer (BLT) (Meta, 2024) - dynamisches Patching auf Byte-Ebene, das bei großem Maßstab mit BPE-tokenisierten Modellen mithält und den tokenizerfreien Ansatz wiederbelebt.
SuperBPE (2025) - Superwort-Tokenisierung, die BPE bei nachgelagerten Aufgaben übertrifft.
Over-Tokenized Transformer (ICML 2025) - entkoppelt Eingabe- und Ausgabevokabulare und zeigt einen logarithmisch-linearen Zusammenhang zwischen Eingabevokabulargröße und Trainingsverlust; das Vokabular lässt sich unabhängig von der Modellgröße skalieren.
Foundations of Tokenization (ICLR 2025) - erster formaler, einheitlicher Rahmen für Tokenizermodelle mithilfe der Kategorientheorie stochastischer Abbildungen; legt Bedingungen für statistische Konsistenz fest.
The Token Tax: Systematic Bias in Multilingual Tokenization (2025) - quantifiziert, wie die Tokenisierungsfülle die Modellgenauigkeit über Sprachen hinweg vorhersagt, und zeigt strukturelle Kostennachteile für morphologisch komplexe und ressourcenarme Sprachen auf.
Reducing Tokenization Premiums for Low-Resource Languages (2026) - nachträgliche Ergänzungen des Vokabulars fassen mehrtokenige Zeichenfolgen für ressourcenarme Sprachen zusammen und senken die Inferenzkosten ohne erneutes Training.
Generative NER in the Era of LLMs (2026) - acht offene LLMs auf vier NER-Benchmarks; PEFT mit strukturierten Ausgaben erreicht das Niveau encoderbasierter NER-Modelle.
Understanding LLM Reasoning for Abstractive Summarization (2025) - explizites Reasoning verbessert die Sprachflüssigkeit, beeinträchtigt aber die faktische Verankerung; längere Reasoning-Budgets können die Faktentreue verschlechtern.
Multilingual MT with Open LLMs at Practical Scale (2025) - Benchmark für offene LLMs mit weniger als 10 Milliarden Parametern bei Übersetzungen in 28 Sprachen; erreicht die Leistung von GPT-4-turbo und Google Translate.
DocRED - Benchmark für Relationsextraktion auf Dokumentebene.
LLMs for Semantic Role Labeling (2025) - generative LLMs mit RAG und Selbstkorrektur übertreffen Encoder-Decoder-Modelle im BERT-Stil bei SRL für Englisch und Chinesisch.
Adapting LLMs for Minimal-edit GEC (2025) - Decoder-only-LLMs mit einem neuartigen Anpassungsplan für Fehlerraten erzielen neue Bestwerte bei der Grammatikkorrektur auf BEA-test.
Gemini Embedding (2025) - von Gemini abgeleitete dichte Einbettungen; Spitzenwerte bei MMTEB in mehr als 250 Sprachen und beim sprachübergreifenden Retrieval (XOR-Retrieve, XTREME-UP).
Qwen3-Embedding (2025) - decoderbasierte Einbettungsreihe (0,6B–8B) auf Grundlage von Qwen3; Platz 1 bei MTEB Multilingual und MTEB Code und damit vor früheren proprietären Modellen.
Rank1 (2025) - erstes mit Testzeit-Berechnung trainiertes Neurangierungsmodell, das Reasoning-Trace-Destillation von DeepSeek-R1 nutzt; erreicht Bestwerte bei Instruktionsbefolgung und OOD-Retrieval.
ReasonEmbed (2025) - Einbettungsmodell für reasoningintensives Retrieval mit ReMixer-Datensynthese und adaptivem Redapter-Training; Rekordwert von 38,1 bei nDCG@10 auf BRIGHT.
ColBERT-Att (2026) - erweitert Retrieval mit Late Interaction, indem Aufmerksamkeitsgewichte von Anfrage und Dokument in die ColBERT-Bewertung einfließen; verbessert den Recall bei MS-MARCO, BEIR und LoTTE.
Benchmarks für Einbettungen und Retrieval:
MMTEB (2025) - gemeinschaftliche Erweiterung von MTEB auf mehr als 500 Aufgaben in über 250 Sprachen.
FunASR - ASR-Toolkit in Industriequalität; auf GPU 170-mal schneller als Echtzeit, mehr als 50 Sprachen, integrierte VAD, Interpunktion, Sprecherdiarisierung und Emotionserkennung. Enthält die nicht-autoregressiven SenseVoice- und LLM-basierten Fun-ASR-Nano-Modelle.
Wav2Vec 2.0 - grundlegendes selbstüberwachtes Vortraining für Sprache.
UDPipe ist eine trainierbare Pipeline zur Tokenisierung, zum Tagging, zur Lemmatisierung und zum Parsen von Universal-Treebanks und anderen CoNLL-U-Dateien. Sie ist überwiegend in C++ geschrieben und bietet eine schnelle, zuverlässige Lösung für mehrsprachiges NLP.
NLP-Cube : Pipeline zur Verarbeitung natürlicher Sprache mit Satzsegmentierung, Tokenisierung, Lemmatisierung, Part-of-Speech-Tagging und Dependenzparsing. Die neue Plattform ist in Python mit Dynet 2.0 geschrieben und bietet Einzelbetrieb (CLI/Python-Bindungen) sowie Serverfunktionen (REST-API).
UralicNLP ist eine NLP-Bibliothek, die vor allem zahlreiche bedrohte uralische Sprachen wie samische, mordwinische, mariische und komi-sprachige Varietäten unterstützt. Auch einige nicht bedrohte Sprachen wie Finnisch sowie nichturalische Sprachen wie Schwedisch und Arabisch werden unterstützt. UralicNLP ermöglicht morphologische Analyse, Generierung, Lemmatisierung und Disambiguierung.
Vortrainierte Sprachmodelle und die dazugehörige Forschung, beschränkt auf NLP-Aufgaben und linguistische Phänomene. Allgemeine LLM-Werkzeuge, Agenten oder RAG-Anwendungskits findest du unter Siehe auch.
Encoder (weiterhin die Arbeitspferde für klassische NLP-Aufgaben):
BERT - bidirektionales Transformer-Vortraining; seit 2018 Grundlage der meisten encoderbasierten NLP-Arbeiten. Online lesen mit Abschnittsnavigation und angehängter ACL-Quelle.
RoBERTa - robust optimiertes BERT-Vortraining; gängige Encoder-Baseline.
DeBERTa / DeBERTa-v3 - entkoppelte Aufmerksamkeit; leistungsstark bei Klassifikation, NER und NLI.
ELECTRA - Vortraining durch Erkennung ersetzter Tokens, effizient im Stichprobenverbrauch.
ModernBERT (2024) - modernisierter Encoder mit rotierenden Einbettungen, FlashAttention und 8K-Kontext; derzeit erste Wahl für Klassifikation, NER und Retrieval.
NeoBERT (2025) - Encoder mit 250 Millionen Parametern und modernen Architekturverbesserungen (RoPE, 4K-Kontext, optimiertes Tiefen-Breiten-Verhältnis); erreicht Spitzenwerte bei MTEB und übertrifft ModernBERT und RoBERTa-large bei identischer Feinabstimmung.
Encoder-Decoder- und Seq2seq-Modelle:
T5 und FLAN-T5 - Text-zu-Text-Formulierung von NLP-Aufgaben; starke instruktionsabgestimmte Encoder-Decoder-Baselines.
BART - Denoising-Seq2seq-Vortraining; häufig für Zusammenfassung und Generierung eingesetzt.
Offene Decoder-only-Sprachmodelle (als Grundlage für NLP-Aufgaben):
Llama 3 / 3.1 / 3.3 (Meta, 2024-2025) - weit verbreitete Familie offener Gewichte; Standardbasis für die Feinabstimmung bei NLP-Aufgaben.
Qwen 2.5 / Qwen 3 (Alibaba, 2024-2025) - starke mehrsprachige Abdeckung, besonders für Chinesisch; bei mehrsprachigen Benchmarks oft das führende offene Modell.
BLOOM - offenes mehrsprachiges Sprachmodell mit 176 Milliarden Parametern und 46 natürlichen Sprachen.
Aya 23 / Aya Expanse (Cohere For AI, 2024) - umfassend mehrsprachige instruktionsabgestimmte Modelle für 23 bis 101 Sprachen.
Glot500 - Encoder für mehr als 500 Sprachen mit Schwerpunkt auf ressourcenarmen Sprachen.
NLLB-200 - No Language Left Behind: maschinelle Übersetzung für 200 Sprachen.
MADLAD-400 - Modell für maschinelle Übersetzung in mehr als 400 Sprachen und mehrsprachiges Korpus mit 3 Billionen Tokens.
SeamlessM4T / Seamless (Meta, 2023-2024) - mehrsprachige und multimodale Sprach-Text-Übersetzung in mehr als 100 Sprachen.
SEA-LION / SeaLLM (2024-2025) - Sprachmodelle für südostasiatische Sprachen.
Babel (2025) - offene mehrsprachige LLMs (9B und 83B) für die 25 nach Sprecherzahl größten Sprachen (etwa 90 % aller Sprecherinnen und Sprecher weltweit); übertrifft ähnlich große offene mehrsprachige Modelle bei XCOPA, XNLI, MGSM und FLORES-200.
Lugha-Llama (Princeton/Mila, 2025) - für ressourcenarme afrikanische Sprachen angepasstes Llama-3.1-8B, trainiert mit dem kuratierten WURA-Korpus; erzielt offene Bestwerte bei IrokoBench und AfriQA.
AfriqueLLM (McGill, 2026) - Sammlung offener LLMs (4B–14B), weiter vortrainiert mit 26 Milliarden Tokens in 20 afrikanischen Sprachen, einschließlich umfassender empirischer Untersuchung der Datenmischung.
TranslateGemma (Google, 2026) - offene, auf Übersetzung spezialisierte Modelle auf Basis von Gemma 3 für 55 Sprachpaare, trainiert mit SFT und RL sowie Qualitätsbelohnungsmodellen.
MiLMMT-46 (Xiaomi, 2026) - offene mehrsprachige maschinelle Übersetzung für 46 Sprachen auf großem Maßstab, vergleichbar mit kommerziellen Systemen wie Google Translate und Gemini 3 Pro.
XNLI - sprachübergreifende Inferenz natürlicher Sprache in 15 Sprachen.
FLORES-200 - Evaluierung maschineller Übersetzung in 200 Sprachen.
MTEB - Massive Text Embedding Benchmark; Standard für Satz- und Dokumentencoder.
BEIR - heterogener IR-Benchmark für Retrieval-Modelle.
Moderne Evaluierung von Sprachmodellen (2023-2026):
HELM - ganzheitliche Evaluierung über NLP-Aufgaben hinweg, einschließlich Genauigkeit und weiterer Kriterien.
BIG-bench - mehr als 200 Aufgaben zur Untersuchung der Fähigkeiten von Sprachmodellen.
MMLU - multitaskbasierte Wissensevaluierung in 57 Fachgebieten.
MMLU-Pro (2024) - anspruchsvollerer und trennschärferer Nachfolger von MMLU.
GPQA - Reasoning-Evaluierung auf Hochschulniveau mit „Google-sicheren“ Fragen und Antworten.
REFUTE (2026) - wissenschaftlicher Reasoning-Benchmark für evidenzgestützte Kritik, Erkennung überzogener Behauptungen, Ablehnung bei fehlenden Belegen und Kalibrierung.
IFEval - überprüfbare Evaluierung der Instruktionsbefolgung.
Chatbot Arena (LMSYS) - ELO-Rangliste für Chatmodelle auf Basis menschlicher Präferenzen.
LiveBench (2024) - kontaminationsresistenter Benchmark mit monatlicher Aktualisierung.
LM Evaluation Harness - einheitliches Framework zur Evaluierung von Sprachmodellen anhand von Benchmarks.
MMLU-ProX (2025) - mehrsprachige Erweiterung von MMLU-Pro auf 29 typologisch vielfältige Sprachen; zeigt Leistungsunterschiede von bis zu 24,3 % zwischen ressourcenstarken und ressourcenarmen Sprachen.
MultiChallenge (2025) - Benchmark für mehrstufige Gespräche, der gleichzeitige Fehler bei Instruktionsbefolgung und In-Context-Reasoning aufdeckt; alle getesteten Spitzenmodelle erreichen weniger als 50 %.
FRAMES (2025) - einheitliche RAG-Evaluierung mit 824 mehrstufigen Fragen, die gemeinsam Faktentreue, Retrieval-Genauigkeit und dokumentübergreifendes Reasoning erfordern.
RULER (2024) - synthetische Aufgaben für lange Kontexte, die über einfache Retrieval-Aufgaben hinausgehen.
LongBench - zweisprachiger Benchmark für lange Kontexte bei verschiedenen NLP-Aufgaben.
LongBench v2 (2025) - 503 von Fachleuten erstellte Multiple-Choice-Fragen zu Kontexten von 8.000 bis 2 Millionen Wörtern mit tiefem mehrstufigem Reasoning; Menschen erreichen unter Zeitdruck 53,7 %.
U-NIAH (2025) - erweitert Needle-in-a-Haystack um Konfigurationen mit mehreren und verschachtelten Nadeln; zeigt, dass RAG bei kleineren LLMs den Lost-in-the-Middle-Effekt mildert, Reasoning-Modelle jedoch beeinträchtigt.
Ein richtungsweisender Trend von 2024 bis 2026: Modelle, die explizite Reasoning-Schritte erzeugen und von zusätzlicher Inferenz-Rechenleistung profitieren.
Chain-of-Thought Prompting - grundlegendes Ergebnis: Zwischenschritte des Reasonings verbessern die Leistung.
Self-Consistency - Mehrheitsentscheidung über abgetastete CoT-Ketten.
Kimi k1.5 (2025) - RL mit langem Kontext und Policy-Optimierung (ohne MCTS und PRM), erreicht Leistung auf o1-Niveau; führt die Destillation langer CoT-Ketten in Modelle mit kurzen CoT-Ketten ein.
rStar-Math (2025) - kleines Policy-Modell in Kombination mit einem Prozesspräferenzmodell, das mit MCTS-Rollouts trainiert wird; ermöglicht kleinen Sprachmodellen, Reasoning ohne Destillation aus größeren Modellen aufzubauen.
DAPO (2025) - offenes RL-Trainingssystem auf GRPO-Basis mit vier zentralen Verbesserungen (entkoppeltes Clipping, dynamisches Sampling, Token-Level-Verlust und Entropiebonus); reproduziert und übertrifft Reasoning auf dem Niveau von DeepSeek-R1-Zero.
VAPO (2025) - wertmodellbasiertes RL mit längenadaptivem GAE und Token-Level-Clipping; übertrifft wertfreie GRPO-Methoden bei AIME 2024 und ermöglicht stabiles Training.
ThinkPRM (2025) - generative Prozess-Reward-Modelle, die für jeden Schritt eine Chain-of-Thought-Verifikation erzeugen und diskriminative PRMs mit 1 % der überwachten Labels erreichen.
OpenThoughts (2025) - mehr als 1.000 kontrollierte Experimente zu Datenrezepten für offene Reasoning-Modelle; erzielt Spitzenwerte bei AIME 2025 und erreicht geschlossene Destillations-Baselines.
Titans: Learning to Memorize at Test Time (2025) - neuronales Langzeitgedächtnismodul, das während der Testzeit historischen Kontext speichern lernt; skaliert auf mehr als 2 Millionen Tokens und übertrifft Transformer sowie moderne linear-rekurrente Modelle bei Sprachmodellierung und Reasoning.
MiniMax-01 (2025) - Hybridmodell mit 456 Milliarden Parametern, das Lightning- (lineare) Attention mit spärlicher Softmax-Attention kombiniert; erreicht NLP-Leistung auf GPT-4o-Niveau bei Inferenzkontexten von bis zu 4 Millionen Tokens.
Native Sparse Attention (NSA) (2025) - trainierbare spärliche Attention, die grobkörnige Kompression mit feingranularer Auswahl verbindet; deutliche Beschleunigung bei 64K ohne Einbußen bei NLP-Benchmarks.
LongRoPE2 (2025) - erkennt das unzureichende Training hochfrequenter RoPE-Dimensionen und skaliert sie mittels evolutionärer Suche neu; erweitert LLaMA3-8B auf 128K mit 80-mal weniger Trainingstokens als in Metas Rezept.
Characterizing SSM and Hybrid LM Long-Context Performance (2025) - erste umfassende Analyse von Speicherbedarf und Geschwindigkeit bei Transformer-, SSM- und Hybridmodellen bis 220K Tokens; SSMs sind bis zu viermal schneller, Hybride gleichen Erinnerungsleistung und Effizienz aus.
HalluLens (2025) - Halluzinationsbenchmark mit Taxonomie für extrinsische und intrinsische Halluzinationen sowie dynamischer Neuerstellung des Testsatzes zur Vermeidung von Datenlecks.
Atomic Calibration (2025) - Kalibrierungsanalyse auf Aussageebene für längere generierte Texte; Modelle sind bei längeren Ausgaben deutlich schlechter kalibriert als bei einzelnen Aussagen.
FRANQ (2025) - Unsicherheitsquantifizierung unter Berücksichtigung der Faktentreue bei RAG-Faktenprüfungen; trennt formal Faktentreue und Faktizität.
MUCH (2025) - mehrsprachiger Benchmark für Behauptungshalluzinationen in Englisch, Französisch, Spanisch und Deutsch; Token-Level-Logits werden für eine fundierte UQ-Evaluierung bereitgestellt.
HalluHard (2026) - anspruchsvoller Benchmark für Halluzinationen in mehrstufigen Dialogen mit zitierpflichtigen Antworten; selbst mit Websuche bleibt die Halluzinationsrate bei etwa 30 %.
CURE: Think Through Uncertainty (2026) - trainiert Modelle, vor der Generierung Unsicherheiten auf Aussageebene zu durchdenken; deutliche Zugewinne bei biografischer Faktentreue und FactBench-AUROC.
Circuit Tracing: Revealing Computational Graphs in Language Models (Anthropic, 2025) - führt schichtübergreifende Transcoder und Attributionsgraphen ein, um ein interpretierbares Ersatzmodell zu erstellen; ermöglicht die promptbezogene Rückverfolgung kausaler Wechselwirkungen zwischen Merkmalen.
On the Biology of a Large Language Model (Anthropic, 2025) - wendet Attributionsgraphen auf Claude 3.5 Haiku an, unter anderem bei mehrstufigem Reasoning, Reimplanung und Jailbreak-Fallstudien.
DistilBERT und MiniLM - destillierte Encoder für NLP in der Produktion.
Phi-3 / Phi-4 (Microsoft, 2024) - kleine Modelle, die mit kuratierten Daten trainiert wurden und bei NLP-Benchmarks mit deutlich größeren Modellen konkurrieren.
SmolLM2 (HuggingFace, 2025) - vollständig offene Familie kleiner Sprachmodelle mit reproduzierbaren Trainingsdaten.
SmolLM3 (HuggingFace, 2025) - vollständig offener Decoder mit 3 Milliarden Parametern, vortrainiert mit 11,2 Billionen Tokens; verwendet NoPE und YaRN für einen 128K-Kontext und ist mit Modellen der 4B-Klasse konkurrenzfähig.
Gemma 3 Technical Report (Google, 2025) - offene Modelle mit 1B–27B Parametern und hohem Verhältnis lokaler zu globaler Aufmerksamkeit, damit der KV-Cache bei 128K Kontext handhabbar bleibt.
Qwen3 Technical Report (Alibaba, 2025) - dichte und MoE-Modelle mit 0,6B–235B Parametern und einheitlichen Denk- und Nicht-Denkmodi; das 30B-A3B-MoE erreicht das Niveau größerer dichter Modelle und aktiviert dabei nur 3B Parameter.
Apple Intelligence Foundation Language Models (Apple, 2025) - geräteinternes Modell mit 3B Parametern, das KV-Cache-Sharing und 2-Bit-QAT nutzt, um den Cache-Speicherbedarf ohne Genauigkeitsverlust um 37,5 % zu senken.
SetFit - Few-Shot-Textklassifikation ohne Prompts.
FastFit - schnelle Few-Shot-Klassifikation bei vielen Klassen.
GTE, BGE und Stella - kompakte Texteinbettungsmodelle nahe der Spitze von MTEB.
Quantisierung und Bereitstellung (relevant für den Einsatz von NLP-Modellen im großen Maßstab):
GPTQ - Quantisierung von Transformern nach dem Training.
AWQ - aktivierungsbewusste Quantisierung von Gewichten.
KVTuner (ICML 2025) - sensitivitätsbewusste schichtweise Quantisierung des KV-Caches mit gemischter Genauigkeit; bis zu 21 % höherer Durchsatz als bei einheitlichem KV8.
LoRA und QLoRA - Adapter mit niedrigem Rang und quantisierte Feinabstimmung; Standard zur Anpassung von Sprachmodellen an NLP-Aufgaben auf moderater Hardware.
DoRA (2024) - Low-Rank-Anpassung mit Gewichtszerlegung.
PEFT - HuggingFace-Bibliothek mit LoRA, Prefix Tuning, IA3 und weiteren Verfahren.
Tülu 3 (AI2, 2024) - vollständig offenes Rezept für das Post-Training mit Spitzenresultaten unter den offenen Modellen.
LIMA - „weniger ist mehr beim Alignment“; eine kleine Menge hochwertiger SFT-Daten kann viel bewirken.
TRL - Referenzbibliothek für SFT, DPO, GRPO und RLHF.
Magpie (2024-2025) - synthetisiert hochwertige Instruktions-Antwort-Paare, indem ausgerichtete Sprachmodelle ohne Eingabeaufforderung befragt werden; SFT auf der gefilterten Teilmenge erreicht das offizielle Llama-3-Instruct.
WildGuard (2024) - offenes Modell und Benchmark zur Sicherheitsmoderation.
Emergent Misalignment (2025) - Feinabstimmung für eine eng umrissene Aufgabe (unsicherer Code) führt unerwartet zu umfassenden Alignment-Fehlern in anderen, unabhängigen Bereichen.
SafeDialBench (2025) - mehrsprachiger Sicherheitsbenchmark (Chinesisch/Englisch) mit mehr als 4.000 mehrstufigen Dialogen aus 22 Szenarien und 7 Jailbreak-Strategien.
TeleAI-Safety (2025) - modulares Jailbreak-Evaluierungsframework mit 19 Angriffen, 29 Abwehrmaßnahmen und 19 Evaluierungsmethoden für 14 Modelle und 12 Risikokategorien.
IndicSafe (2026) - mehrsprachiger Sicherheitsbenchmark für 12 indische Sprachen; zeigt eine sprachübergreifende Übereinstimmung von 12,8 % und übermäßige Ablehnungen bei ressourcenarmen Schriftsystemen.
VLAF: Value-Conflict Alignment Faking (2026) - Alignment-Faking tritt bei Konflikten zwischen Richtlinien und verinnerlichten Werten in 37 % der Fälle selbst bei Modellen ab 7B auf; eine Steuerung durch Vektoren verringert dies um 94 %.
Bijankhan Corpus - annotiertes Korpus für die NLP-Forschung zu Persisch (Farsi), etwa 2,6 Millionen manuell annotierte Wörter mit 40 POS-Tags.
Uppsala Persian Corpus (UPC) - umfangreiches, frei verfügbares persisches Korpus mit 2,7 Millionen Tokens, annotiert mit 31 POS-Tags.
Large-Scale Colloquial Persian - LSCP: 120 Millionen Sätze aus 27 Millionen informellen persischen Tweets mit Dependenz-, POS- und Sentimentannotationen.
ArmanPersoNERCorpus - 250.000 Tokens und 7.682 Sätze mit NER-Tags im IOB-Format.
spanlp - Python-Bibliothek zum Erkennen, Zensieren und Bereinigen von Kraftausdrücken, Hassrede und Mobbing auf Spanisch mit Daten aus 21 spanischsprachigen Ländern.
HagiCode ist ein agentischer Coding-Arbeitsplatz. Vielseitige, komfortable Interaktionen in der Benutzeroberfläche machen Planung, Agent-Ausführung und Projektarbeit zugänglich und leicht nachvollziehbar – für ein ansprechendes Entwicklungserlebnis.
Entdecken Sie ein ansprechendes Entwicklungserlebnis mit vielseitigen, komfortablen Interaktionen in der Benutzeroberfläche.
IntelligentOpenSpec-Workflows machen aus einer Absicht einen umsetzbaren Weg vom Vorschlag über Design und Aufgaben bis zur Auslieferung.
EffizientMulti-Agent-Ausführung führt Recherche, Umsetzung und Prüfung parallel aus, über mehrere Repositories und die Agent CLIs, die Sie bereits nutzen.
InteressantVielseitige, komfortable Interaktionen in der Benutzeroberfläche machen Planung, Agent-Ausführung und Projektarbeit zugänglich und leicht nachvollziehbar.
HagiCode macht Planung, Agent-Ausführung und Projektarbeit durch vielseitige, komfortable Interaktionen in der Benutzeroberfläche zugänglich: https://www.hagicode.com/
Aus Ideen wird ausgelieferte Software.
HagiCode ist ein agentischer Coding-Arbeitsplatz: OpenSpec-Workflows planen die Änderung, Multi-Agent-Ausführung setzt sie um, und Hero Scenario macht den langen Weg sichtbar, bis aus der Idee ausgelieferte Software wird.
Sitzungswiedergabe (wenn ein Anbieter Sitzungen aufzeichnet) gehört zur Analyse. Kein Anbieter zeichnet den Bildschirm auf. (Google Analytics, 51LA, PostHog)
