Платформа агрегации API искусственного интеллекта с совместимым с OpenAI интерфейсом LLM для задач NLP, таких как перевод, суммаризация, генерация на нескольких языках и структурированное извлечение.
Подборка ресурсов, посвящённых обработке естественного языка.
Перед внесением изменений ознакомьтесь с правилами участия. Добавьте понравившийся ресурс по NLP, создав pull request.
Список посвящён обработке естественного языка: лингвистическому анализу, многоязычным инструментам, классическим и нейросетевым методам, наборам данных и оценке. Большие языковые модели включены только в тех случаях, когда они развивают или оценивают ключевые задачи и возможности NLP (токенизацию, поддержку языков, машинный перевод, суммаризацию, распознавание сущностей, ответы на вопросы, фактичность, зондирование и дистилляцию). Универсальные чат-боты, агентные фреймворки, репозитории шаблонов промптов, инструменты генерации кода и стартовые наборы RAG-приложений собраны в других списках — см. См. также.
The Berkeley NLP Group — среди заметных достижений — инструмент для реконструкции давно исчезнувших языков, о котором писали здесь. Он использует корпусы 637 языков, на которых сегодня говорят в Азии и Тихоокеанском регионе, чтобы восстановить их языки-предки.
NLP research group, Columbia University — создала BOLT (интерактивную обработку ошибок в системах речевого перевода) и неназванный проект по анализу смеха в диалогах.
Advanced NLP with spaCy — бесплатный онлайн-курс по обработке текста, масштабному анализу данных, конвейерам обработки и обучению нейросетевых моделей для специализированных задач NLP.
Kaggle NLP Learning Guide — понятные начинающим уроки, включая введение, глубокое обучение для NLP и наглядные объяснения таких методов, как BERT, GloVe и TF-IDF.
Deep NLP Course — курс Yandex Data School, охватывающий основные темы от текстовых эмбеддингов до машинного перевода, включая моделирование последовательностей и языковые модели.
fast.ai Code-First Intro to Natural Language Processing — сочетает традиционные темы NLP (регулярные выражения, SVD, наивный байесовский классификатор, токенизация) с современными нейросетевыми подходами (RNN, seq2seq, GRU и Transformer), а также рассматривает актуальные этические проблемы, например предвзятость и дезинформацию. Блокноты Jupyter доступны здесь.
Applied Natural Language Processing — цикл лекций IIT Madras, начиная с основ и заканчивая автоэнкодерами и другими продвинутыми темами. Блокноты GitHub к курсу доступны здесь.
DeepLearning.AI Natural Language Processing Specialization — программа из четырёх курсов по анализу тональности, векторным представлениям слов, RNN, LSTM, механизмам внимания и моделям Transformer, таким как BERT и T5, для машинного перевода, суммаризации и других задач.
The Math Behind Artificial Intelligence — автор Тьяго Монтейру. Бесплатная книга FreeCodeCamp простым языком с инженерной точки зрения объясняет математику, лежащую в основе ИИ. В ней рассматриваются линейная алгебра, математический анализ, теория вероятностей и статистика, а также теория оптимизации с использованием аналогий, примеров из жизни и кода на Python.
sentimental-onix — модели анализа тональности для spaCy с использованием ONNX.
TextAttack — состязательные атаки, состязательное обучение и аугментация данных для NLP.
TextBlob — единообразный API для решения распространённых задач обработки естественного языка (NLP). Основан на Natural Language Toolkit (NLTK) и Pattern и хорошо работает с обеими библиотеками :+1:
spaCy — промышленная обработка естественного языка на Python и Cython :+1:
gensim — библиотека Python для обучения моделей семантики без учителя на обычном тексте :+1:
scattertext — библиотека Python для создания визуализаций d3, показывающих различия между языком корпусов.
GluonNLP(архив) — набор инструментов глубокого обучения для NLP на базе MXNet/Gluon.
AllenNLP(архив) — исследовательская библиотека NLP на базе PyTorch для разработки передовых моделей глубокого обучения для широкого круга лингвистических задач.
PyTorch-NLP — исследовательский набор инструментов NLP для быстрого прототипирования: улучшенные загрузчики данных и векторов слов, представления слоёв нейросетей и распространённые метрики NLP, например BLEU.
Rosetta — инструменты обработки текста и обёртки, например для Vowpal Wabbit.
PyNLPl — универсальная библиотека обработки естественного языка на Python, поддерживающая некоторые специальные форматы, такие как языковые модели ARPA, таблицы фраз Moses и выравнивания GIZA++.
foliapy — библиотека Python для работы с FoLiA, форматом XML для лингвистической разметки.
PySS3 — пакет Python с интерпретируемым текстовым классификатором SS3 и интерактивными визуализациями, объясняющими предсказания.
jPTDP — набор инструментов для совместной разметки частей речи (POS) и синтаксического анализа зависимостей. jPTDP включает предварительно обученные модели для более чем 40 языков.
BigARTM — быстрая библиотека тематического моделирования.
Snips NLU — готовая к эксплуатации библиотека для разбора намерений.
Chazutsu — библиотека для загрузки и разбора стандартных исследовательских наборов данных NLP.
Word Forms — точная генерация всех возможных форм английского слова.
NLP Architect — библиотека для изучения современных архитектур глубокого обучения и методов NLP и NLU.
Flair — простой фреймворк мультиязычного NLP на базе PyTorch с эмбеддингами BERT, ELMo и Flair.
Kashgari — простой мультиязычный фреймворк NLP на базе Keras; позволяет за пять минут создавать модели для распознавания именованных сущностей (NER), разметки частей речи (PoS) и классификации текста. Включает эмбеддинги BERT и word2vec.
FARM — быстрый и простой трансфер обучения для NLP. Адаптация языковых моделей для промышленного применения с акцентом на ответы на вопросы.
Haystack — полный фреймворк Python для создания интерфейсов поиска по данным на естественном языке. Использует Transformers и современные достижения NLP; поддерживает DPR, Elasticsearch, Model Hub Hugging Face и многое другое.
Rita DSL — предметно-ориентированный язык, частично основанный на RUTA в Apache UIMA. Позволяет задавать языковые шаблоны для правил NLP и преобразовывать их в код spaCy либо, если нужны более компактные средства, в шаблоны регулярных выражений.
Transformers — обработка естественного языка для TensorFlow 2.0 и PyTorch.
Tokenizers — токенизаторы, оптимизированные для исследований и промышленного применения.
fairSeq — реализации современных моделей seq2seq от Facebook AI Research на PyTorch.
corex_topic — иерархическое тематическое моделирование с минимальными знаниями предметной области.
Sockeye — набор инструментов нейронного машинного перевода (NMT), используемый в Amazon Translate.
DL Translate — библиотека перевода на основе глубокого обучения для 50 языков, построенная на transformers и mBART Large от Facebook.
Jury — оценка выходных данных моделей NLP с помощью различных автоматических метрик.
python-ucto — токенизатор на основе регулярных выражений с поддержкой Unicode для разных языков. Привязка Python к библиотеке C++; поддерживает формат FoLiA.
Pearmut — инструмент ручной разметки для мультиязычных задач NLP, например машинного перевода.
Stanza — набор инструментов Python от Stanford NLP для токенизации, разметки частей речи, лемматизации, синтаксического анализа зависимостей и NER более чем для 70 языков.
Sentence-Transformers — эмбеддинги предложений и документов, семантический поиск и повторное ранжирование; современный стандарт для NLP-задач поиска.
Argilla — платформа с открытым исходным кодом для разметки данных и сбора отзывов для наборов данных LLM и NLP.
HuggingFace Datasets — стандартизированные средства загрузки и обработки тысяч наборов данных NLP.
LangTest — более 60 типов проверок устойчивости моделей NLP, предвзятости и справедливости.
yasbd-lib — высокоточный детектор границ предложений (SBD) на основе правил. Совместимый адаптер pysbd, потоковые API, интерфейс командной строки и компонент spaCy для более чем 39 языков.
InsNet — библиотека нейронных сетей для построения зависящих от экземпляров моделей NLP с динамической пакетной обработкой без дополнения последовательностей.
CRF++ — реализация условных случайных полей (CRF) с открытым исходным кодом для сегментации и разметки последовательностей и других задач NLP.
CRFsuite — реализация условных случайных полей (CRF) для разметки последовательных данных.
BLLIP Parser — синтаксический анализатор естественного языка BLLIP, также известный как анализатор Charniak-Johnson.
colibri-core — библиотека C++, инструменты командной строки и привязка Python для быстрого и экономного по памяти извлечения и обработки базовых лингвистических конструкций, таких как n-граммы и пропускаемые n-граммы.
ucto — токенизатор на основе регулярных выражений с поддержкой Unicode для разных языков. Инструмент и библиотека C++, поддерживающие формат FoLiA.
frog — набор инструментов NLP для нидерландского языка на основе памяти: разметка частей речи, лемматизация, синтаксический анализ зависимостей, NER, поверхностный синтаксический анализ и морфологический анализ.
MeTA — ModErn Text Analysis: набор инструментов науки о данных на C++ для интеллектуального анализа больших текстовых данных.
ReVerb — извлечение открытой информации в масштабах веба.
OpenRegex — эффективный и гибкий язык регулярных выражений и движок, работающие на основе токенов.
CogcompNLP — основные библиотеки, разработанные группой когнитивных вычислений Иллинойсского университета.
MALLET — пакет MAchine Learning for LanguagE Toolkit для статистической обработки естественного языка, классификации и кластеризации документов, тематического моделирования, извлечения информации и других приложений машинного обучения к тексту.
RDRPOSTagger — надёжный набор инструментов разметки частей речи на Java и Python с предварительно обученными моделями для более чем 40 языков.
tm — реализация тематического моделирования на основе регуляризованного мультиязычного метода PLSA.
word2vec-scala — интерфейс Scala к модели word2vec; включает операции над векторами, например вычисление расстояния между словами и поиск словесных аналогий.
Epic — высокопроизводительный статистический синтаксический анализатор на Scala и фреймворк для построения сложных моделей структурированного предсказания.
Spark NLP — библиотека обработки естественного языка на базе Apache Spark ML, предоставляющая простую, производительную и точную NLP-разметку для масштабируемых распределённых конвейеров машинного обучения.
Amazon Comprehend — набор средств NLP и машинного обучения для наиболее распространённых задач, таких как NER, разметка и анализ тональности.
Google Cloud Natural Language API — синтаксический анализ, NER, анализ тональности и разметка содержимого как минимум на девяти языках, включая английский и китайский (упрощённый и традиционный).
ParallelDots — API-сервис высокоуровневого анализа текста для задач от анализа тональности до распознавания намерений.
Textalytic — обработка естественного языка в браузере: анализ тональности, извлечение именованных сущностей, разметка частей речи, частотность слов, тематическое моделирование, облака слов и многое другое.
NLP Cloud — пользовательские и предварительно обученные NLP-модели spaCy через REST API для распознавания именованных сущностей (NER), разметки частей речи и других задач.
Cloudmersive — единый бесплатный набор API NLP для разметки речи, перефразирования текста, перевода и определения языка, синтаксического анализа предложений и других задач.
GATE — General Architecture and Text Engineering: свободная платформа с открытым исходным кодом, развиваемая более 15 лет.
Anafora — бесплатный веб-инструмент с открытым исходным кодом для разметки необработанного текста.
brat — среда для совместной разметки текста с помощью инструмента brat rapid annotation.
doccano — бесплатный инструмент с открытым исходным кодом для разметки данных при классификации текста, разметке последовательностей и преобразовании последовательностей.
INCEpTION — платформа семантической разметки с интеллектуальными помощниками и управлением знаниями.
prodigy — инструмент разметки с активным обучением; платный.
LightTag — размещаемый и управляемый инструмент разметки текста для команд; платный.
rstWeb — локальный или онлайн-инструмент с открытым исходным кодом для разметки деревьев дискурса.
GitDox — серверный инструмент разметки с открытым исходным кодом, контролем версий GitHub и проверкой XML-данных и совместных электронных таблиц.
Datasaur — поддерживает различные задачи NLP для отдельных пользователей и команд; доступна бесплатная версия.
Konfuzio — ориентированный на команды облачный и локальный инструмент разметки текста, изображений и PDF с активным обучением; доступна бесплатная версия, платные тарифы.
UBIAI — простой в использовании командный инструмент разметки текста с широкими возможностями автоматической разметки. Поддерживает NER, отношения, классификацию документов и разметку счетов с помощью OCR; платный.
Shoonya — бесплатная платформа разметки данных с открытым исходным кодом и широкими возможностями управления организациями и рабочими пространствами. Не зависит от типа данных и позволяет командам масштабно размечать данные с различными этапами проверки.
Annotation Lab — бесплатная сквозная платформа без кода для разметки текста и обучения/настройки моделей глубокого обучения. Из коробки поддерживает модели Spark NLP для распознавания именованных сущностей, классификации, извлечения отношений и определения статуса утверждений. Без ограничений по числу пользователей, команд, проектов и документов. Не является свободным ПО с открытым исходным кодом.
FLAT — веб-среда лингвистической разметки на основе формата FoLiA, расширенного формата XML для лингвистической разметки. Бесплатная и с открытым исходным кодом.
Argilla — платформа с открытым исходным кодом для сбора отзывов людей, создания наборов данных NLP и LLM и отбора данных о предпочтениях.
Label Studio — мультимодальная платформа разметки с открытой основной частью, широко используемая для разметки NLP.
Potato — бесплатный инструмент разметки с открытым исходным кодом для более чем 21 типа задач (классификация, выделение фрагментов, кореференция, связывание сущностей, оценка трассировки агентов). Включает контроль качества MACE, проверки внимания, разметку с помощью ИИ и более 300 примеров задач.
Задачи NLP сгруппированы по лингвистическим проблемам. В каждом подразделе сначала перечислены фундаментальные и классические работы, затем нейросетевые подходы и, где уместно, методы на основе LLM. Современные исследования языковых моделей (предварительное обучение, оценка, поиск, рассуждение и т. д.) см. в разделе Языковые модели для NLP.
CoVe — контекстные векторы, обученные на машинном переводе.
ULMFiT — дообучение языковой модели для классификации текста.
InferSent — представления предложений на основе логического вывода по естественному языку (NLI).
Современные эмбеддинги предложений и документов см. в разделе Поиск для NLP (Sentence-Transformers, E5, BGE-M3, Nomic, GritLM), а текущие рейтинги — в MTEB.
Byte Latent Transformer (BLT) (Meta, 2024) — динамическое разбиение на байтовые фрагменты, сопоставимое по масштабу с моделями на токенах BPE; возрождает подходы без токенизаторов.
SuperBPE (2025) — токенизация сверхслов, превосходящая BPE в последующих задачах.
Over-Tokenized Transformer (ICML 2025) — разделяет словари входных и выходных данных; выявляет лог-линейную связь между размером входного словаря и ошибкой обучения, позволяя изменять размер словаря независимо от размера модели.
Foundations of Tokenization (ICLR 2025) — первая формальная единая основа для моделей токенизаторов с использованием теории категорий стохастических отображений; устанавливает условия статистической состоятельности.
The Token Tax: Systematic Bias in Multilingual Tokenization (2025) — количественно оценивает, как дробность токенизации предсказывает точность моделей для разных языков, выявляя структурное увеличение стоимости для морфологически сложных языков и языков с ограниченными ресурсами.
Reducing Tokenization Premiums for Low-Resource Languages (2026) — постфактум расширяет словарь, объединяя последовательности символов, разбитые на несколько токенов, для языков с ограниченными ресурсами и снижая стоимость вывода без переобучения.
Разметка частей речи и синтаксический анализ зависимостей
Generative NER in the Era of LLMs (2026) — сравнение восьми открытых LLM на четырёх бенчмарках NER; PEFT со структурированными выходными данными достигает качества NER на основе энкодеров.
Understanding LLM Reasoning for Abstractive Summarization (2025) — явное рассуждение улучшает беглость, но ухудшает фактическую обоснованность; увеличение бюджета рассуждений может снижать точность передачи исходного содержания.
Multilingual MT with Open LLMs at Practical Scale (2025) — бенчмарк открытых LLM размером менее 10 млрд параметров для перевода на 28 языков; качество сопоставимо с GPT-4-turbo и Google Translate.
DocRED — бенчмарк извлечения отношений на уровне документов.
LLMs for Semantic Role Labeling (2025) — генеративные LLM с RAG и самокоррекцией превосходят модели BERT типа encoder-decoder в семантической разметке ролей (SRL) для английского и китайского языков.
Adapting LLMs for Minimal-edit GEC (2025) — LLM типа decoder-only с новым графиком адаптации по частоте ошибок устанавливают новый лучший результат в исправлении грамматических ошибок на BEA-test с минимальным редактированием.
Gemini Embedding (2025) — плотные эмбеддинги на основе Gemini; лучшие результаты в MMTEB для более чем 250 языков и в межъязыковом поиске (XOR-Retrieve, XTREME-UP).
Qwen3-Embedding (2025) — серия эмбеддингов на основе декодера (0,6–8 млрд параметров) на базе Qwen3; первое место в MTEB Multilingual и MTEB Code, превосходит прежние проприетарные модели.
Rank1 (2025) — первая модель повторного ранжирования, обученная с вычислениями во время тестирования посредством дистилляции трасс рассуждений DeepSeek-R1; лучшие результаты в следовании инструкциям и поиске вне обучающего распределения.
ReasonEmbed (2025) — модель эмбеддингов для поиска, требующего рассуждений, с синтезом данных ReMixer и адаптивным обучением Redapter; рекордный nDCG@10 — 38,1 на BRIGHT.
ColBERT-Att (2026) — расширяет поиск с отложенным взаимодействием, интегрируя веса внимания запроса и документа в оценку ColBERT; повышает полноту на MS-MARCO, BEIR и LoTTE.
Бенчмарки эмбеддингов и поиска:
MMTEB (2025) — расширенная сообществом версия MTEB: более 500 задач для более чем 250 языков.
Краткий список ресурсов, поскольку эта тема соприкасается со смежными областями:
Whisper — мультиязычное автоматическое распознавание речи (ASR), современное открытое решение по умолчанию.
SeamlessM4T — единая система перевода речи и текста.
Canary (NVIDIA, 2024) — ведущая открытая мультиязычная модель ASR.
FunASR — промышленный набор инструментов ASR; на GPU работает в 170 раз быстрее реального времени, поддерживает более 50 языков, включает VAD, пунктуацию, диаризацию говорящих и распознавание эмоций. Включает нерекуррентную модель SenseVoice и модель на основе LLM Fun-ASR-Nano.
Wav2Vec 2.0 — основополагающее самоконтролируемое предварительное обучение для речи.
HuggingFace Datasets Hub — центральный каталог современных наборов данных NLP с версионированными загрузчиками, поддерживающими потоковую передачу.
nlp-datasets — большая коллекция наборов данных NLP.
gensim-data — репозиторий данных для предварительно обученных моделей NLP и корпусов.
Открытые корпуса масштаба предварительного обучения:
The Pile — разнообразный текстовый корпус объёмом 825 ГиБ.
RedPajama / RedPajama-V2 (2023–2024) — воспроизведение данных предварительного обучения LLaMA; версия V2 содержит 30 трлн токенов и метаданные о качестве.
Dolma (AI2, 2023–2024) — открытый корпус для предварительного обучения объёмом 3 трлн токенов с документированным конвейером фильтрации.
FineWeb / FineWeb-Edu (2024) — очищенный веб-корпус объёмом 15 трлн токенов; FineWeb-Edu отбирает данные по образовательной ценности.
UDPipe — обучаемый конвейер для токенизации, разметки, лемматизации и синтаксического анализа Universal Treebanks и других файлов CoNLL-U. Написан главным образом на C++ и обеспечивает быструю и надёжную мультиязычную обработку NLP.
NLP-Cube — конвейер обработки естественного языка: разделение предложений, токенизация, лемматизация, разметка частей речи и синтаксический анализ зависимостей. Новая платформа написана на Python с Dynet 2.0; предлагает автономное использование (CLI/привязки Python) и серверный режим (REST API).
UralicNLP — библиотека NLP преимущественно для многих исчезающих уральских языков, например саамских, мордовских, марийских и коми. Поддерживает и языки, которым исчезновение не угрожает, например финский, а также неуральские языки — шведский и арабский. UralicNLP выполняет морфологический анализ, генерацию словоформ, лемматизацию и снятие неоднозначности.
Предварительно обученные языковые модели и исследования, связанные с ними, в контексте задач NLP и лингвистических явлений. Универсальные инструменты для LLM, агентные системы и наборы для создания приложений RAG перечислены в разделе См. также.
Энкодеры (по-прежнему основное средство для классических задач NLP):
BERT — двунаправленное предварительное обучение Transformer; с 2018 года служит основой большинства работ по NLP на основе энкодеров. Читать онлайн с навигацией по разделам и приложенным оригиналом ACL.
RoBERTa — оптимизированное для устойчивости предварительное обучение BERT; распространённая базовая модель-энкодер.
DeBERTa / DeBERTa-v3 — раздельное внимание; эффективна для классификации, NER и NLI.
ELECTRA — экономное по числу примеров предварительное обучение с обнаружением заменённых токенов.
ModernBERT (2024) — модернизированный энкодер с вращательными эмбеддингами, FlashAttention и контекстом 8K; современный основной энкодер для классификации, NER и поиска.
NeoBERT (2025) — энкодер с 250 млн параметров, включающий современные архитектурные улучшения (RoPE, контекст 4K, оптимизированное соотношение глубины и ширины); достигает передовых результатов в MTEB и превосходит ModernBERT и RoBERTa-large при одинаковом дообучении.
Модели encoder-decoder и seq2seq:
T5 и FLAN-T5 — представление задач NLP в формате «текст на входе — текст на выходе»; эффективные базовые модели encoder-decoder, настроенные на выполнение инструкций.
BART — предварительное обучение seq2seq с устранением шума; широко используется для суммаризации и генерации.
Открытые LLM типа decoder-only (основа для задач NLP):
Llama 3 / 3.1 / 3.3 (Meta, 2024–2025) — широко используемое семейство моделей с открытыми весами; стандартная основа для дообучения под задачи NLP.
Qwen 2.5 / Qwen 3 (Alibaba, 2024–2025) — широкая мультиязычная поддержка, особенно китайского языка; часто занимает первые места среди открытых моделей в мультиязычных бенчмарках.
BLOOM — открытая мультиязычная языковая модель с 176 млрд параметров для 46 естественных языков.
Aya 23 / Aya Expanse (Cohere For AI, 2024) — масштабные мультиязычные модели, настроенные на выполнение инструкций и поддерживающие от 23 до 101 языка.
Glot500 — энкодер для более чем 500 языков с акцентом на языки с ограниченными ресурсами.
NLLB-200 — No Language Left Behind: машинный перевод для 200 языков.
MADLAD-400 — модель машинного перевода для более чем 400 языков и мультиязычный корпус объёмом 3 трлн токенов.
SeamlessM4T / Seamless (Meta, 2023–2024) — мультиязычный мультимодальный перевод речи и текста более чем на 100 языков.
SEA-LION / SeaLLM (2024–2025) — языковые модели, ориентированные на языки Юго-Восточной Азии.
Babel (2025) — открытые мультиязычные LLM (9 и 83 млрд параметров) для 25 языков с наибольшим числом носителей (около 90% говорящих в мире); превосходят сопоставимые по размеру открытые мультиязычные модели на XCOPA, XNLI, MGSM и FLORES-200.
Lugha-Llama (Princeton/Mila, 2025) — Llama-3.1-8B, адаптированная для африканских языков с ограниченными ресурсами на основе отобранного корпуса WURA; лучшие результаты среди открытых моделей на IrokoBench и AfriQA.
AfriqueLLM (McGill, 2026) — набор открытых LLM (4–14 млрд параметров), дополнительно обученных на 26 млрд токенов для 20 африканских языков, с комплексным эмпирическим исследованием смешивания данных.
TranslateGemma (Google, 2026) — открытые модели перевода на базе Gemma 3, охватывающие 55 языковых пар и обученные с помощью SFT и RL с моделями вознаграждения за качество.
MiLMMT-46 (Xiaomi, 2026) — открытая мультиязычная система машинного перевода для 46 языков, сопоставимая с коммерческими системами Google Translate и Gemini 3 Pro.
Понимание естественного языка (NLU) и межъязыковая оценка:
GLUE и SuperGLUE — бенчмарки NLU для английского языка.
XTREME и XGLUE — межъязыковое понимание естественного языка.
XNLI — межъязыковой логический вывод по естественному языку для 15 языков.
FLORES-200 — оценка машинного перевода для 200 языков.
MTEB — Massive Text Embedding Benchmark, стандарт оценки энкодеров предложений и документов.
BEIR — разнородный бенчмарк информационного поиска для моделей поиска.
Современная оценка языковых моделей (2023–2026):
HELM — комплексная оценка задач NLP, точности и других характеристик.
BIG-bench — более 200 задач для исследования возможностей языковых моделей.
MMLU — многофункциональная оценка знаний по 57 предметным областям.
MMLU-Pro (2024) — более сложный и точный преемник MMLU.
GPQA — вопросы и ответы на уровне аспирантуры, оценка рассуждений, «неподвластная Google».
REFUTE (2026) — бенчмарк научного рассуждения: критика на основе доказательств, выявление чрезмерных утверждений, отказ при нехватке свидетельств и калибровка.
MMLU-ProX (2025) — мультиязычное расширение MMLU-Pro на 29 типологически разнообразных языков; выявляет разрыв качества до 24,3% между языками с большим и ограниченным объёмом ресурсов.
MultiChallenge (2025) — бенчмарк многоходовых диалогов, выявляющий одновременные сбои в следовании инструкциям и рассуждениях в контексте; все проверенные передовые модели набирают менее 50%.
FRAMES (2025) — единая оценка RAG: 824 многошаговых вопроса, требующих совместной проверки фактичности, точности поиска и рассуждений по нескольким документам.
RULER (2024) — синтетические задачи с длинным контекстом, выходящие за рамки простого поиска.
LongBench — двуязычный бенчмарк длинного контекста для задач NLP.
LongBench v2 (2025) — 503 подготовленных экспертами вопроса с выбором ответа по контекстам от 8 тысяч до 2 миллионов слов, требующих глубоких многошаговых рассуждений; люди под ограничением по времени набирают 53,7%.
U-NIAH (2025) — расширяет Needle-in-a-Haystack конфигурациями с несколькими и вложенными «иголками»; показывает, что RAG смягчает проблему потери информации в середине контекста у небольших LLM, но ухудшает качество рассуждающих моделей.
s1: Simple Test-Time Scaling (2025) — компактный открытый рецепт рассуждений с принудительным соблюдением бюджета вычислений.
Kimi k1.5 (2025) — RL с оптимизацией политики и длинным контекстом (без MCTS и PRM), достигающий уровня o1; предлагает дистилляцию длинных цепочек рассуждений в модели с короткими цепочками.
rStar-Math (2025) — небольшая модель политики в паре с моделью предпочтений процесса, обученной на развёртках MCTS; позволяет небольшим языковым моделям развивать рассуждения без дистилляции из более крупных моделей.
DAPO (2025) — открытая система RL на основе GRPO с четырьмя ключевыми улучшениями (разделённое отсечение, динамическая выборка, потери на уровне токенов, бонус энтропии); воспроизводит и превосходит уровень рассуждений DeepSeek-R1-Zero.
VAPO (2025) — RL на основе ценностной модели с адаптивным по длине GAE и отсечением на уровне токенов; при стабильном обучении превосходит методы GRPO без ценностной функции на AIME 2024.
ThinkPRM (2025) — генеративные модели вознаграждения за процесс, проверяющие каждый шаг цепочки рассуждений; сопоставимы с дискриминативными PRM, используя лишь 1% обучающих меток.
OpenThoughts (2025) — более 1000 контролируемых экспериментов с методиками подготовки данных для открытых моделей рассуждений; лучшие результаты на AIME 2025, сопоставимые с закрытыми базовыми моделями дистилляции.
Titans: Learning to Memorize at Test Time (2025) — нейросетевой модуль долговременной памяти, обучающийся запоминать предыдущий контекст во время тестирования; масштабируется более чем до 2 млн токенов и превосходит Transformer и современные линейно-рекуррентные модели в языковом моделировании и рассуждениях.
MiniMax-01 (2025) — гибридная модель с 456 млрд параметров, объединяющая молниеносное (линейное) внимание с разреженным softmax-вниманием; достигает уровня GPT-4o в задачах NLP при выводе с контекстом до 4 млн токенов.
Native Sparse Attention (NSA) (2025) — обучаемое разреженное внимание, сочетающее сжатие крупных фрагментов с точечным отбором; значительно ускоряет обработку контекста 64K без ухудшения результатов бенчмарков NLP.
LongRoPE2 (2025) — выявляет недостаточное обучение высокочастотных измерений RoPE и применяет масштабирование с помощью эволюционного поиска; расширяет LLaMA3-8B до 128K, используя в 80 раз меньше обучающих токенов, чем методика Meta.
Characterizing SSM and Hybrid LM Long-Context Performance (2025) — первый комплексный анализ памяти и скорости Transformer, SSM и гибридных моделей с контекстом до 220K токенов; SSM работают до четырёх раз быстрее, а гибриды обеспечивают баланс полноты и эффективности.
HalluLens (2025) — бенчмарк галлюцинаций с таксономией внешних и внутренних ошибок и динамической генерацией тестовых данных для защиты от утечки.
Atomic Calibration (2025) — анализ калибровки отдельных утверждений в длинных текстах; калибровка моделей для развёрнутых ответов значительно хуже, чем для отдельных утверждений.
FRANQ (2025) — оценка неопределённости для проверки фактов в RAG с учётом достоверности; формально различает достоверность передачи источника и фактическую точность.
MUCH (2025) — мультиязычный бенчмарк галлюцинаций в утверждениях на английском, французском, испанском и немецком языках; опубликованы логиты на уровне токенов для обоснованной оценки количественной неопределённости (UQ).
HalluHard (2026) — сложный многоходовый бенчмарк галлюцинаций для ответов с обязательными цитатами; около 30% галлюцинаций сохраняются даже при поиске в интернете.
CURE: Think Through Uncertainty (2026) — обучает модели рассуждать о неопределённости каждого утверждения перед генерацией; значительно повышает фактическую точность биографий и AUROC на FactBench.
On the Biology of a Large Language Model (Anthropic, 2025) — применяет графы атрибуции к Claude 3.5 Haiku для анализа многошаговых рассуждений, планирования рифм и примеров обхода ограничений.
DistilBERT и MiniLM — дистиллированные энкодеры для промышленного NLP.
Phi-3 / Phi-4 (Microsoft, 2024) — небольшие модели, обученные на отобранных данных и конкурирующие с намного более крупными моделями в бенчмарках NLP.
SmolLM2 (HuggingFace, 2025) — полностью открытое семейство компактных языковых моделей с воспроизводимыми обучающими данными.
SmolLM3 (HuggingFace, 2025) — полностью открытый декодер с 3 млрд параметров, предварительно обученный на 11,2 трлн токенов с NoPE и YaRN для контекста 128K; конкурирует с моделями класса 4 млрд параметров.
Gemma 3 Technical Report (Google, 2025) — открытые модели с 1–27 млрд параметров и высоким отношением локального внимания к глобальному, позволяющим использовать KV-кэш для контекста 128K.
Qwen3 Technical Report (Alibaba, 2025) — плотные модели и модели MoE с 0,6–235 млрд параметров и едиными режимами рассуждения и обычного ответа; модель MoE 30B-A3B сравнима с более крупными плотными моделями, активируя лишь 3 млрд параметров.
Apple Intelligence Foundation Language Models (Apple, 2025) — модель с 3 млрд параметров для работы на устройстве; совместное использование KV-кэша и 2-битное QAT сокращают объём памяти кэша на 37,5% без потери точности.
KVTuner (ICML 2025) — послойное квантование KV-кэша с разной точностью и учётом чувствительности; повышает пропускную способность до 21% по сравнению с единообразным KV8.
Tülu 3 (AI2, 2024) — полностью открытая методика постобучения с передовыми результатами среди открытых моделей.
LIMA — «для выравнивания достаточно малого количества данных»: небольшой высококачественный набор SFT даёт значительный эффект.
TRL — эталонная библиотека для SFT, DPO, GRPO и RLHF.
Magpie (2024–2025) — синтезирует высококачественные пары «инструкция — ответ», подавая согласованным языковым моделям пустой промпт; SFT на отфильтрованном подмножестве достигает качества официальной Llama-3-Instruct.
WildGuard (2024) — открытая модель и бенчмарк модерации безопасности.
Emergent Misalignment (2025) — дообучение на узкой задаче (небезопасный код) неожиданно приводит к широким сбоям согласования в несвязанных областях.
SafeDialBench (2025) — мультиязычный бенчмарк безопасности (китайский и английский) с более чем 4000 многоходовых диалогов в 22 сценариях и семью стратегиями обхода ограничений.
TeleAI-Safety (2025) — модульный фреймворк оценки обхода ограничений, объединяющий 19 атак, 29 защитных мер и 19 методов оценки для 14 моделей и 12 категорий риска.
IndicSafe (2026) — мультиязычный бенчмарк безопасности для 12 индийских языков; выявляет согласованность между языками на уровне 12,8% и чрезмерные отказы для письменностей языков с ограниченными ресурсами.
VLAF: Value-Conflict Alignment Faking (2026) — модели с 7 млрд параметров имитируют согласованность в 37% случаев, если политика противоречит усвоенным ценностям; смягчение с помощью векторов управления снижает этот показатель на 94%.
python-frog — привязка Python к Frog, набору инструментов NLP для нидерландского языка (разметка частей речи, лемматизация, синтаксический анализ зависимостей, NER).
SimpleNLG_NL — генератор поверхностных форм на нидерландском языке для генерации естественного языка, основанный на реализации SimpleNLG.
Alpino — анализатор зависимостей для нидерландского языка (также выполняет разметку частей речи и лемматизацию).
Kaldi NL — модели распознавания речи на нидерландском языке на основе Kaldi.
spaCy Dutch model — промышленная обработка NLP с конвейером для нидерландского языка.
SAIL 2015 — размеченные примеры тональности из Twitter и Facebook на хинди, бенгальском, тамильском и телугу.
IIT Bombay CFILT Resources — Sentiwordnet, параллельные размеченные корпуса, корпуса с разметкой значений слов и корпус маратхи с разметкой полярности.
NusaCrowd / Cendol (2023–2024) — масштабные наборы данных от сообщества и языковые модели Cendol, настроенные на выполнение инструкций на индонезийском и региональных языках.
Sailor — открытые языковые модели для Юго-Восточной Азии, включая индонезийский.
SEA-LION (2024) — открытая языковая модель Singapore AI для Юго-Восточной Азии с хорошей поддержкой индонезийского.
kss — средство разделения корейского текста на предложения.
Kiwi — быстрый морфологический анализатор корейского языка.
Garu — встроенный в браузер морфологический анализатор корейского языка, полностью работающий на стороне клиента через WebAssembly (модель 1 МБ, автономный режим, лицензия MIT).
Bijankhan Corpus — размеченный корпус для исследований NLP на персидском (фарси): около 2,6 млн размеченных вручную слов с 40 метками частей речи.
Uppsala Persian Corpus (UPC) — большой общедоступный корпус персидского языка: 2,7 млн токенов с разметкой по 31 части речи.
Large-Scale Colloquial Persian — LSCP: 120 млн предложений из 27 млн неформальных твитов на персидском с разметкой зависимостей, частей речи и тональности.
ArmanPersoNERCorpus — 250 тыс. токенов и 7682 предложения с метками NER в формате IOB.
spanlp — библиотека Python для выявления, сокрытия и удаления ненормативной лексики, языка ненависти и травли на испанском; использует данные из 21 испаноязычной страны.
SOAS English-Uzbek RAG Evaluation — двуязычный бенчмарк оценки поиска для RAG с культурной привязкой. 400 строк, английский и узбекский языки, лицензия MIT/CC-BY-4.0.
ViText2SQL — набор данных семантического анализа для преобразования вьетнамского текста в SQL (EMNLP-2020 Findings).
EVB Corpus — 20 млн слов из 15 двуязычных книг, 100 параллельных англо-вьетнамских текстов, 250 параллельных юридических текстов, 5 тыс. новостных статей и 2 тыс. субтитров к фильмам.
HagiCode — агентная среда разработки. Насыщенные и удобные взаимодействия с интерфейсом делают планирование, работу агентов и проектные задачи понятными и доступными, превращая разработку в увлекательный процесс.
Насыщенные и удобные взаимодействия с интерфейсом помогают легче планировать, запускать агентов и вести проектную работу.
HagiCode делает планирование, работу агентов и проектные задачи доступнее благодаря насыщенным и удобным взаимодействиям с интерфейсом: https://www.hagicode.com/
Превращайте идеи в готовое ПО.
HagiCode — агентная среда разработки: рабочие процессы OpenSpec планируют изменение, мультиагентное выполнение его реализует, а Hero Scenario делает долгий путь наглядным, так что идеи становятся готовым ПО.
