跳转到内容
HagiCodeAwesome Site

选择语言

当前语言: 简体中文

NLP

Source: https://github.com/keon/awesome-nlp at ab3dbd7d8160
License: CC0-1.0
Read the English original

This edition is an AI-assisted translation.

awesome-nlp

Section titled “awesome-nlp”

Awesome

由 Atlas Cloud 赞助

Atlas Cloud

AI API 聚合平台，提供兼容 OpenAI 的 LLM 接口，用于翻译、摘要、多语言生成和结构化信息抽取等 NLP 任务。

自然语言处理相关资源精选列表。

贡献前请阅读贡献指南。欢迎通过提交拉取请求添加你喜爱的 NLP 资源。

范围

Section titled “范围”

本列表涵盖自然语言处理，包括语言学分析、多语言工具、经典与神经方法、数据集和评估。仅收录能够推进或评估核心 NLP 任务或能力（分词、多语言能力、机器翻译、摘要、命名实体识别、问答、事实性、探测、蒸馏）的大语言模型。通用聊天机器人、智能体框架、提示模板仓库、代码生成工具和 RAG 应用入门套件收录在其他列表中——参见另请参阅。

目录

Section titled “目录”

研究综述与趋势

Section titled “研究综述与趋势”

关注 NLP 最新研究的渠道：

历史精选

Section titled “历史精选”

知名 NLP 研究实验室

Section titled “知名 NLP 研究实验室”

返回顶部

教程

Section titled “教程”

返回顶部

阅读材料

Section titled “阅读材料”

通用机器学习

NLP 入门与指南

博客与通讯

视频与在线课程

Section titled “视频与在线课程”

返回顶部

书籍

Section titled “书籍”

库

Section titled “库”

返回顶部

  • Node.js 与 JavaScript - 面向 NLP 的 Node.js 库 | 回到顶部

    • Twitter-text - Twitter 文本处理库的 JavaScript 实现。
    • Knwl.js - JavaScript 自然语言处理器。
    • Retext - 可扩展的自然语言分析与处理系统。
    • NLP Compromise - 在浏览器中进行自然语言处理。
    • Natural - 为 Node 提供通用自然语言处理功能。
    • Poplar - 基于 Web 的自然语言处理（NLP）标注工具。
    • NLP.js - 用于构建机器人的 NLP 库。
    • node-question-answering - 基于 DistilBERT 的快速、可用于生产环境的 Node.js 问答工具。

  • Python - Python NLP 库 | 回到顶部

    • sentimental-onix 使用 ONNX 的 spaCy 情感分析模型。
    • TextAttack - NLP 对抗攻击、对抗训练和数据增强工具。
    • TextBlob - 提供统一 API，便于处理常见自然语言处理（NLP）任务。它基于 Natural Language Toolkit (NLTK) 和 Pattern 构建，并能与二者良好协作 :+1:
    • spaCy - 基于 Python 和 Cython 的工业级 NLP 工具 :+1:
      • textacy - 基于 spaCy 构建的高级 NLP 工具。
    • gensim - 用于对纯文本进行无监督语义建模的 Python 库 :+1:
    • scattertext - 用于生成 D3 可视化图表、展示不同语料间语言差异的 Python 库。
    • GluonNLP (已归档) - 基于 MXNet/Gluon 构建的 NLP 深度学习工具包。
    • AllenNLP (已归档) - 基于 PyTorch 的 NLP 研究库，用于开发适用于各类语言任务的先进深度学习模型。
    • PyTorch-NLP - 支持快速原型开发的 NLP 研究工具包，提供完善的数据加载器、词向量加载器、神经网络层表示，以及 BLEU 等常见 NLP 指标。
    • Rosetta - 文本处理工具及其封装（例如 Vowpal Wabbit）。
    • PyNLPl - Python 自然语言处理库。通用 NLP 库，可处理 ARPA 语言模型、Moses 短语表、GIZA++ 对齐等特定格式。
    • foliapy - 用于处理语言标注 XML 格式 FoLiA 的 Python 库。
    • PySS3 - 实现 SS3 白盒文本分类器的 Python 包；附带用于解释预测结果的交互式可视化工具。
    • jPTDP - 联合词性（POS）标注与依存句法分析工具包，提供 40 多种语言的预训练模型。
    • BigARTM - 快速主题建模库。
    • Snips NLU - 可用于生产环境的意图解析库。
    • Chazutsu - 用于下载和解析标准 NLP 研究数据集的库。
    • Word Forms - 可准确生成英语单词所有可能形式的工具。
    • Multilingual Latent Dirichlet Allocation (LDA) - 多语言、可扩展的文档聚类流水线。
    • Natural Language Toolkit (NLTK) - 提供丰富 NLP 功能并支持 50 多种语料库的库。
    • NLP Architect - 用于探索 NLP 和 NLU 最新深度学习架构与技术的库。
    • Flair - 基于 PyTorch 构建的简洁先进多语言 NLP 框架，包含 BERT、ELMo 和 Flair 嵌入。
    • Kashgari - 简洁的 Keras 多语言 NLP 框架，可在 5 分钟内构建命名实体识别（NER）、词性标注（PoS）和文本分类模型。包含 BERT 和 word2vec 嵌入。
    • FARM - 快速简便的 NLP 迁移学习工具，致力于将语言模型应用于工业领域，重点关注问答。
    • Haystack - 端到端 Python 框架，用于构建自然语言数据搜索界面。利用 Transformers 和先进 NLP 技术，支持 DPR、Elasticsearch、HuggingFace Modelhub 等。
    • Rita DSL - 一种基于 Apache UIMA 的 RUTA 的 DSL，可定义语言模式（基于规则的 NLP），并将其转换为 spaCy 规则；也可选择功能较少、更轻量的正则表达式模式。
    • Transformers - 面向 TensorFlow 2.0 和 PyTorch 的自然语言处理库。
    • Tokenizers - 为研究与生产环境优化的分词器。
    • fairSeq Facebook AI Research 对 PyTorch 中先进 seq2seq 模型的实现。
    • corex_topic - 仅需少量领域知识的层次主题建模。
    • Sockeye - 为 Amazon Translate 提供支持的神经机器翻译（NMT）工具包。
    • DL Translate - 基于深度学习的 50 种语言翻译库，使用 transformers 和 Facebook 的 mBART Large 构建。
    • Jury - 提供多种自动化指标，用于评估 NLP 模型输出。
    • python-ucto - 面向多种语言、支持 Unicode 的正则表达式分词器。该 C++ 库的 Python 绑定支持 FoLiA 格式。
    • Pearmut - 用于机器翻译等多语言 NLP 任务的人工标注工具。
    • Stanza - Stanford NLP 的 Python 工具包，支持 70 多种语言的分词、词性标注、词形还原、依存句法分析和 NER。
    • Sentence-Transformers - 句子/文档嵌入、语义搜索与重排序工具，是检索类 NLP 的当前标准。
    • Argilla - 面向 LLM 和 NLP 数据集的开源数据标注与反馈收集平台。
    • HuggingFace Datasets - 为数千个 NLP 数据集提供标准化加载器和处理工具。
    • HuggingFace Evaluate - NLP 评估指标的参考实现。
    • sacrebleu - 可复现的机器翻译 BLEU/chrF/TER 评分工具。
    • COMET - 基于学习的机器翻译评估指标，现已成为事实标准。
    • LangTest - 提供 60 多种测试类型，用于评估 NLP 模型的鲁棒性、偏见和公平性。
    • yasbd-lib - 高精度、基于规则的句子边界检测器（SBD）。可直接替代 pysbd 的适配器，提供流式 API、CLI，以及支持 39 种以上语言的 spaCy 组件。

服务

Section titled “服务”

提供 NER、主题标注等高级功能的 NLP API | 回到顶部

  • Wit-ai - 面向应用和设备的自然语言接口。
  • IBM Watson’s Natural Language Understanding - API 和 GitHub 演示。
  • Amazon Comprehend - NLP 和机器学习套件，涵盖 NER、标注和情感分析等常见任务。
  • Google Cloud Natural Language API - 支持至少 9 种语言（包括英语和简体、繁体中文）的句法分析、NER、情感分析和内容标注。
  • ParallelDots - 高级文本分析 API 服务，涵盖情感分析、意图分析等功能。
  • Microsoft Cognitive Service
  • TextRazor
  • Rosette
  • Textalytic - 在浏览器中执行自然语言处理，支持情感分析、命名实体抽取、词性标注、词频统计、主题建模、词云等功能。
  • NLP Cloud - 通过 RESTful API 提供 spaCy NLP 模型（自定义和预训练模型），支持命名实体识别（NER）、词性标注等功能。
  • Cloudmersive - 统一且免费的 NLP API，可执行词性标注、文本改写、语言翻译/检测和句子解析等操作。

标注工具

Section titled “标注工具”
  • GATE - 通用架构与文本工程平台，已有 15 年以上历史，免费且开源。
  • Anafora 是免费开源的 Web 原始文本标注工具。
  • brat - brat 快速标注工具是用于协作文本标注的在线环境。
  • doccano - 免费开源的标注工具，支持文本分类、序列标注和序列到序列任务。
  • INCEpTION - 提供智能辅助和知识管理功能的语义标注平台。
  • prodigy 是由主动学习驱动的标注工具，需付费。
  • LightTag - 面向团队的托管式文本标注工具，需付费。
  • rstWeb - 开源的本地或在线话语树标注工具。
  • GitDox - 开源服务器端标注工具，支持 GitHub 版本控制，并可验证 XML 数据和协作电子表格。
  • Datasaur 支持个人和团队使用多种 NLP 任务，采用免费增值模式。
  • Konfuzio - 以团队协作为先的云端及本地文本、图像和 PDF 标注工具，由主动学习驱动，提供免费增值方案，部分功能需付费。
  • UBIAI - 易用的团队文本标注工具，提供全面的自动标注功能。支持 NER、关系和文档分类，以及用于发票标注的 OCR 标注，部分功能需付费。
  • Shoonya - 免费开源的数据标注平台，提供多种组织和工作区级管理功能。Shoonya 不受数据类型限制，团队可利用多个验证阶段大规模标注数据。
  • Annotation Lab - 免费、端到端、无代码的文本标注及深度学习模型训练/调优平台。开箱即用地支持 Spark NLP 的命名实体识别、分类、关系抽取和断言状态模型。用户、团队、项目和文档数量不限。非自由开源软件。
  • FLAT - 基于 FoLiA 格式（丰富的语言标注 XML 格式）的 Web 语言标注环境，免费且开源。
  • Argilla - 开源平台，用于收集人工反馈、构建 NLP 和 LLM 数据集，以及整理偏好数据。
  • Label Studio - 开放核心的多模态标注平台，广泛用于 NLP 标注。
  • Potato - 免费开源标注工具，涵盖 21 种以上任务类型（分类、片段、共指消解、实体链接、智能体轨迹评估），内置 MACE 质量控制、注意力检查、AI 辅助标注和 300 多个示例任务。

任务与方法

Section titled “任务与方法”

NLP 资源按语言学问题分类。每个小节先列出基础/经典研究，再列神经方法，最后在适用时列出大语言模型方法。现代语言模型专项研究（预训练、评估、检索、推理等）请参见 NLP 语言模型。

文本嵌入

Section titled “文本嵌入”

返回顶部

静态词嵌入（基础方法）：

上下文嵌入：

  • ELMo - 深度上下文化词表示。
  • CoVe - 从机器翻译中学习的上下文化向量。
  • ULMFiT - 用于文本分类的语言模型微调方法。
  • InferSent - 从自然语言推理任务中学习的句子表示。

现代句子和文档嵌入：参见 NLP 检索（Sentence-Transformers、E5、BGE-M3、Nomic、GritLM）及 MTEB 的最新排行榜。

分词、形态学与切分

Section titled “分词、形态学与切分”

返回顶部

词性标注与依存句法分析

Section titled “词性标注与依存句法分析”

返回顶部

命名实体识别与信息抽取

Section titled “命名实体识别与信息抽取”

返回顶部

基础方法与神经方法：

开放式与指令遵循式信息抽取：

  • Universal NER - 经指令微调、可跨语言执行开放集 NER 的语言模型。
  • GLiNER (2023) - 小型通用 NER 模型，可在推理时处理任意实体类型。
  • GoLLIE - 使用语言模型遵循指南执行信息抽取。
  • REBEL - 将关系抽取作为 seq2seq 任务端到端完成。

基于大语言模型：

共指消解

Section titled “共指消解”

返回顶部

文本分类与情感分析

Section titled “文本分类与情感分析”

返回顶部

主题建模

Section titled “主题建模”

返回顶部

摘要生成

Section titled “摘要生成”

返回顶部

机器翻译

Section titled “机器翻译”

返回顶部

统计方法与基础神经方法：

大规模多语言：

  • NLLB-200 - 支持 200 种语言的机器翻译。
  • MADLAD-400 - 支持 400 多种语言的机器翻译。
  • SeamlessM4T - 支持 100 多种语言的语音和文本机器翻译。

评估：

  • COMET - 基于学习的机器翻译评估指标，与 chrF 并列为当前事实标准。
  • sacrebleu - 可复现的 BLEU/chrF/TER 评分工具。
  • BERTScore - 基于相似度的生成评估指标。

基于大语言模型：

问答与阅读理解

Section titled “问答与阅读理解”

返回顶部

数据集与基础系统：

现代开放域问答：

  • DPR 和 FiD - 先检索再阅读，是大语言模型兴起前开放域问答的标准流水线。
  • Atlas - 用于少样本问答的检索增强语言模型。
  • 另见 NLP 检索。

大语言模型时代：

超越命名实体识别的信息抽取

Section titled “超越命名实体识别的信息抽取”

返回顶部

检索与嵌入

Section titled “检索与嵌入”

返回顶部

稠密检索和后期交互检索正日益成为问答与信息检索（IR）的基础：

  • DPR (Dense Passage Retrieval) - 双编码器检索基线。

  • ColBERT 和 ColBERTv2 - 后期交互检索方法，在域外数据上表现出色。

  • E5 和 E5-Mistral - 广泛使用的稠密嵌入系列。

  • BGE 和 BGE-M3 (2024) - 多语言、多功能嵌入模型，在多种语言的 MTEB 榜单上名列前茅。

  • Nomic Embed (2024) - 完全开放、可复现的嵌入模型。

  • Matryoshka Representation Learning - 支持推理时灵活调整维度的嵌套嵌入。

  • GritLM (2024) - 在单一模型中统一生成和嵌入能力。

  • RAG (Retrieval-Augmented Generation) - 最初的检索增强框架，是现代问答流水线的基础。

  • Gemini Embedding (2025) - 基于 Gemini 的稠密嵌入，在涵盖 250 多种语言的 MMTEB 及跨语言检索（XOR-Retrieve、XTREME-UP）上达到最先进水平。

  • Qwen3-Embedding (2025) - 基于 Qwen3 构建的仅解码器嵌入系列（0.6B-8B）；在 MTEB Multilingual 和 MTEB Code 榜单上排名第一，超越此前的专有模型。

  • Rank1 (2025) - 首个通过 DeepSeek-R1 推理轨迹蒸馏、利用测试时计算训练的重排序模型；在指令遵循和分布外（OOD）检索任务上达到最先进水平。

  • ReasonEmbed (2025) - 面向复杂推理检索的嵌入模型，采用 ReMixer 数据合成和 Redapter 自适应训练；在 BRIGHT 上取得 38.1 的 nDCG@10 纪录。

  • ColBERT-Att (2026) - 将查询和文档注意力权重融入 ColBERT 评分，扩展后期交互检索；提升其在 MS-MARCO、BEIR 和 LoTTE 上的召回率。 嵌入与检索基准：

  • MMTEB (2025) - 社区将 MTEB 扩展至覆盖 250 多种语言的 500 多项任务。

语音与文本

Section titled “语音与文本”

返回顶部

由于该领域与相邻方向有所交叉，此处仅列出少量参考资源：

  • Whisper - 多语言自动语音识别（ASR），现代开源方案中的常用默认选择。
  • SeamlessM4T - 统一的语音和文本翻译系统。
  • Canary (NVIDIA，2024) - 顶尖的开源多语言 ASR 模型。
  • FunASR - 工业级 ASR 工具包；GPU 上可达实时速度的 170 倍，支持 50 多种语言，内置 VAD、标点恢复、说话人分离和情绪检测。包含非自回归 SenseVoice 和基于大语言模型的 Fun-ASR-Nano 模型。
  • Wav2Vec 2.0 - 自监督语音预训练的奠基性方法。
  • Coqui TTS 和 VieNeu-TTS - 开放的文本转语音工具。

数据集

Section titled “数据集”

返回顶部

数据集中心与列表：

  • HuggingFace Datasets Hub - 现代 NLP 数据集的中心索引，提供带版本管理且支持流式读取的加载器。
  • nlp-datasets - 大型 NLP 数据集合集。
  • gensim-data - 预训练 NLP 模型和 NLP 语料库的数据仓库。

开放的预训练规模语料：

  • The Pile - 825 GiB 的多样化文本语料库。
  • RedPajama / RedPajama-V2 (2023-2024) - 对 LLaMA 预训练数据的复现；V2 包含 30 万亿 token，并附有质量信号。
  • Dolma (AI2，2023-2024) - 包含 3 万亿 token 的开放预训练语料库，并公开了筛选流程。
  • FineWeb / FineWeb-Edu (2024) - 清洗后的 15 万亿 token 网络语料；FineWeb-Edu 按教育质量筛选数据。
  • CulturaX - 覆盖 167 种语言、包含 6.3 万亿 token。
  • Common Corpus (2024) - 拥有开放许可、包含 2 万亿 token 的多语言语料库。

任务与指令数据集：

多语言 NLP 框架

Section titled “多语言 NLP 框架”

返回顶部

  • UDPipe 是可训练的流水线，可对 Universal Treebanks 和其他 CoNLL-U 文件进行分词、标注、词形还原和句法分析。它主要使用 C++ 编写，为多语言 NLP 处理提供快速可靠的方案。
  • NLP-Cube : 自然语言处理流水线，支持句子切分、分词、词形还原、词性标注和依存句法分析。该新平台使用 Python 和 Dynet 2.0 编写，提供独立运行方式（CLI/Python 绑定）和服务器功能（REST API）。
  • UralicNLP 是一个 NLP 库，主要面向萨米语、莫尔多瓦语、马里语、科米语等多种濒危乌拉尔语系语言。它也支持芬兰语等非濒危语言，以及瑞典语、阿拉伯语等非乌拉尔语系语言。UralicNLP 支持形态分析、词形生成、词形还原和消歧。

NLP 语言模型

Section titled “NLP 语言模型”

返回顶部

此处介绍与 NLP 任务和语言现象相关的预训练语言模型及其研究。通用大语言模型工具、智能体或 RAG 应用套件请参见另请参阅。

预训练与适配

Section titled “预训练与适配”

编码器（仍是经典 NLP 任务的主力架构）：

  • BERT - 双向 Transformer 预训练方法；自 2018 年以来大多数基于编码器的 NLP 工作均以此为基础。在线阅读，提供章节导航并附有 ACL 原文。
  • RoBERTa - 经过稳健优化的 BERT 预训练方法，是常见的编码器基线。
  • DeBERTa / DeBERTa-v3 - 解耦注意力机制，在分类、NER 和 NLI 任务上表现出色。
  • ELECTRA - 采用替换 token 检测的预训练方法，样本利用效率高。
  • ModernBERT (2024) - 采用旋转嵌入、FlashAttention 和 8K 上下文的现代化编码器，是当前分类、NER 和检索任务的首选编码器。
  • NeoBERT (2025) - 融合现代架构改进（RoPE、4K 上下文、优化深宽比）的 2.5 亿参数编码器；在 MTEB 上达到最先进水平，在相同微调设置下超越 ModernBERT 和 RoBERTa-large。

编码器-解码器与 seq2seq：

  • T5 和 FLAN-T5 - 将 NLP 任务统一表述为文本到文本转换，是强大的指令微调编码器-解码器基线。
  • BART - 去噪 seq2seq 预训练方法，广泛用于摘要和文本生成。

开放的仅解码器语言模型（作为 NLP 任务的基础模型）：

多语言与跨语言模型

Section titled “多语言与跨语言模型”
  • XLM-R - 在 CommonCrawl 上训练、覆盖 100 种语言的跨语言掩码语言模型。
  • mT5 - 覆盖 101 种语言的多语言 T5。
  • BLOOM - 1760 亿参数的开放多语言语言模型，覆盖 46 种自然语言。
  • Aya 23 / Aya Expanse (Cohere For AI，2024) - 大规模多语言指令微调模型，覆盖 23 至 101 种语言。
  • Glot500 - 覆盖 500 多种语言的编码器，重点关注低资源语言。
  • NLLB-200 - No Language Left Behind：面向 200 种语言的机器翻译。
  • MADLAD-400 - 覆盖 400 多种语言的机器翻译模型及 3 万亿 token 多语言语料库。
  • SeamlessM4T / Seamless (Meta，2023-2024) - 覆盖 100 多种语言的多语言、多模态语音与文本翻译。
  • SEA-LION / SeaLLM (2024-2025) - 面向东南亚语言的语言模型。
  • Babel (2025) - 开放的多语言大语言模型（9B 和 83B），覆盖按使用者人数排名前 25 的语言（约占全球使用者的 90%）；在 XCOPA、XNLI、MGSM、FLORES-200 上超越同等规模的开放多语言模型。
  • Lugha-Llama (Princeton/Mila，2025) - 基于精选 WURA 语料，将 Llama-3.1-8B 适配到非洲低资源语言；在 IrokoBench 和 AfriQA 上取得开源最先进成果。
  • AfriqueLLM (McGill，2026) - 一系列开放大语言模型（4B-14B），在涵盖 20 种非洲语言的 260 亿 token 上持续预训练，并对数据混合进行全面实证研究。
  • TranslateGemma (Google，2026) - 基于 Gemma 3 构建的开放翻译专用模型，通过 SFT 和 RL 及质量奖励模型覆盖 55 个语言对。
  • MiLMMT-46 (Xiaomi，2026) - 扩展至 46 种语言的开放多语言机器翻译模型，效果媲美 Google 翻译和 Gemini 3 Pro 等商业系统。

评估与基准

Section titled “评估与基准”

自然语言理解与跨语言：

  • GLUE 和 SuperGLUE - 英语自然语言理解基准。
  • XTREME 和 XGLUE - 跨语言自然语言理解。
  • XNLI - 覆盖 15 种语言的跨语言自然语言推理。
  • FLORES-200 - 覆盖 200 种语言的机器翻译评估。
  • MTEB - 大规模文本嵌入基准，是句子/文档编码器的标准基准。
  • BEIR - 面向检索模型的异构信息检索基准。

现代语言模型评估（2023-2026）：

  • HELM - 全面评估 NLP 任务，包括准确率及其他能力。
  • BIG-bench - 200 多项用于探测语言模型能力的任务。
  • MMLU - 涵盖 57 个学科的多任务知识评估。
  • MMLU-Pro (2024) - 难度更高、区分度更强的 MMLU 后继基准。
  • GPQA - 研究生级问答及“Google-proof”推理评估。
  • REFUTE (2026) - 科学推理基准，评估基于证据的批判、夸大结论检测、缺少证据时拒答，以及校准能力。
  • IFEval - 可验证的指令遵循评估。
  • Chatbot Arena (LMSYS) - 基于人类偏好 ELO 评分的聊天模型排行榜。
  • LiveBench (2024) - 每月更新、可抵御数据污染的基准。
  • LM Evaluation Harness - 统一的语言模型基准评估框架。
  • MMLU-ProX (2025) - 将 MMLU-Pro 扩展到 29 种类型各异的语言；揭示高、低资源语言之间最高达 24.3% 的性能差距。
  • MultiChallenge (2025) - 多轮对话基准，揭示指令遵循和上下文推理同时失效的问题；所有受测前沿模型得分均低于 50%。
  • FRAMES (2025) - 统一的 RAG 评估基准：包含 824 个多跳问题，需同时考察事实性、检索准确度和跨文档推理。

长上下文评估：

  • Needle in a Haystack - 用于探测长上下文窗口检索能力的测试。
  • RULER (2024) - 超越简单检索的合成长上下文任务。
  • LongBench - 涵盖多种 NLP 任务的双语长上下文基准。
  • LongBench v2 (2025) - 503 道专家设计的选择题，涵盖 8K 至 200 万词的上下文并要求深入多跳推理；人在限时条件下得分为 53.7%。
  • U-NIAH (2025) - 通过多针和嵌套设置扩展“大海捞针”测试；显示 RAG 可缓解小型大语言模型的“中间遗失”问题，但会削弱推理模型的表现。

推理与测试时计算

Section titled “推理与测试时计算”

2024-2026 年定义趋势的方向之一：生成显式推理轨迹并从额外推理计算中获益的模型。

  • Chain-of-Thought Prompting - 奠基性研究结果；中间推理步骤能够提升性能。
  • Self-Consistency - 对采样得到的思维链进行多数投票。
  • Tree of Thoughts - 在推理树中进行搜索。
  • Self-Refine 和 Reflexion - 推理时自我纠错。
  • Large Language Models are Zero-Shot Reasoners - 将思维链用于 NLP 推理任务。
  • Let’s Verify Step by Step - 用于推理的过程监督奖励模型。
  • DeepSeek-R1 (2025) - 通过纯 RL 训练的开放推理模型，在开放领域复现了 o1 式行为。
  • OpenAI o1 / o3 (2024-2025) - 利用测试时计算的推理系统。
  • Scaling LLM Test-Time Compute Optimally (2024) - 系统研究推理时计算的权衡。
  • s1: Simple Test-Time Scaling (2025) - 通过预算强制实现的小型开放推理方案。
  • Kimi k1.5 (2025) - 通过策略优化进行长上下文 RL（无需 MCTS 或 PRM），达到 o1 级别表现；并将长思维链蒸馏到短思维链模型中。
  • rStar-Math (2025) - 将小型策略模型与通过 MCTS rollout 训练的过程偏好模型相结合，使小型语言模型无需从更大模型蒸馏即可自行提升推理能力。
  • DAPO (2025) - 基于 GRPO 的开放 RL 训练系统，包含四项关键改进（解耦裁剪、动态采样、token 级损失、熵奖励）；复现并超越 DeepSeek-R1-Zero 级别的推理能力。
  • VAPO (2025) - 基于价值模型的 RL，结合长度自适应 GAE 和 token 级裁剪；在 AIME 2024 上超越无价值模型的 GRPO 方法，且训练稳定。
  • ThinkPRM (2025) - 生成式过程奖励模型，可逐步生成思维链验证；仅用 1% 的监督标签便达到判别式 PRM 的水平。
  • OpenThoughts (2025) - 针对开放推理模型数据方案的 1000 多项受控实验；在 AIME 2025 上达到最先进水平，媲美闭源蒸馏基线。

长上下文与替代架构

Section titled “长上下文与替代架构”
  • Mamba 和 Mamba-2 - 选择性状态空间模型，是线性时间处理长上下文的注意力替代方案。
  • RWKV - 可扩展至大参数规模的 RNN-Transformer 混合架构。
  • Jamba (2024) - Mamba、Transformer 和 MoE 混合架构。
  • RoPE 和 YaRN - 旋转位置嵌入和上下文长度扩展方法。
  • Position Interpolation - 只需少量微调即可扩展上下文窗口。
  • Lost in the Middle - NLP 任务中长上下文性能退化的模式。
  • RAG vs Long-Context LLMs (2024) - 比较长输入问答的不同方案及其权衡。
  • Titans: Learning to Memorize at Test Time (2025) - 神经长期记忆模块，可在测试时学习记忆历史上下文；扩展至 200 万 token 以上，在语言建模和推理上优于 Transformer 及现代线性循环模型。
  • MiniMax-01 (2025) - 4560 亿参数的混合模型，结合闪电（线性）注意力和稀疏 softmax 注意力；推理上下文最长可达 400 万 token，NLP 表现媲美 GPT-4o。
  • Native Sparse Attention (NSA) (2025) - 可训练的稀疏注意力，结合粗粒度压缩与细粒度选择；在 64K 上下文下大幅提速，且 NLP 基准性能不降。
  • LongRoPE2 (2025) - 发现高频 RoPE 维度训练不足，并采用进化搜索重新缩放；仅用 Meta 方案 1/80 的训练 token 数，即将 LLaMA3-8B 扩展到 128K。
  • Characterizing SSM and Hybrid LM Long-Context Performance (2025) - 首次全面分析最长达 22 万 token 的 Transformer、SSM 和混合模型的内存与速度；SSM 最快可提升 4 倍，混合模型则平衡召回率与效率。

事实性、幻觉与校准

Section titled “事实性、幻觉与校准”
  • Survey of Hallucination in Natural Language Generation - 幻觉分类法与缓解策略综述。
  • TruthfulQA - 问答真实性基准。
  • FActScore - 长文本生成的细粒度事实准确度评估。
  • LongFact / SAFE (2024) - 长文本事实性基准及搜索增强评估器。
  • SelfCheckGPT - 基于采样的幻觉检测。
  • RAGAS - 无需参考答案即可评估 RAG 和问答流水线。
  • Lookback Lens (2024) - 基于注意力模式检测长上下文生成中的幻觉。
  • Calibration of LLMs on Multiple Choice (2024) - 分析格式影响下的校准能力。
  • HalluLens (2025) - 幻觉基准，采用外部/内部分类法并动态重建测试集以抵御数据泄漏。
  • Atomic Calibration (2025) - 分析长文本生成的声明级校准；模型对扩展输出的校准明显不如对单条声明的校准。
  • FRANQ (2025) - 面向 RAG 事实核查、考虑忠实度的不确定性量化方法；形式化区分忠实度和事实性。
  • MUCH (2025) - 涵盖英语、法语、西班牙语和德语的多语言声明幻觉基准，并公开 token 级 logits，以支持规范的不确定性量化评估。
  • HalluHard (2026) - 要求回答附带引文的高难度多轮幻觉基准；即使使用网络搜索，幻觉率仍约为 30%。
  • CURE: Think Through Uncertainty (2026) - 训练模型在生成前推理声明级不确定性；在传记事实性和 FactBench AUROC 上取得显著提升。

探测与可解释性

Section titled “探测与可解释性”

高效与小型语言模型

Section titled “高效与小型语言模型”

蒸馏与小型模型：

  • DistilBERT 和 MiniLM - 面向生产 NLP 的蒸馏编码器。
  • Phi-3 / Phi-4 (Microsoft，2024) - 使用精选数据训练的小型模型，在 NLP 基准上的表现可与大得多的模型竞争。
  • SmolLM2 (HuggingFace，2025) - 完全开放的小型语言模型系列，训练数据可复现。
  • SmolLM3 (HuggingFace，2025) - 完全开放的 30 亿参数解码器，在 11.2 万亿 token 上预训练，采用 NoPE 和 YaRN 支持 128K 上下文；性能可与 40 亿参数级模型竞争。
  • Gemma 3 Technical Report (Google，2025) - 参数量为 1B-27B 的开放模型，采用较高的局部/全局注意力比例，使 128K 上下文下的 KV 缓存仍可控。
  • Qwen3 Technical Report (Alibaba，2025) - 参数量为 0.6B-235B 的稠密和 MoE 模型，统一支持思考/非思考模式；30B-A3B MoE 仅激活 30 亿参数，性能便可媲美更大的稠密模型。
  • Apple Intelligence Foundation Language Models (Apple，2025) - 端侧 30 亿参数模型，通过 KV 缓存共享和 2 位 QAT，将缓存内存减少 37.5% 且不损失准确率。
  • Sentence-Transformers - 通过孪生 BERT 生成句子和段落嵌入。
  • SetFit - 无需提示的少样本文本分类。
  • FastFit - 适用于多类别场景的快速少样本分类。
  • GTE、BGE 和 Stella - 在 MTEB 上名列前茅的紧凑型文本嵌入模型。

量化与服务（大规模部署 NLP 模型时值得关注）：

  • GPTQ - Transformer 的训练后量化方法。
  • AWQ - 感知激活值的权重量化。
  • KVTuner (ICML 2025) - 感知敏感度的逐层混合精度 KV 缓存量化；相比统一 KV8，吞吐量最高提升 21%。
  • GGUF / llama.cpp - 可移植的量化推理工具。
  • vLLM - 基于 PagedAttention 的高吞吐语言模型服务。
  • SGLang - 结构化生成和高效服务框架。
  • Text Generation Inference (TGI) - Hugging Face 面向生产环境的语言模型服务。

参数高效微调：

  • LoRA 和 QLoRA - 低秩适配器和量化微调方法，是在普通硬件上将语言模型适配到 NLP 任务的标准方案。
  • DoRA (2024) - 权重分解低秩适配方法。
  • PEFT - HuggingFace 库，整合 LoRA、前缀调优、IA3 等方法。

指令微调与偏好优化

Section titled “指令微调与偏好优化”
  • FLAN - 将微调后的语言模型用作零样本学习器。
  • InstructGPT - 通过人工反馈训练语言模型遵循指令。
  • Self-Instruct - 利用语言模型自举生成指令数据。
  • Super-NaturalInstructions - 包含 1600 多项带指令的 NLP 任务。
  • Constitutional AI - 根据书面准则并利用 AI 生成的反馈训练语言模型。
  • Direct Preference Optimization - RLHF 的更简单替代方法，已得到广泛采用。
  • Tülu 3 (AI2，2024) - 完全开放的后训练方案，在开放模型中取得最先进成果。
  • LIMA - “对齐领域少即是多”；少量高质量 SFT 数据也能带来显著效果。
  • TRL - SFT、DPO、GRPO 和 RLHF 的参考库。
  • Magpie (2024-2025) - 只需对齐后的语言模型提示即可合成高质量指令-回答对；在筛选后的子集上进行 SFT，效果可媲美官方 Llama-3-Instruct。

NLP 中的偏见、公平性与安全

Section titled “NLP 中的偏见、公平性与安全”
  • StereoSet - 测量预训练语言模型中的刻板印象偏见。
  • CrowS-Pairs - 测量掩码语言模型中的社会偏见。
  • WinoBias - 共指消解中的性别偏见。
  • HolisticBias - 跨多个人口统计维度测量偏见。
  • RealToxicityPrompts - 语言模型生成内容中的毒性。
  • Sycophancy in Language Models - 模型迎合用户观点调整回答的现象。
  • Alignment Faking in Large Language Models (Anthropic，2024) - 模型在训练期间策略性服从的现象。
  • WildGuard (2024) - 开放的安全审核模型及基准。
  • Emergent Misalignment (2025) - 针对狭窄任务（不安全代码）微调，意外导致无关领域广泛出现对齐失败。
  • SafeDialBench (2025) - 多语言（中英）安全基准，涵盖 22 种场景、7 种越狱策略下的 4000 多段多轮对话。
  • TeleAI-Safety (2025) - 模块化越狱评估框架，整合 19 种攻击、29 种防御和 19 种评估方法，覆盖 14 个模型及 12 类风险。
  • IndicSafe (2026) - 覆盖 12 种印度语言的多语言安全基准；揭示跨语言一致率为 12.8%，且低资源文字系统中过度拒绝更常见。
  • VLAF: Value-Conflict Alignment Faking (2026) - 当策略与内化价值观冲突时，低至 70 亿参数的模型也会在 37% 的案例中伪装对齐；引导向量缓解方法可将其降低 94%。

各语言的 NLP

Section titled “各语言的 NLP”

返回顶部

按人类语言组织的资源。点击章节可展开。

阿拉伯语 NLP

Section titled “阿拉伯语 NLP”

返回顶部

库

Section titled “库”
  • CAMeL Tools - 阿拉伯语 NLP 的 Python 工具包，包括方言识别、形态分析和 NER。
  • goarabic - 用于阿拉伯语文本处理的 Go 包。
  • jsastem - JavaScript 阿拉伯语词干提取器。
  • PyArabic - 阿拉伯语 Python 库。
  • RFTokenizer - 可训练的阿拉伯语、希伯来语和科普特语切分器。
  • Farasa - QCRI 的阿拉伯语切分、词性标注和 NER 工具。

模型与嵌入

Section titled “模型与嵌入”
  • AraBERT - 阿拉伯语 BERT 系列。
  • CAMeLBERT - 面向现代标准阿拉伯语、方言和古典阿拉伯语的 BERT 模型。
  • AraELECTRA - 高效的阿拉伯语预训练模型（与 AraBERT 一同发布）。
  • Jais (2023-2024) - 阿拉伯语-英语双语开放语言模型系列。
  • ALLaM (SDAIA，2024) - 以阿拉伯语为主的基础模型。

数据集

Section titled “数据集”

中文 NLP

Section titled “中文 NLP”

返回顶部

库

Section titled “库”
  • jieba - 中文分词 Python 包。
  • SnowNLP - 中文 NLP Python 包。
  • FudanNLP - 中文文本处理 Java 库。
  • HanLP - 多语言 NLP 库，对中文提供强力支持。
  • LTP - 哈工大语言技术平台：分词、词性标注、NER 和句法分析。

模型与嵌入

Section titled “模型与嵌入”
  • Chinese-BERT-wwm - 面向中文的全词掩码 BERT。
  • MacBERT - 采用“MLM 即纠错”预训练改进的中文 BERT。
  • Qwen 2.5 / Qwen 3 - Alibaba 开发的开放模型系列，中文能力突出。
  • ChatGLM3 / GLM-4 - 清华大学开发的中英双语语言模型。
  • Baichuan 2 - 开放的中文语言模型。
  • Yi - 01.AI 开发的开放双语语言模型。
  • DeepSeek-V3 - 高效的开放 MoE 模型，中文能力突出。

论文集

Section titled “论文集”
  • funNLP - 大量中文 NLP 工具和资源合集。

丹麦语 NLP

Section titled “丹麦语 NLP”

返回顶部

荷兰语 NLP

Section titled “荷兰语 NLP”

返回顶部

  • python-frog - Frog 的 Python 绑定；Frog 是荷兰语 NLP 套件，支持词性标注、词形还原、依存句法分析和 NER。
  • SimpleNLG_NL - 基于 SimpleNLG 实现、用于自然语言生成的荷兰语表层实现器。
  • Alpino - 荷兰语依存句法解析器（也支持词性标注和词形还原）。
  • Kaldi NL - 基于 Kaldi 的荷兰语语音识别模型。
  • spaCy Dutch model - 配备荷兰语流水线的工业级 NLP 工具。

德语 NLP

Section titled “德语 NLP”

返回顶部

  • German-NLP - 精选以德语为重点开发的开放获取、开源和现成资源与工具。

匈牙利语 NLP

Section titled “匈牙利语 NLP”

返回顶部

印度语言 NLP

Section titled “印度语言 NLP”

返回顶部

数据、语料库与树库

Section titled “数据、语料库与树库”

需要登录/访问权限的数据集可通过电子邮件申请

Section titled “需要登录/访问权限的数据集可通过电子邮件申请”

语言模型与词嵌入

Section titled “语言模型与词嵌入”

库与工具

Section titled “库与工具”

模型与嵌入

Section titled “模型与嵌入”
  • IndicBERT v2 (2022-2024) - 面向 23 种印度语言的多语言 BERT。
  • IndicTrans2 (2023-2024) - 支持 22 种印度语言的高质量机器翻译。
  • OpenHathi (Sarvam AI，2023) - 延续训练的印地语-英语双语 LLaMA。
  • Airavata (2024) - 经指令微调的印地语大语言模型。
  • Sarvam-1 (2024) - 从头开始在 10 种印度语言上训练的多语言语言模型。
  • BharatGPT / Krutrim (2024) - 面向印度语言的基础模型。

印度尼西亚语 NLP

Section titled “印度尼西亚语 NLP”

返回顶部

库与嵌入

Section titled “库与嵌入”

模型

Section titled “模型”
  • IndoBERT (IndoNLU) - 带有 IndoNLU 基准套件的印尼语预训练语言模型。
  • IndoBERT (IndoLEM) - 配套 IndoLEM 基准的另一种 IndoBERT 模型。
  • NusaCrowd / Cendol (2023-2024) - 大规模社区数据集，以及面向印度尼西亚语和区域语言的 Cendol 指令微调模型。
  • Sailor - 覆盖印度尼西亚语的开放东南亚语言模型。
  • SEA-LION (2024) - Singapore AI 推出的开放东南亚语言模型，印度尼西亚语能力突出。

数据集

Section titled “数据集”

韩语 NLP

Section titled “韩语 NLP”

返回顶部

库

Section titled “库”
  • KoNLPy - 韩语自然语言处理 Python 包。
  • Mecab (Korean) - 韩语 NLP C++ 库。
  • KoalaNLP - 韩语 NLP Scala 库。
  • KoNLP - 韩语 NLP 的 R 包。
  • kss - 韩语句子切分器。
  • Kiwi - 快速韩语形态分析器。
  • Garu - 原生运行于浏览器的韩语形态分析器，通过 WebAssembly 完全在客户端运行（1MB 模型、支持离线、MIT 许可）。

模型与嵌入

Section titled “模型与嵌入”

博客与教程

Section titled “博客与教程”

数据集

Section titled “数据集”

波斯语 NLP

Section titled “波斯语 NLP”

返回顶部

库

Section titled “库”
  • Hazm - 波斯语 NLP 工具包。
  • Parsivar - 波斯语处理工具包。
  • Perke - 波斯语关键词短语抽取工具。
  • Perstem - 波斯语词干提取器、形态分析器和部分词性标注器。
  • ParsiAnalyzer - Elasticsearch 的波斯语分析器。
  • virastar - 波斯语文本清理工具。

模型

Section titled “模型”
  • ParsBERT - 波斯语 BERT。
  • PersianMind (2023-2024) - 经波斯语指令微调的语言模型。
  • Dorna (Part AI，2024) - 基于 Llama-3 的波斯语指令模型。

数据集

Section titled “数据集”

波兰语 NLP

Section titled “波兰语 NLP”

返回顶部

  • Polish-NLP - 精选波兰语 NLP 资源列表，涵盖模型、工具和数据集。

葡萄牙语 NLP

Section titled “葡萄牙语 NLP”

返回顶部

模型

Section titled “模型”
  • BERTimbau - 巴西葡萄牙语 BERT。
  • Sabiá (Maritaca AI，2023-2024) - 面向葡萄牙语的开放语言模型。
  • Albertina (PORTULAN，2023-2024) - 面向欧洲葡萄牙语和巴西葡萄牙语的仅编码器语言模型。

西班牙语 NLP

Section titled “西班牙语 NLP”

返回顶部

库

Section titled “库”
  • spanlp - 使用来自 21 个西班牙语国家的数据，检测、屏蔽和清理西班牙语中的粗俗言论、仇恨言论和霸凌内容的 Python 库。

数据

Section titled “数据”

模型与嵌入

Section titled “模型与嵌入”

泰语 NLP

Section titled “泰语 NLP”

返回顶部

库

Section titled “库”
  • PyThaiNLP - 使用 Python 进行泰语 NLP。
  • JTCC - Java 字符簇库。
  • CutKum - 使用 TensorFlow 深度学习进行分词。
  • Thai Language Toolkit - 分词与词性标注。
  • SynThai - 使用深度学习进行分词和词性标注。

模型

Section titled “模型”
  • WangchanBERTa - 泰语预训练语言模型。
  • Typhoon (SCB 10X，2024) - 开放的泰语大语言模型系列。
  • OpenThaiGPT (2023-2024) - 开放的泰语指令微调模型。
  • Sailor - 覆盖泰语的开放东南亚语言模型系列。

数据

Section titled “数据”

乌克兰语 NLP

Section titled “乌克兰语 NLP”

返回顶部

乌尔都语 NLP

Section titled “乌尔都语 NLP”

返回顶部

库

Section titled “库”

数据集

Section titled “数据集”

乌兹别克语 NLP

Section titled “乌兹别克语 NLP”

返回顶部

数据集

Section titled “数据集”

越南语 NLP

Section titled “越南语 NLP”

返回顶部

库

Section titled “库”
  • underthesea - 越南语 NLP 工具包。
  • vn.vitk - 越南语文本处理工具包。
  • VnCoreNLP - 越南语 NLP 工具包。
  • pyvi - 越南语核心 NLP Python 工具包。
  • VieNeu-TTS - 端侧越南语文本转语音工具，支持语音克隆。

模型与嵌入

Section titled “模型与嵌入”
  • PhoBERT - 越南语预训练语言模型。
  • BARTpho - 越南语 seq2seq 预训练模型。
  • PhoGPT (VinAI，2023-2024) - 越南语开放生成式语言模型。
  • Vistral (2024) - 基于 Mistral 的越南语聊天模型。
  • Sailor (2024) - 开放多语言模型系列，覆盖越南语、泰语、印度尼西亚语及其他东南亚语言。

数据

Section titled “数据”
  • Vietnamese Treebank - 用于成分句法分析任务的 1 万个句子。
  • BKTreeBank - 越南语依存树库。
  • UD_Vietnamese - 越南语 Universal Dependencies 树库。
  • VIVOS - 免费越南语语音语料，包含 15 小时录音（HCMUS AILab）。
  • VNTQcorpus(big).txt - 175 万条新闻句子。
  • ViText2SQL - 越南语 Text-to-SQL 语义解析数据集（EMNLP-2020 Findings）。
  • EVB Corpus - 包含 15 本双语书籍的 2000 万词、100 篇英越平行文本、250 篇法律平行文本、5000 篇新闻文章和 2000 条电影字幕。

其他语言

Section titled “其他语言”
  • 俄语：pymorphy2 - 优秀的俄语词性标注器。
  • 亚洲语言：泰语、老挝语、中文、日语和韩语 ICU Tokenizer 在 ElasticSearch 中的实现。
  • 古代语言：CLTK：古典语言工具包，是用于古代语言 NLP 的 Python 库和文本合集。
  • 希伯来语：NLPH_Resources - 希伯来语 NLP 论文、语料库和语言资源合集。

返回顶部

另请参阅

Section titled “另请参阅”

以下精选列表涵盖本列表范围之外的相关主题：

引用

Section titled “引用”

如果此仓库对你有帮助，请考虑引用此列表：

@misc{awesome-nlp,
  title  = {Awesome NLP},
  author = {Kim, Keon Woo},
  year   = {2018},
  url    = {https://github.com/keon/awesome-nlp},
  note   = {GitHub repository}
}

许可

Section titled “许可”

许可 - CC0

HagiCode

HagiCode 是面向项目开发的 AI 编码工作台：丰富、便捷的界面交互让规划、Agent 执行与项目工作更容易上手和跟进，带来更投入的开发体验。

丰富、便捷的界面交互，让规划、Agent 执行与项目工作更容易上手和跟进。

访问 HagiCode阅读文档
  • 智能OpenSpec 工作流把意图转化为从提案、设计、任务到交付的可执行路径。
  • 高效多 Agent 并行推进调研、实现与审阅，并支持多仓库变更和你熟悉的 Agent CLI。
  • 有趣丰富、便捷的界面交互让规划、Agent 执行与项目工作更容易上手和跟进，带来更投入的开发体验。

下载 Windows 版

从 Microsoft Store 获取全部下载

让想法变成真正交付的软件。

HagiCode 是面向项目开发的 AI 编码工作台：用 OpenSpec 工作流规划变更，多 Agent 并行执行，再由 Hero Scenario 让进度一目了然，把想法变成真正交付的软件。

下载 HagiCode产品文档
智能
OpenSpec 工作流把意图变成从提案到交付的可执行路径。
高效
多 Agent 并行推进调研、实现与审阅。
有趣
丰富、便捷的界面交互，让规划、Agent 执行和项目工作更容易跟进。

© 2026 HagiCode | Powered By hagilight-starlight@0.21.0 | Branch: main | Commit: 745b50b | Built:

离开 Awesome Site？

你即将访问外部网站。我们无法控制其内容或隐私惯例。

目标地址

继续访问网站