Skip to content

Select language

目前語言: 繁體中文

NLP

Source: https://github.com/keon/awesome-nlp at ab3dbd7d8160
License: CC0-1.0
Read the English original

This edition is an AI-assisted translation.

Awesome


由 Atlas Cloud 贊助

Atlas Cloud

AI API 彙整平台,提供相容 OpenAI 的 LLM 端點,支援翻譯、摘要、多語言生成及結構化擷取等 NLP 任務。


自然語言處理相關資源精選清單。

貢獻前請閱讀貢獻指南。歡迎透過提交提取要求新增你喜愛的 NLP 資源。

本清單涵蓋自然語言處理,包括語言學分析、多語言工具、傳統與神經方法、資料集及評估。僅收錄能推進或評估核心 NLP 任務或能力(分詞、多語言能力、機器翻譯、摘要、命名實體辨識、問答、事實性、探測、蒸餾)的大型語言模型。通用聊天機器人、代理程式架構、提示範本儲存庫、程式碼生成工具及 RAG 應用入門套件收錄於其他清單——請參閱另請參閱。

追蹤 NLP 最新研究的管道:

回到頂端

回到頂端

通用機器學習

NLP 入門與指南

部落格與電子報

回到頂端

回到頂端

  • Node.js 與 JavaScript - Node.js 的 NLP 程式庫 | 回到頂端

    • Twitter-text - Twitter 文字處理程式庫的 JavaScript 實作。
    • Knwl.js - 以 JS 撰寫的自然語言處理器。
    • Retext - 用於分析及操作自然語言的可擴充系統。
    • NLP Compromise - 在瀏覽器中進行自然語言處理。
    • Natural - Node.js 的通用自然語言處理功能。
    • Poplar - 網頁式自然語言處理(NLP)標註工具。
    • NLP.js - 用於建置機器人的 NLP 程式庫。
    • node-question-answering - Node.js 中快速且適合正式環境使用的 DistilBERT 問答功能。
  • Python - Python NLP 程式庫 | 回到頂端

    • sentimental-onix 使用 ONNX 的 spaCy 情感分析模型。
    • TextAttack - NLP 對抗攻擊、對抗式訓練與資料增強。
    • TextBlob - 提供一致的 API,方便處理常見自然語言處理(NLP)任務。此程式庫奠基於 Natural Language Toolkit (NLTK) 和 Pattern,並能與兩者良好整合 :+1:
    • spaCy - 具備工業級效能的 Python 與 Cython NLP 程式庫 :+1:
      • textacy - 建構於 spaCy 之上的高階 NLP 工具。
    • gensim - 使用純文字執行非監督式語意建模的 Python 程式庫 :+1:
    • scattertext - 產生 d3 視覺化圖表,比較不同語料庫語言差異的 Python 程式庫。
    • GluonNLP (已封存) - 以 MXNet/Gluon 建置的 NLP 深度學習工具組。
    • AllenNLP (已封存) - 以 PyTorch 建置的 NLP 研究程式庫,可開發適用於多種語言任務的最先進深度學習模型。
    • PyTorch-NLP - NLP 研究工具組,透過更完善的資料載入器、詞向量載入器、神經網路層表示,以及 BLEU 等常見 NLP 指標,支援快速原型開發。
    • Rosetta - 文字處理工具及包裝程式(例如 Vowpal Wabbit)。
    • PyNLPl - Python 自然語言處理程式庫。通用的 Python NLP 程式庫,可處理 ARPA 語言模型、Moses 短語表、GIZA++ 對齊等特定格式。
    • foliapy - 用於處理 FoLiA 的 Python 程式庫;FoLiA 是一種語言學標註用的 XML 格式。
    • PySS3 - 實作 SS3 白箱文字分類器的 Python 套件,並附有可解釋預測結果的互動式視覺化工具。
    • jPTDP - 詞性(POS)標註與依存句法分析的聯合工具組,提供 40 多種語言的預訓練模型。
    • BigARTM - 快速主題建模程式庫。
    • Snips NLU - 可用於正式環境的意圖解析程式庫。
    • Chazutsu - 下載及解析標準 NLP 研究資料集的程式庫。
    • Word Forms - 可準確產生英文單字所有可能詞形的工具。
    • Multilingual Latent Dirichlet Allocation (LDA) - 多語言且可擴充的文件分群管線。
    • Natural Language Toolkit (NLTK) - 提供各類 NLP 功能並支援 50 多種語料庫的程式庫。
    • NLP Architect - 探索 NLP 與 NLU 最先進深度學習架構及技術的程式庫。
    • Flair - 以 PyTorch 建置、簡單易用的最先進多語言 NLP 框架,包含 BERT、ELMo 和 Flair 嵌入。
    • Kashgari - 簡單且以 Keras 為基礎的多語言 NLP 框架,可在五分鐘內建置命名實體辨識(NER)、詞性標註(PoS)和文字分類模型,並包含 BERT 與 word2vec 嵌入。
    • FARM - 快速簡便的 NLP 遷移學習工具,將語言模型應用於產業,專注於問答。
    • Haystack - 端對端 Python 框架,用於建置資料自然語言搜尋介面。運用 Transformers 與 NLP 最新技術,支援 DPR、Elasticsearch、HuggingFace Modelhub 等。
    • Rita DSL - 一種參考 Apache UIMA 上的 RUTA 的 DSL,可定義語言模式(規則式 NLP),再轉換為 spaCy 或較精簡輕量的正規表示式模式。
    • Transformers - 適用於 TensorFlow 2.0 與 PyTorch 的自然語言處理程式庫。
    • Tokenizers - 為研究與正式環境最佳化的分詞器。
    • fairSeq Facebook AI Research 的 PyTorch 最先進 seq2seq 模型實作。
    • corex_topic - 僅需極少領域知識的階層式主題建模。
    • Sockeye - Amazon Translate 所採用的神經機器翻譯(NMT)工具組。
    • DL Translate - 以 transformers 和 Facebook mBART Large 建置、支援 50 種語言的深度學習翻譯程式庫。
    • Jury - 提供多種自動化指標來評估 NLP 模型輸出。
    • python-ucto - 適用於多種語言、支援 Unicode 並以正規表示式為基礎的分詞器。這是 C++ 程式庫的 Python 綁定,並支援 FoLiA 格式。
    • Pearmut - 多語言 NLP 任務(例如機器翻譯)的人工作業標註工具。
    • Stanza - Stanford NLP 的 Python 工具組,可在 70 多種語言中執行分詞、詞性標註、詞形還原、依存句法分析與 NER。
    • Sentence-Transformers - 句子/文件嵌入、語意搜尋與重新排序;目前檢索式 NLP 的標準工具。
    • Argilla - 用於 LLM 與 NLP 資料集的開源資料標註及回饋蒐集平台。
    • HuggingFace Datasets - 為數千種 NLP 資料集提供標準化載入器與處理功能。
    • HuggingFace Evaluate - NLP 評估指標的參考實作。
    • sacrebleu - 機器翻譯可重現的 BLEU/chrF/TER 評分工具。
    • COMET - 基於學習的 MT 評估指標,目前事實上的標準。
    • LangTest - 超過 60 種測試類型,用於評估 NLP 模型的穩健性、偏見與公平性。
    • yasbd-lib - 高準確度的規則式句子邊界偵測器(SBD),可直接替代 pysbd,支援串流 API、CLI,以及涵蓋 39 種以上語言的 spaCy 元件。

提供 NER、主題標記等高階功能的 NLP API | 回到頂端

  • Wit-ai - 適用於應用程式與裝置的自然語言介面。
  • IBM Watson’s Natural Language Understanding - API 與 GitHub 示範。
  • Amazon Comprehend - 涵蓋 NER、標註和情感分析等常見任務的 NLP 與 ML 工具套件。
  • Google Cloud Natural Language API - 支援至少九種語言(包括英文、簡體中文與繁體中文)的句法分析、NER、情感分析及內容標註。
  • ParallelDots - 涵蓋情感分析至意圖分析等功能的高階文字分析 API 服務。
  • Microsoft Cognitive Service
  • TextRazor
  • Rosette
  • Textalytic - 在瀏覽器中執行自然語言處理,提供情感分析、命名實體擷取、POS 標註、詞頻統計、主題建模、文字雲等功能。
  • NLP Cloud - 透過 RESTful API 提供 spaCy 自訂及預訓練 NLP 模型,支援命名實體辨識(NER)、POS 標註等功能。
  • Cloudmersive - 免費整合式 NLP API,可執行語音標註、文字改寫、語言翻譯/偵測及句子剖析等操作。
  • GATE - General Architecture and Text Engineering 已發展超過 15 年,免費且開源。
  • Anafora 是免費開源的網頁式原始文字標註工具。
  • brat - brat 快速標註工具是用於協作文字標註的線上環境。
  • doccano - doccano 免費且開源,提供文字分類、序列標註及序列轉序列標註功能。
  • INCEpTION - 提供智慧輔助與知識管理功能的語意標註平台。
  • prodigy 是以主動式學習為核心的標註工具,需付費。
  • LightTag - 為團隊代管及管理的文字標註工具,需付費。
  • rstWeb - 用於語篇樹標註的開源本機或線上工具。
  • GitDox - 開源伺服器標註工具,支援 GitHub 版本控制、XML 資料驗證及協作試算表格。
  • Datasaur 支援個人或團隊使用多種 NLP 任務,採免費增值模式。
  • Konfuzio - 以團隊為先、採主動式學習的代管及地端文字、影像與 PDF 標註工具,提供免費增值方案,亦有付費功能。
  • UBIAI - 易於使用的團隊文字標註工具,具備完整的自動標註功能。支援 NER、關係與文件分類,以及發票標記的 OCR 標註,需付費。
  • Shoonya - 免費開源的資料標註平台,提供多樣的組織及工作區管理功能。Shoonya 不限定資料類型,團隊可大規模使用多階段驗證流程進行資料標註。
  • Annotation Lab - 免費、端對端、無程式碼的文字標註及深度學習模型訓練/微調平台。開箱即支援 Spark NLP 模型的命名實體辨識、分類、關係擷取與斷言狀態標註;使用者、團隊、專案及文件數量不限。非自由開源軟體。
  • FLAT - 以 FoLiA 格式 為基礎的網頁式語言學標註環境;FoLiA 是豐富的 XML 語言學標註格式。免費且開源。
  • Argilla - 開源平台,可蒐集人工回饋、建置 NLP 與 LLM 資料集,並整理偏好資料。
  • Label Studio - 開放核心的多模態標記平台,廣泛用於 NLP 標註。
  • Potato - 免費開源標註工具,涵蓋 21 種以上任務(分類、片段、共指、實體連結、代理程式追蹤評估),內建 MACE 品質控管、注意力檢查、AI 輔助標註,以及 300 多種範例任務。

依語言學問題整理 NLP 任務。各子章節先列出基礎/傳統研究,再列出神經網路方法,並視情況介紹 LLM 方法。現代語言模型專題研究(預訓練、評估、檢索、推理等)請參閱 NLP 語言模型。

回到頂端

靜態詞嵌入(基礎方法):

上下文嵌入:

  • ELMo - 深度上下文化詞彙表示。
  • CoVe - 從機器翻譯中學得的上下文化向量。
  • ULMFiT - 用於文字分類的語言模型微調。
  • InferSent - 從自然語言推論(NLI)取得的句子表示。

現代句子與文件嵌入:最新排行榜請參閱 NLP 檢索(Sentence-Transformers、E5、BGE-M3、Nomic、GritLM)及 MTEB。

回到頂端

  • SentencePiece - 不依賴特定語言的子詞分詞器。

  • BPE 與 Unigram LM - 兩種主流子詞切分方法。

  • Stanza - 支援 70 多種語言的分詞、詞形還原與形態分析。

  • UDPipe - 適用於 Universal Dependencies 的分詞、標註、詞形還原與剖析工具。

  • Morfessor - 非監督式形態切分工具。 分詞器研究與架構(另請參閱語言模型):

  • Byte-Pair Encoding (Sennrich et al.) - 神經機器翻譯的子詞單位,也是現代分詞器的基礎。

  • SentencePiece - 不依賴語言的子詞分詞(BPE 與 Unigram)。

  • Tokenizers - 以 Rust 快速實作 BPE、WordPiece 與 Unigram。

  • ByT5 - 不需分詞器的位元組層級模型。

  • CANINE - 直接處理 Unicode 字元、不需分詞的編碼器。

  • How Good is Your Tokenizer? - 比較不同語言的分詞器公平性。

  • Byte Latent Transformer (BLT) (Meta,2024) - 動態位元組層級切塊,在大規模下可媲美採用 BPE 分詞的模型,讓免分詞器方向重新受到關注。

  • SuperBPE (2025) - 超詞分詞方法,在下游任務上的表現優於 BPE。

  • Over-Tokenized Transformer (ICML 2025) - 分離輸入與輸出詞彙表,顯示輸入詞彙表大小與訓練損失呈對數線性關係,並可不受模型大小限制地擴展詞彙表。

  • Foundations of Tokenization (ICLR 2025) - 首個以隨機映射範疇論建立分詞器模型的形式化統一框架,並提出統計一致性的條件。

  • The Token Tax: Systematic Bias in Multilingual Tokenization (2025) - 量化分詞膨脹率如何預測跨語言模型準確度,揭示形態複雜及低資源語言所承受的結構性成本懲罰。

  • Reducing Tokenization Premiums for Low-Resource Languages (2026) - 事後擴增詞彙表,將低資源語言中多詞元字元序列合併,在不重新訓練的情況下降低推論成本。

回到頂端

回到頂端

基礎與神經網路方法:

開放式與指令遵循資訊擷取:

  • Universal NER - 經指令微調、支援跨語言開放集合 NER 的語言模型。
  • GLiNER (2023) - 小型通用 NER 模型,可在推論時處理任意實體類型。
  • GoLLIE - 使用語言模型依循指引進行資訊擷取。
  • REBEL - 以 seq2seq 方式端對端擷取關係。

以 LLM 為基礎:

回到頂端

回到頂端

回到頂端

回到頂端

回到頂端

統計式與基礎神經網路方法:

  • Moses - 具代表性的統計式機器翻譯系統。
  • Attention Is All You Need - Transformer 論文,重新定義了整個領域。
  • Marian NMT - 高效率的 C++ 神經機器翻譯框架。
  • Fairseq - PyTorch 序列建模工具組。

大規模多語言模型:

  • NLLB-200 - 支援 200 種語言的機器翻譯。
  • MADLAD-400 - 支援 400 多種語言的機器翻譯。
  • SeamlessM4T - 支援 100 多種語言的語音與文字機器翻譯。

評估:

  • COMET - 基於學習的 MT 指標,目前與 chrF 並列事實上的標準。
  • sacrebleu - 可重現的 BLEU/chrF/TER 評分。
  • BERTScore - 基於相似度的生成評估指標。

以 LLM 為基礎:

回到頂端

資料集與基礎系統:

現代開放領域問答:

  • DPR 與 FiD - 先檢索再閱讀;LLM 出現前的標準開放領域問答管線。
  • Atlas - 用於少樣本問答的檢索增強語言模型。
  • 另請參閱 NLP 檢索。

LLM 時代:

回到頂端

回到頂端

密集檢索與晚期互動檢索,日益成為問答與資訊檢索(IR)的基礎:

  • DPR (Dense Passage Retrieval) - 雙編碼器檢索基準。

  • ColBERT 與 ColBERTv2 - 晚期互動檢索,在領域外資料上表現優異。

  • E5 與 E5-Mistral - 廣泛使用的密集嵌入系列。

  • BGE 與 BGE-M3 (2024) - 多語言、多功能嵌入,在各語言的 MTEB 評比中名列前茅。

  • Nomic Embed (2024) - 完全開放且可重現的嵌入模型。

  • Matryoshka Representation Learning - 支援推論時調整維度的巢狀嵌入。

  • GritLM (2024) - 以單一模型統一生成與嵌入。

  • RAG (Retrieval-Augmented Generation) - 最初的檢索增強框架,是現代問答管線的基礎。

  • Gemini Embedding (2025) - 以 Gemini 為基礎的密集嵌入,在涵蓋 250 多種語言的 MMTEB 與跨語言檢索(XOR-Retrieve、XTREME-UP)上達到最新技術成果。

  • Qwen3-Embedding (2025) - 建構於 Qwen3 的解碼器式嵌入系列(0.6B–8B),在 MTEB Multilingual 與 MTEB Code 排名第一,超越先前的專有模型。

  • Rank1 (2025) - 首個透過蒸餾 DeepSeek-R1 推理軌跡並採用測試時運算訓練的重新排序模型,在指令遵循與領域外檢索上達到最新技術成果。

  • ReasonEmbed (2025) - 針對密集推理檢索的嵌入模型,採用 ReMixer 資料合成及 Redapter 自適應訓練,在 BRIGHT 上創下 nDCG@10 38.1 的紀錄。

  • ColBERT-Att (2026) - 將查詢與文件的注意力權重整合至 ColBERT 評分,擴展晚期互動檢索;提升 MS-MARCO、BEIR 和 LoTTE 的召回率。 嵌入與檢索基準:

  • MMTEB (2025) - 社群將 MTEB 擴展至 250 多種語言、500 多項任務。

回到頂端

A 組簡要參考資源,因為此主題與相鄰領域有所重疊:

  • Whisper - 多語言 ASR;目前開源模型中的常用選擇。
  • SeamlessM4T - 統一的語音與文字翻譯。
  • Canary (NVIDIA,2024) - 頂尖開源多語言 ASR 模型。
  • FunASR - 工業級 ASR 工具組;GPU 上達即時速度的 170 倍,支援 50 多種語言,內建 VAD、標點、說話者分離及情緒偵測。包含非自回歸 SenseVoice 與以 LLM 為基礎的 Fun-ASR-Nano 模型。
  • Wav2Vec 2.0 - 自我監督式語音預訓練的基礎方法。
  • Coqui TTS 與 VieNeu-TTS - 開源 TTS。

回到頂端

資料集入口與清單:

預訓練規模語料庫(開放):

  • The Pile - 825 GiB 多樣化文字語料庫。
  • RedPajama / RedPajama-V2 (2023–2024) - 重製 LLaMA 預訓練資料;V2 含 30 兆詞元及品質指標。
  • Dolma (AI2,2023–2024) - 3 兆詞元的開放預訓練語料庫,並記錄資料篩選管線。
  • FineWeb / FineWeb-Edu (2024) - 15 兆詞元的清理後網頁語料庫;FineWeb-Edu 依教育品質篩選資料。
  • CulturaX - 涵蓋 167 種語言,共 6.3 兆詞元。
  • Common Corpus (2024) - 採開放授權、共 2 兆詞元的多語言語料庫。

任務與指令資料集:

回到頂端

  • UDPipe 是可訓練的管線,可為 Universal Treebanks 及其他 CoNLL-U 檔案進行分詞、標註、詞形還原與剖析。主要以 C++ 撰寫,為多語言 NLP 處理提供快速可靠的解決方案。
  • NLP-Cube : 自然語言處理管線,提供句子切分、分詞、詞形還原、詞性標註與依存句法分析。這套新平台以 Python 和 Dynet 2.0 撰寫,提供獨立執行方式(CLI/Python 綁定)及伺服器功能(REST API)。
  • UralicNLP 是一套 NLP 程式庫,主要支援多種瀕危烏拉爾語系語言,例如薩米語、莫爾多瓦語、馬里語、科米語等。也支援芬蘭語等非瀕危語言,以及瑞典語、阿拉伯語等非烏拉爾語系語言。UralicNLP 可進行形態分析、詞形生成、詞形還原與消歧。

回到頂端

此處收錄以 NLP 任務與語言現象為範圍的預訓練語言模型及相關研究。通用 LLM 工具、代理程式或 RAG 應用套件請參閱另請參閱。

編碼器(仍是傳統 NLP 任務的主力):

  • BERT - 雙向 Transformer 預訓練,是 2018 年以來多數編碼器式 NLP 研究的基礎。線上閱讀,提供章節導覽並附上 ACL 原文。
  • RoBERTa - 經穩健最佳化的 BERT 預訓練方式,是常用的編碼器基準。
  • DeBERTa / DeBERTa-v3 - 解耦注意力,在分類、NER、NLI 任務上表現優異。
  • ELECTRA - 以替換詞元偵測進行預訓練,樣本效率高。
  • ModernBERT (2024) - 現代化編碼器,採用旋轉嵌入、FlashAttention 與 8K 上下文;目前分類、NER、檢索任務的首選編碼器。
  • NeoBERT (2025) - 整合現代架構改良的 2.5 億參數編碼器(RoPE、4K 上下文、最佳化深寬比);在 MTEB 上達到最新技術水準,於相同微調條件下超越 ModernBERT 與 RoBERTa-large。

編碼器-解碼器與 seq2seq:

  • T5 與 FLAN-T5 - 將 NLP 任務統一為文字轉文字;效能強大的指令微調編碼器-解碼器基準。
  • BART - 去噪 seq2seq 預訓練,廣泛用於摘要與生成。

開放式純解碼器語言模型(作為 NLP 任務的基礎模型):

  • XLM-R - 在 CommonCrawl 上訓練、涵蓋 100 種語言的跨語言遮罩語言模型。
  • mT5 - 涵蓋 101 種語言的多語言 T5。
  • BLOOM - 1,760 億參數的開放多語言語言模型,涵蓋 46 種自然語言。
  • Aya 23 / Aya Expanse (Cohere For AI,2024) - 涵蓋 23 至 101 種語言的大規模多語言指令微調模型。
  • Glot500 - 涵蓋 500 多種語言、專注低資源語言的編碼器。
  • NLLB-200 - No Language Left Behind,支援 200 種語言的機器翻譯。
  • MADLAD-400 - 支援 400 多種語言的機器翻譯模型與 3 兆詞元多語言語料庫。
  • SeamlessM4T / Seamless (Meta,2023–2024) - 支援 100 多種語言的多語言、多模態語音與文字翻譯。
  • SEA-LION / SeaLLM (2024–2025) - 專為東南亞語言打造的語言模型。
  • Babel (2025) - 開放多語言 LLM(9B 與 83B),涵蓋使用人口最多的 25 種語言(約占全球語言使用者的 90%);在 XCOPA、XNLI、MGSM、FLORES-200 上超越規模相近的開放多語言模型。
  • Lugha-Llama (Princeton/Mila,2025) - 透過精選的 WURA 語料調適 Llama-3.1-8B,以支援非洲低資源語言;在 IrokoBench 與 AfriQA 創下開源模型最新成果。
  • AfriqueLLM (McGill,2026) - 一系列開放 LLM(4B–14B),使用涵蓋 20 種非洲語言的 260 億詞元持續預訓練,並附有完整的資料混合實證研究。
  • TranslateGemma (Google,2026) - 建構於 Gemma 3 的開放翻譯專用模型,透過 SFT、RL 與品質獎勵模型涵蓋 55 組語言配對。
  • MiLMMT-46 (Xiaomi,2026) - 擴展至 46 種語言的開放多語言機器翻譯,表現可媲美 Google Translate 與 Gemini 3 Pro 等商用系統。

NLU 與跨語言評估:

  • GLUE 與 SuperGLUE - 英文 NLU 基準。
  • XTREME 與 XGLUE - 跨語言 NLU。
  • XNLI - 涵蓋 15 種語言的跨語言自然語言推論。
  • FLORES-200 - 涵蓋 200 種語言的機器翻譯評估。
  • MTEB - 大規模文字嵌入基準;句子/文件編碼器的標準基準。
  • BEIR - 適用於檢索模型的異質資訊檢索基準。

現代語言模型評估(2023–2026):

  • HELM - 涵蓋 NLP 任務、準確度及更多面向的整體評估。
  • BIG-bench - 200 多項用於探測語言模型能力的任務。
  • MMLU - 涵蓋 57 個學科的多任務知識評估。
  • MMLU-Pro (2024) - 難度更高、鑑別力更強的 MMLU 後繼基準。
  • GPQA - 研究所程度的問答與「Google 無法解答」的推理評估。
  • REFUTE (2026) - 科學推理基準,評估以證據為本的批判、過度主張偵測、缺少證據時拒答及校準能力。
  • IFEval - 可驗證的指令遵循評估。
  • Chatbot Arena (LMSYS) - 依人類偏好排列聊天模型的 ELO 排行榜。
  • LiveBench (2024) - 每月更新、可抵抗資料污染的基準。
  • LM Evaluation Harness - 統一的語言模型基準評估框架。
  • MMLU-ProX (2025) - 將 MMLU-Pro 擴展為涵蓋 29 種類型多樣語言的多語言版本;揭示高資源與低資源語言之間最高達 24.3% 的效能落差。
  • MultiChallenge (2025) - 多輪對話基準,揭露指令遵循與上下文內推理同時失效的情況;所有受測前沿模型得分均低於 50%。
  • FRAMES (2025) - 統一的 RAG 評估:824 道多跳問題,需同時運用事實性、檢索準確度與跨文件推理。

長上下文評估:

  • Needle in a Haystack - 長上下文視窗的檢索探測測試。
  • RULER (2024) - 超越簡單檢索的合成長上下文任務。
  • LongBench - 涵蓋 NLP 任務的雙語長上下文基準。
  • LongBench v2 (2025) - 503 道專家設計的選擇題,涵蓋 8K 至 200 萬詞元上下文與深度多跳推理;人在時間壓力下的得分為 53.7%。
  • U-NIAH (2025) - 以多針及巢狀配置擴展「大海撈針」測試;顯示 RAG 可緩解小型 LLM 的中段遺失問題,但會降低推理模型的表現。

2024–2026 年引領趨勢的方向:能產生明確推理軌跡並受益於額外推論運算的模型。

  • Chain-of-Thought Prompting - 奠基性成果;中間推理步驟可提升效能。
  • Self-Consistency - 對取樣產生的思維鏈進行多數決。
  • Tree of Thoughts - 在推理樹中進行搜尋。
  • Self-Refine 與 Reflexion - 推論時的自我修正方法。
  • Large Language Models are Zero-Shot Reasoners - 將思維鏈用於 NLP 推理任務。
  • Let’s Verify Step by Step - 用於推理的過程監督獎勵模型。
  • DeepSeek-R1 (2025) - 以純 RL 訓練的開放推理模型,公開重現 o1 式行為。
  • OpenAI o1 / o3 (2024–2025) - 採用測試時運算的推理系統。
  • Scaling LLM Test-Time Compute Optimally (2024) - 系統性研究推論時運算的取捨。
  • s1: Simple Test-Time Scaling (2025) - 透過預算強制法實作的簡易開放推理方法。
  • Kimi k1.5 (2025) - 以策略最佳化進行長上下文 RL(不使用 MCTS 或 PRM),達到 o1 等級效能;並將長思維鏈蒸餾至短思維鏈模型。
  • rStar-Math (2025) - 小型策略模型搭配透過 MCTS rollout 訓練的過程偏好模型,讓小型語言模型無須從大型模型蒸餾即可啟動推理能力。
  • DAPO (2025) - 開放的 GRPO 式 RL 訓練系統,具備四項關鍵改良(解耦裁切、動態取樣、詞元層級損失、熵獎勵);重現並超越 DeepSeek-R1-Zero 等級的推理能力。
  • VAPO (2025) - 以價值模型為基礎的 RL,採用長度自適應 GAE 與詞元層級裁切;在穩定訓練下,於 AIME 2024 超越不使用價值模型的 GRPO 方法。
  • ThinkPRM (2025) - 生成式過程獎勵模型會逐步產生思維鏈驗證,僅使用 1% 的監督標籤即可媲美判別式 PRM。
  • OpenThoughts (2025) - 針對開放推理模型資料配方進行 1,000 多項受控實驗;在 AIME 2025 達到最新成果,媲美封閉式蒸餾基準。
  • Mamba 與 Mamba-2 - 選擇性狀態空間模型,以線性時間處理長上下文,是注意力機制的替代方案。
  • RWKV - 可擴展至大量參數的 RNN-Transformer 混合架構。
  • Jamba (2024) - Mamba、Transformer 與 MoE 混合架構。
  • RoPE 與 YaRN - 旋轉位置嵌入與上下文長度擴展方法。
  • Position Interpolation - 只需少量微調即可延長上下文視窗。
  • Lost in the Middle - NLP 任務中的長上下文效能衰退模式。
  • RAG vs Long-Context LLMs (2024) - 探討以長輸入進行問答時的取捨。
  • Titans: Learning to Memorize at Test Time (2025) - 可於測試時學習記憶歷史上下文的神經長期記憶模組;可擴展至超過 200 萬詞元,在語言建模與推理上優於 Transformer 及現代線性循環模型。
  • MiniMax-01 (2025) - 4,560 億參數混合模型,結合閃電(線性)注意力與稀疏 softmax 注意力;在最多 400 萬詞元的推論上下文中,NLP 效能媲美 GPT-4o。
  • Native Sparse Attention (NSA) (2025) - 可訓練的稀疏注意力,結合粗粒度壓縮與細粒度選擇;在 64K 上大幅加速,且 NLP 基準表現不受影響。
  • LongRoPE2 (2025) - 找出高頻 RoPE 維度訓練不足的問題,並以演化搜尋重新調整;只需 Meta 方法 1/80 的訓練詞元,即可將 LLaMA3-8B 擴展至 128K。
  • Characterizing SSM and Hybrid LM Long-Context Performance (2025) - 首次全面分析 Transformer、SSM 與混合模型在最多 22 萬詞元上下文下的記憶體與速度;SSM 最快可達 4 倍,混合模型則兼顧召回率與效率。
  • Survey of Hallucination in Natural Language Generation - 幻覺分類法與緩解策略綜述。
  • TruthfulQA - 問答事實性的基準。
  • FActScore - 長篇生成內容的細粒度事實準確度。
  • LongFact / SAFE (2024) - 長篇事實性基準與搜尋增強評估器。
  • SelfCheckGPT - 以取樣方式偵測幻覺。
  • RAGAS - RAG 與問答管線的免參考評估工具。
  • Lookback Lens (2024) - 依據注意力模式偵測長上下文生成中的幻覺。
  • Calibration of LLMs on Multiple Choice (2024) - 分析格式影響下的校準能力。
  • HalluLens (2025) - 幻覺基準,採用外在/內在分類法及動態重新產生測試集,以抵禦資料洩漏。
  • Atomic Calibration (2025) - 長篇生成的主張層級校準分析;模型對長篇輸出的校準能力明顯不如對單一主張。
  • FRANQ (2025) - 用於 RAG 事實查核、考量忠實度的不確定性量化;正式區分忠實度與事實性。
  • MUCH (2025) - 涵蓋英文、法文、西班牙文與德文的多語言主張幻覺基準,並釋出詞元層級 logits,以進行嚴謹的不確定性量化評估。
  • HalluHard (2026) - 高難度多輪幻覺基準,要求回答附上引用;即使使用網路搜尋,幻覺率仍約為 30%。
  • CURE: Think Through Uncertainty (2026) - 訓練模型在生成前推理主張層級的不確定性;大幅提升傳記事實性與 FactBench AUROC。

蒸餾與小型模型:

  • DistilBERT 與 MiniLM - 用於正式環境 NLP 的蒸餾編碼器。
  • Phi-3 / Phi-4 (Microsoft,2024) - 以精選資料訓練的小型模型,在 NLP 基準上的表現可媲美大型模型。
  • SmolLM2 (HuggingFace,2025) - 完全開放的小型語言模型系列,訓練資料可重現。
  • SmolLM3 (HuggingFace,2025) - 30 億參數的完全開放解碼器,使用 NoPE 與 YaRN 在 11.2 兆詞元上預訓練,支援 128K 上下文;效能可媲美 40 億參數級模型。
  • Gemma 3 Technical Report (Google,2025) - 10 億至 270 億參數的開放模型,採用較高的局部對全域注意力比例,讓 128K 上下文中的 KV 快取仍可負擔。
  • Qwen3 Technical Report (Alibaba,2025) - 6 億至 2,350 億參數的密集與 MoE 模型,統一思考/非思考模式;30B-A3B MoE 僅啟用 30 億參數,表現即可媲美更大的密集模型。
  • Apple Intelligence Foundation Language Models (Apple,2025) - 裝置端 30 億參數模型,運用 KV 快取共用與 2 位元 QAT,在不損失準確度的情況下減少 37.5% 快取記憶體。
  • Sentence-Transformers - 透過 Siamese BERT 產生句子與段落嵌入。
  • SetFit - 不使用提示的少樣本文字分類。
  • FastFit - 適用多類別情境的快速少樣本分類。
  • GTE、BGE 與 Stella - 在 MTEB 排名接近前段班的精簡文字嵌入模型。

量化與服務(大規模部署 NLP 模型時適用):

  • GPTQ - Transformer 的訓練後量化。
  • AWQ - 感知啟用值的權重量化。
  • KVTuner (ICML 2025) - 感知敏感度的逐層混合精度 KV 快取量化;相較統一 KV8,最高提升 21% 吞吐量。
  • GGUF / llama.cpp - 可攜式量化推論。
  • vLLM - 以 PagedAttention 為基礎的高吞吐量語言模型服務。
  • SGLang - 結構化生成與高效率服務。
  • Text Generation Inference (TGI) - Hugging Face 語言模型正式環境服務工具。

參數高效率微調:

  • LoRA 與 QLoRA - 低秩轉接器與量化微調;在一般硬體上將語言模型調適至 NLP 任務的標準方法。
  • DoRA (2024) - 權重分解式低秩調適。
  • PEFT - Hugging Face 程式庫,整合 LoRA、前綴微調、IA3 等方法。
  • FLAN - 將微調後的語言模型作為零樣本學習器。
  • InstructGPT - 使用人類回饋訓練語言模型遵循指令。
  • Self-Instruct - 從語言模型產生指令資料以啟動訓練。
  • Super-NaturalInstructions - 含有指令的 1,600 多項 NLP 任務。
  • Constitutional AI - 依據書面憲章,使用 AI 產生的回饋訓練語言模型。
  • Direct Preference Optimization - RLHF 的簡易替代方法,已廣泛採用。
  • Tülu 3 (AI2,2024) - 完全開放的後訓練配方,在開放模型中達到最新成果。
  • LIMA - 「對齊方面少即是多」;少量高品質 SFT 資料即可發揮很大作用。
  • TRL - SFT、DPO、GRPO 與 RLHF 的參考程式庫。
  • Magpie (2024–2025) - 不提供提示內容,只提示已對齊的語言模型即可合成高品質指令-回應配對;以篩選後資料進行 SFT,表現可媲美官方 Llama-3-Instruct。
  • StereoSet - 測量預訓練語言模型中的刻板印象偏見。
  • CrowS-Pairs - 測量遮罩語言模型中的社會偏見。
  • WinoBias - 共指消解中的性別偏見。
  • HolisticBias - 從多種人口特徵面向測量偏見。
  • RealToxicityPrompts - 語言模型生成內容中的毒性。
  • Sycophancy in Language Models - 模型迎合使用者信念調整回答的現象。
  • Alignment Faking in Large Language Models (Anthropic,2024) - 模型在訓練期間策略性配合的現象。
  • WildGuard (2024) - 開放安全審核模型與基準。
  • Emergent Misalignment (2025) - 針對狹窄任務(不安全程式碼)微調,意外導致模型在不相關領域普遍發生對齊失效。
  • SafeDialBench (2025) - 多語言(中文/英文)安全基準,涵蓋 22 種情境、7 種越獄策略及 4,000 多段多輪對話。
  • TeleAI-Safety (2025) - 模組化越獄評估框架,整合 19 種攻擊、29 種防禦與 19 種評估方法,涵蓋 14 個模型及 12 種風險類別。
  • IndicSafe (2026) - 涵蓋 12 種印度語言的多語言安全基準;顯示跨語言一致率僅 12.8%,且低資源文字系統容易出現過度拒答。
  • VLAF: Value-Conflict Alignment Faking (2026) - 當政策與內化價值觀衝突時,低至 70 億參數的模型有 37% 案例出現對齊偽裝;使用 steering vector 緩解可將其減少 94%。

回到頂端

依人類語言整理資源。按一下章節即可展開。

回到頂端

  • CAMeL Tools - 阿拉伯語 NLP Python 工具組,包含方言識別、形態分析與 NER。
  • goarabic - 用於阿拉伯文文字處理的 Go 套件。
  • jsastem - JavaScript 阿拉伯文詞幹提取器。
  • PyArabic - 阿拉伯語 Python 程式庫。
  • RFTokenizer - 可訓練的阿拉伯語、希伯來語與科普特語切分器。
  • Farasa - QCRI 的阿拉伯文切分、詞性標註與 NER 工具。
  • AraBERT - 阿拉伯語 BERT 系列。
  • CAMeLBERT - 適用於現代標準阿拉伯語、方言與古典阿拉伯語的 BERT 模型。
  • AraELECTRA - 高效率阿拉伯語預訓練模型(與 AraBERT 同步發布)。
  • Jais (2023–2024) - 阿拉伯語-英文雙語開放語言模型系列。
  • ALLaM (SDAIA,2024) - 以阿拉伯語為主的基礎模型。

回到頂端

  • jieba - 中文斷詞的 Python 套件。
  • SnowNLP - 中文 NLP Python 套件。
  • FudanNLP - 中文文字處理 Java 程式庫。
  • HanLP - 多語言 NLP 程式庫,特別支援中文。
  • LTP - HIT 語言技術平台:斷詞、POS、NER 與句法剖析。
  • Chinese-BERT-wwm - 中文全詞遮罩 BERT。
  • MacBERT - 透過「MLM 作為修正」預訓練改良的中文 BERT。
  • Qwen 2.5 / Qwen 3 - Alibaba 開發、中文能力強的開放語言模型系列。
  • ChatGLM3 / GLM-4 - 清華大學開發的中英雙語語言模型。
  • Baichuan 2 - 開放中文語言模型。
  • Yi - 01.AI 的雙語開放語言模型。
  • DeepSeek-V3 - 中文能力強的高效率開放 MoE 模型。
  • funNLP - 大型中文 NLP 工具與資源合集。

回到頂端

回到頂端

  • python-frog - Frog(荷蘭語 NLP 工具套件)的 Python 綁定,支援詞性標註、詞形還原、依存句法分析及 NER。
  • SimpleNLG_NL - 以 SimpleNLG 實作為基礎、用於荷蘭語自然語言生成的表層實現器。
  • Alpino - 荷蘭語依存句法分析器(亦支援詞性標註與詞形還原)。
  • Kaldi NL - 以 Kaldi 為基礎的荷蘭語語音辨識模型。
  • spaCy Dutch model - 具備工業級效能、附有荷蘭語處理管線的 NLP 工具。

回到頂端

  • German-NLP - 專注於德語的開放取用、開源及現成資源與工具精選清單。

回到頂端

回到頂端

需要登入/存取權限的資料集可透過電子郵件申請

Section titled “需要登入/存取權限的資料集可透過電子郵件申請”
  • IndicBERT v2 (2022–2024) - 支援 23 種印度語言的多語言 BERT。
  • IndicTrans2 (2023–2024) - 支援 22 種印度語言的高品質機器翻譯。
  • OpenHathi (Sarvam AI,2023) - 延續訓練的印地語-英文雙語 LLaMA。
  • Airavata (2024) - 經指令微調的印地語 LLM。
  • Sarvam-1 (2024) - 從頭以 10 種印度語言訓練的多語言語言模型。
  • BharatGPT / Krutrim (2024) - 專注印度語言的基礎模型。

回到頂端

  • IndoBERT (IndoNLU) - 預訓練印尼語語言模型,搭配 IndoNLU 基準套件。
  • IndoBERT (IndoLEM) - 搭配 IndoLEM 基準的另一款 IndoBERT。
  • NusaCrowd / Cendol (2023–2024) - 大規模社群資料集,以及適用於印尼語與區域語言的 Cendol 指令微調語言模型。
  • Sailor - 涵蓋印尼語的東南亞開放語言模型。
  • SEA-LION (2024) - Singapore AI 開發的東南亞開放語言模型,印尼語能力強。

回到頂端

  • KoNLPy - 韓文自然語言處理 Python 套件。
  • Mecab (Korean) - 韓文 NLP 的 C++ 程式庫。
  • KoalaNLP - 韓文 NLP 的 Scala 程式庫。
  • KoNLP - 韓文 NLP 的 R 套件。
  • kss - 韓文句子切分器。
  • Kiwi - 快速韓文形態分析器。
  • Garu - 原生於瀏覽器的韓文形態分析器,透過 WebAssembly 完全在用戶端執行(模型 1 MB、可離線使用、MIT 授權)。

回到頂端

  • Hazm - 波斯語 NLP 工具組。
  • Parsivar - 波斯語處理工具組。
  • Perke - 波斯語關鍵詞擷取工具。
  • Perstem - 波斯語詞幹提取器、形態分析器與部分詞性標註器。
  • ParsiAnalyzer - Elasticsearch 波斯語分析器。
  • virastar - 波斯文文字清理工具。
  • ParsBERT - 波斯語 BERT。
  • PersianMind (2023–2024) - 經指令微調的波斯語語言模型。
  • Dorna (Part AI,2024) - 以 Llama 3 為基礎的波斯語指令模型。

回到頂端

  • Polish-NLP - 波蘭語 NLP 資源精選清單,包含模型、工具與資料集。

回到頂端

  • BERTimbau - 巴西葡萄牙語 BERT。
  • Sabiá (Maritaca AI,2023–2024) - 專注葡萄牙語的開放語言模型。
  • Albertina (PORTULAN,2023–2024) - 適用歐洲葡萄牙語與巴西葡萄牙語的純編碼器語言模型。

回到頂端

  • spanlp - 使用來自 21 個西班牙語系國家的資料,以 Python 偵測、遮蔽與清理西班牙文髒話、仇恨言論及霸凌內容。

回到頂端

  • PyThaiNLP - 以 Python 進行泰語 NLP。
  • JTCC - Java 字元群集程式庫。
  • CutKum - 使用 TensorFlow 深度學習進行斷詞。
  • Thai Language Toolkit - 分詞與詞性標註工具。
  • SynThai - 使用深度學習進行斷詞與詞性標註。
  • WangchanBERTa - 泰語預訓練語言模型。
  • Typhoon (SCB 10X,2024) - 泰語開放 LLM 系列。
  • OpenThaiGPT (2023–2024) - 泰語開放指令微調模型。
  • Sailor - 涵蓋泰語的東南亞開放語言模型系列。

回到頂端

  • awesome-ukrainian-nlp - 烏克蘭語 NLP 資料集、模型等資源精選清單。
  • UkrainianLT - 專注於機器翻譯與語音處理的資源精選清單。

回到頂端

  • urduhack - 烏爾都語 NLP 程式庫。

回到頂端

  • SOAS English-Uzbek RAG Evaluation - 為具文化脈絡的 RAG 設計的雙語檢索評估基準,共 400 筆英語與烏茲別克語資料,採 MIT/CC-BY-4.0 授權。

回到頂端

  • underthesea - 越南語 NLP 工具組。
  • vn.vitk - 越南語文字處理工具組。
  • VnCoreNLP - 越南語 NLP 工具組。
  • pyvi - Python 越南語核心 NLP 工具組。
  • VieNeu-TTS - 裝置端越南語文字轉語音,支援語音克隆。
  • PhoBERT - 越南語預訓練語言模型。
  • BARTpho - 越南語 seq2seq 預訓練模型。
  • PhoGPT (VinAI,2023–2024) - 越南語開放生成式語言模型。
  • Vistral (2024) - 以 Mistral 為基礎的越南語聊天模型。
  • Sailor (2024) - 涵蓋越南語、泰語、印尼語及其他東南亞語言的多語言開放模型系列。
  • Vietnamese Treebank - 為成分句法剖析任務提供 1 萬個句子。
  • BKTreeBank - 越南語依存樹庫。
  • UD_Vietnamese - 越南語 Universal Dependencies 樹庫。
  • VIVOS - 免費越南語語音語料庫,含 15 小時錄音(HCMUS AILab)。
  • VNTQcorpus(big).txt - 175 萬個新聞句子。
  • ViText2SQL - 越南語 Text-to-SQL 語意剖析資料集(EMNLP-2020 Findings)。
  • EVB Corpus - 2,000 萬詞彙,涵蓋 15 本雙語書、100 篇英越平行文本、250 篇平行法律文本、5,000 篇新聞及 2,000 部電影字幕。
  • 俄語:pymorphy2 - 優良的俄語詞性標註器。
  • 亞洲語言:泰語、寮語、中文、日語與韓語的 ICU Tokenizer ElasticSearch 實作。
  • 古代語言:CLTK:Classical Language Toolkit 是用於古代語言 NLP 的 Python 程式庫與文本合集。
  • 希伯來語:NLPH_Resources - 希伯來語 NLP 論文、語料庫與語言學資源合集。

回到頂端

以下精選清單涵蓋本清單範圍之外的相關主題:

如果此儲存庫對你有幫助,請考慮引用此清單:

@misc{awesome-nlp,
title = {Awesome NLP},
author = {Kim, Keon Woo},
year = {2018},
url = {https://github.com/keon/awesome-nlp},
note = {GitHub repository}
}

授權條款 - CC0

HagiCode

HagiCode 是面向專案開發的 AI 編碼工作台:豐富、便利的介面互動讓規劃、Agent 執行與專案工作更容易上手和跟進,帶來更投入的開發體驗。

透過豐富、便利的介面互動,讓規劃、Agent 執行與專案工作更容易上手和跟進。

造訪 HagiCode閱讀文件
  • 智慧OpenSpec 工作流程將意圖轉化為從提案、設計、任務到交付的可執行路徑。
  • 高效多 Agent 並行推進研究、實作與審查,並支援多儲存庫變更與你熟悉的 Agent CLI。
  • 有趣豐富、便利的介面互動讓規劃、Agent 執行與專案工作更容易上手和跟進,帶來更投入的開發體驗。

下載 Windows 版

從 Microsoft Store 取得所有下載

讓想法化為交付成果。

HagiCode 是面向專案開發的 AI 編碼工作台:以 OpenSpec 工作流程規劃變更,多 Agent 並行執行,再由 Hero Scenario 讓進度一目了然,將想法化為交付成果。

智慧
OpenSpec 工作流程將意圖轉化為從提案到交付的可執行路徑。
高效
多 Agent 並行推進研究、實作與審查。
有趣
豐富、便利的介面互動,讓規劃、Agent 執行與專案工作更容易跟進。

要離開 Awesome Site 嗎?

您即將前往外部網站。我們無法控制其內容或隱私慣例。

目的地

繼續前往網站