コンテンツにスキップ
HagiCodeAwesome Site

言語の選択

現在の言語: 日本語

NLP

Source: https://github.com/keon/awesome-nlp at ab3dbd7d8160
License: CC0-1.0
Read the English original

This edition is an AI-assisted translation.

awesome-nlp

Section titled “awesome-nlp”

Awesome

スポンサー：Atlas Cloud

Atlas Cloud

OpenAI互換のLLMエンドポイントを備えたAI API集約プラットフォームです。翻訳、要約、多言語生成、構造化抽出などのNLPタスクに対応します。

自然言語処理に関するリソースを厳選した一覧です。

貢献する前に貢献ガイドラインをお読みください。お気に入りのNLPリソースはプルリクエストで追加してください。

対象範囲

Section titled “対象範囲”

このリストは、言語分析、多言語ツール、古典的手法とニューラル手法、データセット、評価など、自然言語処理を扱います。大規模言語モデルは、トークン化、多言語対応、機械翻訳、要約、固有表現認識、質問応答、事実性、プロービング、蒸留など、中核となるNLPタスクや能力を前進・評価するものに限り掲載しています。汎用チャットボット、エージェントフレームワーク、プロンプトテンプレートのリポジトリ、コード生成ツール、RAGアプリのスターターキットは別のリストにあります。関連項目をご覧ください。

目次

Section titled “目次”

研究の概要と動向

Section titled “研究の概要と動向”

最新のNLP研究を追うための情報源：

  • ACL Anthology - ACL、EMNLP、NAACL、EACL、COLINGおよび関連会議の論文を収録した標準的なアーカイブ。
  • NLP-Progress - 主要なNLPタスクとデータセットにおける最先端の成果を追跡します。
  • Papers With Code: NLP - NLPタスクの論文、ベンチマーク、リーダーボードを掲載しています。
  • Sebastian Ruder’s newsletter - NLP研究と動向を定期的にまとめて紹介します。
  • ACL Rolling Review - ACL関連の会議に論文を送り出す継続的な査読プロセスです。
  • The Gradient - 機械学習とNLP研究に関する長文のエッセイを掲載しています。
  • Visual NLP Paper Summaries - 最近の論文を図解で要約しています。

これまでの注目研究

Section titled “これまでの注目研究”

著名なNLP研究機関

Section titled “著名なNLP研究機関”

トップへ戻る

チュートリアル

Section titled “チュートリアル”

トップへ戻る

読み物

Section titled “読み物”

機械学習全般

  • Machine Learning 101 - Googleのシニア・クリエイティブ・エンジニアが、エンジニアにも経営幹部にも分かりやすく機械学習を解説します。
  • AI Playbook - a16zによるAIプレイブック。上司に共有したり、プレゼンテーションの資料に使ったりするのに適しています。
  • Sebastian Ruder’s Newsletter - NLP研究の優れた成果を解説します。
  • How To Label Data - 大規模な言語アノテーションプロジェクトの管理ガイドです。
  • Depends on the Definition - 幅広いNLPトピックを詳しい実装とともに扱うブログ記事集です。

NLPの入門とガイド

ブログとニュースレター

動画とオンライン講座

Section titled “動画とオンライン講座”

トップへ戻る

書籍

Section titled “書籍”

ライブラリ

Section titled “ライブラリ”

トップへ戻る

  • Node.jsとJavaScript - Node.js向けNLPライブラリ | トップへ戻る

    • Twitter-text - Twitterのテキスト処理ライブラリをJavaScriptで実装したものです。
    • Knwl.js - JavaScriptによる自然言語処理器です。
    • Retext - 自然言語の分析・操作を行う拡張可能なシステムです。
    • NLP Compromise - ブラウザー上で動作する自然言語処理ライブラリです。
    • Natural - Node向けの汎用自然言語処理機能です。
    • Poplar - 自然言語処理（NLP）向けのWebベースのアノテーションツールです。
    • NLP.js - ボット構築用のNLPライブラリです。
    • node-question-answering - Node.js上でDistilBERTを使う、高速で本番環境に対応した質問応答です。

  • Python - Python向けNLPライブラリ | トップへ戻る

    • sentimental-onix - ONNXを使ったspaCy向け感情分析モデルです。
    • TextAttack - NLP向けの敵対的攻撃、敵対的学習、データ拡張を提供します。
    • TextBlob - 一般的な自然言語処理（NLP）タスクに取り組むための一貫したAPIを提供します。Natural Language Toolkit (NLTK)とPatternを基盤とし、両者と連携できます。:+1:
    • spaCy - PythonとCythonによる実用レベルのNLPです。:+1:
      • textacy - spaCyを基盤とする高水準のNLPライブラリです。
    • gensim - プレーンテキストから教師なしの意味モデリングを行うPythonライブラリです。:+1:
    • scattertext - コーパス間の言語の違いを示すd3可視化を生成するPythonライブラリです。
    • GluonNLP (アーカイブ済み) - MXNet/Gluonを基盤とするNLP向け深層学習ツールキットです。
    • AllenNLP (アーカイブ済み) - PyTorchを基盤とし、多様な言語タスク向けに最先端の深層学習モデルを開発するNLP研究ライブラリです。
    • PyTorch-NLP - 改良されたデータローダーや単語ベクトルローダー、ニューラルネットワーク層表現、BLEUなどの一般的なNLP指標を備え、迅速なプロトタイピングを支援するNLP研究ツールキットです。
    • Rosetta - テキスト処理ツールとラッパー（例：Vowpal Wabbit）です。
    • PyNLPl - Python向けの汎用自然言語処理ライブラリです。ARPA言語モデル、Mosesフレーズテーブル、GIZA++アライメントなど、特定の形式も扱います。
    • foliapy - 言語アノテーション用XML形式FoLiAを扱うPythonライブラリです。
    • PySS3 - ホワイトボックス型テキスト分類器SS3を実装したPythonパッケージです。予測を説明する対話型可視化ツールも付属します。
    • jPTDP - 品詞（POS）タグ付けと依存構造解析を同時に行うツールキットです。40以上の言語の事前学習済みモデルを提供します。
    • BigARTM - 高速なトピックモデリングライブラリです。
    • Snips NLU - 本番環境で利用できる意図解析ライブラリです。
    • Chazutsu - 標準的なNLP研究用データセットをダウンロード・解析するライブラリです。
    • Word Forms - 英単語の考えられるすべての語形を高精度に生成します。
    • Multilingual Latent Dirichlet Allocation (LDA) - 多言語対応で拡張可能な文書クラスタリングパイプラインです。
    • Natural Language Toolkit (NLTK) - 50以上のコーパスに対応し、多様なNLP機能を備えるライブラリです。
    • NLP Architect - NLPとNLU向けの最先端の深層学習構造・手法を調べるライブラリです。
    • Flair - PyTorchを基盤とする、シンプルな多言語NLPフレームワークです。BERT、ELMo、Flairの埋め込みに対応します。
    • Kashgari - Kerasベースのシンプルな多言語NLPフレームワークです。固有表現認識（NER）、品詞（POS）タグ付け、テキスト分類向けモデルを短時間で構築できます。BERTとword2vecの埋め込みに対応します。
    • FARM - NLP向けの高速で使いやすい転移学習ツールです。産業用途の言語モデル活用に重点を置き、質問応答を主に扱います。
    • Haystack - データに対する自然言語検索インターフェースを構築する、エンドツーエンドのPythonフレームワークです。Transformersと最新のNLP技術を活用し、DPR、Elasticsearch、HuggingFace Modelhubなどをサポートします。
    • Rita DSL - Apache UIMAのRUTAを緩やかに基にしたDSLです。言語パターン（ルールベースNLP）を定義し、spaCy形式、または機能を絞った軽量な正規表現パターンに変換できます。
    • Transformers - TensorFlow 2.0とPyTorch向けの自然言語処理ライブラリです。
    • Tokenizers - 研究と本番環境向けに最適化されたトークナイザーです。
    • fairSeq - Facebook AI Researchによる、PyTorch上の最先端seq2seqモデルの実装です。
    • corex_topic - 最小限のドメイン知識で階層的トピックモデリングを行います。
    • Sockeye - Amazon Translateを支えるニューラル機械翻訳（NMT）ツールキットです。
    • DL Translate - transformersとFacebookのmBART Largeを基盤とする、50言語対応の深層学習翻訳ライブラリです。
    • Jury - 複数の自動評価指標を提供するNLPモデル出力の評価ツールです。
    • python-ucto - Unicode対応の正規表現ベースの多言語トークナイザーです。C++ライブラリのPythonバインディングで、FoLiA形式をサポートします。
    • Pearmut - 機械翻訳など、多言語NLPタスク向けの人手アノテーションツールです。
    • Stanza - 70以上の言語で、トークン化、POS、レンマ化、依存構造解析、NERを行うStanford NLPのPythonツールキットです。
    • Sentence-Transformers - 文・文書埋め込み、セマンティック検索、再ランキングを提供する、検索型NLPの標準的なツールです。
    • Argilla - LLM・NLPデータセット向けに、オープンソースでデータアノテーションとフィードバック収集を行うプラットフォームです。
    • HuggingFace Datasets - 数千のNLPデータセットに対応した標準化済みローダーと処理機能です。
    • HuggingFace Evaluate - NLP評価指標の参照実装です。
    • sacrebleu - 機械翻訳向けに、再現可能なBLEU/chrF/TERスコアを算出します。
    • COMET - 学習型の機械翻訳評価指標で、現在事実上の標準です。
    • LangTest - NLPモデルの堅牢性、バイアス、公平性を検査する60種類以上のテストを備えています。
    • yasbd-lib - 高精度なルールベース文境界検出器（SBD）です。pysbd互換アダプター、ストリーミングAPI、CLI、spaCyコンポーネントを備え、39以上の言語に対応します。

  • C++ - C++ライブラリ | トップへ戻る

    • InsNet - パディング不要の動的バッチ処理でインスタンス依存型NLPモデルを構築するニューラルネットワークライブラリです。
    • MIT Information Extraction Toolkit - 固有表現認識と関係抽出のためのC、C++、Pythonツールです。
    • CRF++ - 系列データの分割・ラベル付けなど、自然言語処理タスク向けの条件付き確率場（CRF）のオープンソース実装です。
    • CRFsuite - 系列データにラベルを付ける条件付き確率場（CRF）の実装です。
    • BLLIP Parser - Charniak-Johnson parserとしても知られる自然言語パーサーです。
    • colibri-core - n-gramやskipgramなどの基本的な言語構造を高速かつ省メモリーで抽出・処理するC++ライブラリ、コマンドラインツール、Pythonバインディングです。
    • ucto - Unicode対応の正規表現ベースの多言語トークナイザーです。ツールとC++ライブラリを提供し、FoLiA形式に対応します。
    • libfolia - FoLiA形式向けのC++ライブラリです。
    • frog - オランダ語向けのメモリーベースNLPスイートです。品詞タグ付け、レンマ化、依存構造解析、NER、浅い構文解析、形態素解析に対応します。
    • MeTA - ModErn Text Analysis。大規模テキストデータをマイニングするためのC++データサイエンスツールキットです。
    • Mecab (Japanese)
    • Moses
    • StarSpace - Facebookによる、単語・段落・文書レベルの埋め込み作成とテキスト分類のライブラリです。
    • QSMM - 適応型の確率的トップダウン／ボトムアップパーサーです。

  • Java - Java向けNLPライブラリ | トップへ戻る

    • Stanford NLP
    • OpenNLP
    • NLP4J
    • Word2vec in Java
    • ReVerb Web規模のオープン情報抽出ツールです。
    • OpenRegex 効率的で柔軟な、トークンベースの正規表現言語とエンジンです。
    • CogcompNLP イリノイ大学認知計算グループが開発したコアライブラリです。
    • MALLET - MAchine Learning for LanguagE Toolkit。統計的自然言語処理、文書分類、クラスタリング、トピックモデリング、情報抽出など、テキストに対する機械学習向けのパッケージです。
    • RDRPOSTagger - 40以上の言語の事前学習済みモデルを備え、JavaとPythonの両方で利用できる堅牢な品詞タグ付けツールキットです。

  • Kotlin - Kotlin向けNLPライブラリ | トップへ戻る

    • Lingua 長文・短文のどちらにも適した、KotlinおよびJava向け言語判定ライブラリです。
    • Kotidgy — Kotlinで書かれた、インデックスベースのテキストデータ生成器です。

  • Scala - Scala向けNLPライブラリ | トップへ戻る

    • Saul - SRL、POSなどの組み込みモジュールを備えた、NLPシステム開発用ライブラリです。
    • ATR4S - 最先端の用語自動抽出手法を備えたツールキットです。
    • tm - 正則化多言語PLSAに基づくトピックモデリングの実装です。
    • word2vec-scala - word2vecモデル向けScalaインターフェースです。単語間距離や単語アナロジーなどのベクトル演算を備えます。
    • Epic - Scalaで書かれた高性能な統計的パーサーと、複雑な構造化予測モデルを構築するフレームワークです。
    • Spark NLP - Apache Spark ML上に構築された自然言語処理ライブラリです。分散環境で容易にスケールする機械学習パイプライン向けに、シンプルで高性能かつ高精度なNLPアノテーションを提供します。

  • R - R向けNLPライブラリ | トップへ戻る

    • text2vec - Rで高速なベクトル化、トピックモデリング、距離計算、GloVe単語埋め込みを行います。
    • wordVectors - word2vecなどの単語埋め込みモデルを作成・探索するRパッケージです。
    • RMallet - Java機械学習ツールMALLETと連携するRパッケージです。
    • dfr-browser - Webブラウザーでテキストのトピックモデルを閲覧するためのd3可視化を作成します。
    • dfrtopics - テキストのトピックモデルを探索するRパッケージです。
    • sentiment_classifier - 語義曖昧性解消とWordNet Readerを使った感情分類です。
    • jProcessing - 日本語の感情分類を含む、日本語自然言語処理ライブラリです。
    • corporaexplorer - テキストコレクションを動的に探索するRパッケージです。
    • tidytext - tidyツールによるテキストマイニングです。
    • spacyr - spaCy NLP向けのRラッパーです。
    • CRAN Task View: Natural Language Processing

  • Clojure | トップへ戻る

    • Clojure-openNLP - Clojureにおける自然言語処理（opennlp）です。
    • Infections-clj - Rails風の語形変化ライブラリで、ClojureとClojureScriptに対応します。
    • postagga - ClojureとClojureScript向けの自然言語解析ライブラリです。

  • Go | トップへ戻る

    • prose - トークン化、品詞タグ付け、固有表現抽出に対応したテキスト処理ライブラリです。
    • gojieba - 中国語単語分割アルゴリズムjiebaのGo実装です。
    • kagome - pure Goで書かれた日本語形態素解析器です。
    • go-propisyu - 数値を、文法上の性と名詞の格変化が正しいロシア語表記に変換します。

  • Ruby | トップへ戻る

  • Rust | トップへ戻る

    • whatlang — トライグラムに基づく自然言語判定ライブラリです。
    • rust-bert - すぐに使えるNLPパイプラインとTransformerベースのモデルを提供します。
    • snips-nlu-rs (アーカイブ済み — Snipsは終了しました) - 本番環境に対応した意図解析ライブラリです。

  • NLP++ - NLP++言語 | トップへ戻る

    • VSCode Language Extension - VSCode向けNLP++言語拡張機能です。
    • nlp-engine - 完全な英語パーサーを含め、Linux上でNLP++コードを実行するエンジンです。
    • VisualText - NLP++言語のホームページです。
    • NLP++ Wiki - NLP++言語のWiki項目です。

  • Julia | トップへ戻る

    • CorpusLoaders - さまざまなNLPコーパス向けの各種ローダーです。
    • Languages - 人間の言語を扱うためのパッケージです。
    • TextAnalysis - Julia向けテキスト分析パッケージです。
    • TextModels - 自然言語処理向けのニューラルネットワークモデルです。
    • WordTokenizers - 自然言語処理などのタスク向けの高性能トークナイザーです。
    • Word2Vec - word2vec向けJuliaインターフェースです。

サービス

Section titled “サービス”

NERやトピックタグ付けなどの高水準機能をAPIとして提供するNLPサービス | トップへ戻る

  • Wit-ai - アプリやデバイス向けの自然言語インターフェースです。
  • IBM Watson’s Natural Language Understanding - APIとGitHubのデモです。
  • Amazon Comprehend - NER、タグ付け、感情分析など、一般的なタスクを幅広く扱うNLP・機械学習スイートです。
  • Google Cloud Natural Language API - 英語と中国語（簡体字・繁体字）を含む少なくとも9言語で、構文解析、NER、感情分析、コンテンツタグ付けを行います。
  • ParallelDots - 感情分析から意図分析までを扱う高水準のテキスト分析APIサービスです。
  • Microsoft Cognitive Service
  • TextRazor
  • Rosette
  • Textalytic - 感情分析、固有表現抽出、POSタグ付け、単語頻度、トピックモデリング、ワードクラウドなどをブラウザーで行う自然言語処理です。
  • NLP Cloud - カスタム・事前学習済みspaCy NLPモデルをRESTful APIで提供し、固有表現認識（NER）、POSタグ付けなどに対応します。
  • Cloudmersive - 音声タグ付け、テキストの言い換え、言語翻訳・判定、文解析などを行う統合型の無料NLP APIです。

アノテーションツール

Section titled “アノテーションツール”
  • GATE - General Architecture and Text Engineeringは15年以上の歴史を持つ、無料のオープンソースソフトウェアです。
  • Anafora - 無料のオープンソースWebベース生テキストアノテーションツールです。
  • brat - 共同でテキストに注釈を付けるオンライン環境を提供する、迅速なアノテーションツールです。
  • doccano - 無料のオープンソースツールです。テキスト分類、系列ラベリング、系列変換のアノテーション機能を備えます。
  • INCEpTION - インテリジェントな支援と知識管理機能を備えた意味アノテーションプラットフォームです。
  • prodigy - アクティブラーニングを活用するアノテーションツールです（有料）。
  • LightTag - チーム向けのホスト型・マネージド型テキストアノテーションツールです（有料）。
  • rstWeb - 談話木アノテーション向けのオープンソースローカル／オンラインツールです。
  • GitDox - GitHubのバージョン管理とXMLデータ検証、共同編集可能な表形式グリッドを備えるオープンソースのサーバー型アノテーションツールです。
  • Datasaur - 個人・チーム向けにさまざまなNLPタスクを支援する、フリーミアムサービスです。
  • Konfuzio - チーム利用を重視した、ホスト型およびオンプレミス対応のテキスト・画像・PDFアノテーションツールです。アクティブラーニングを活用するフリーミアムサービスです（有料）。
  • UBIAI - チーム向けの使いやすいテキストアノテーションツールで、充実した自動注釈機能を備えます。NER、関係抽出、文書分類、請求書ラベル付け用OCRアノテーションに対応します（有料）。
  • Shoonya - 組織・ワークスペース単位の多様な管理機能を備えた、無料のオープンソースデータアノテーションプラットフォームです。データ形式を問わず、複数段階の検証を伴う大規模なアノテーションにチームで利用できます。
  • Annotation Lab - テキストアノテーションと深層学習モデルの学習・調整を行う無料のエンドツーエンド・ノーコードプラットフォームです。固有表現認識、分類、関係抽出、Assertion Statusに対応するSpark NLPモデルを標準搭載し、ユーザー、チーム、プロジェクト、文書数に制限はありません。FOSSではありません。
  • FLAT - 豊富なXMLベース言語アノテーション形式FoLiAを基盤とするWebベースの言語アノテーション環境です。無料のオープンソースです。
  • Argilla - 人手によるフィードバックの収集、NLP・LLMデータセットの構築、選好データの整備を行うオープンソースプラットフォームです。
  • Label Studio - マルチモーダルなラベル付けプラットフォームです。オープンコア方式で、NLPラベル付けに広く使われています。
  • Potato - 分類、スパン、照応、エンティティリンキング、エージェントトレース評価など21種類以上のタスクに対応する無料のオープンソースアノテーションツールです。MACE品質管理、注意力チェック、AI支援ラベリング、300以上のタスク例を備えます。

タスクと手法

Section titled “タスクと手法”

言語学的な課題ごとにNLPタスクをまとめています。各項目では、まず基礎的・古典的な研究、次にニューラル手法、該当する場合はLLMベースの手法を掲載しています。事前学習、評価、検索、推論など、現代の言語モデルに特化した研究についてはNLP向け言語モデルをご覧ください。

テキスト埋め込み

Section titled “テキスト埋め込み”

トップへ戻る

静的単語埋め込み（基礎研究）：

文脈依存埋め込み：

  • ELMo - 深層文脈化単語表現です。
  • CoVe - 機械翻訳から学習した文脈化ベクトルです。
  • ULMFiT - テキスト分類向けの言語モデル微調整手法です。
  • InferSent - 自然言語推論（NLI）から得られる文表現です。

最新の文・文書埋め込みについては、NLP向け検索（Sentence-Transformers、E5、BGE-M3、Nomic、GritLM）と、最新のリーダーボードを掲載するMTEBをご覧ください。

トークン化、形態論、分割

Section titled “トークン化、形態論、分割”

トップへ戻る

  • SentencePiece - 言語に依存しないサブワードトークン化です。

  • BPEとUnigram LM - 主流の2種類のサブワード方式です。

  • Stanza - 70以上の言語のトークン化、レンマ化、形態論に対応します。

  • UDPipe - Universal Dependencies向けのトークン化、タグ付け、レンマ化、構文解析です。

  • Morfessor - 教師なし形態素分割です。 トークナイザーの研究とアーキテクチャについては、言語モデルもご覧ください。

  • Byte-Pair Encoding (Sennrich et al.) - ニューラル機械翻訳向けのサブワード単位で、現代のトークナイザーの基礎です。

  • SentencePiece - 言語に依存しないサブワードトークン化（BPEとUnigram）です。

  • Tokenizers - BPE、WordPiece、Unigramの高速なRust実装です。

  • ByT5 - トークナイザーを使わないバイトレベルのモデルです。

  • CANINE - Unicode文字を直接処理する、トークン化不要のエンコーダーです。

  • How Good is Your Tokenizer? - 言語間におけるトークナイザーの公平性を検証します。

  • Byte Latent Transformer (BLT) (Meta, 2024) - 大規模時にBPEトークン化モデルと同等の性能を実現する、動的なバイトレベルのパッチ分割です。トークナイザー不要の方向性を再び示しました。

  • SuperBPE (2025) - 下流タスクでBPEを上回るスーパーワードトークン化です。

  • Over-Tokenized Transformer (ICML 2025) - 入力語彙と出力語彙を分離します。入力語彙サイズと学習損失に対数線形の関係があることを示し、モデルサイズとは独立に語彙を拡張します。

  • Foundations of Tokenization (ICLR 2025) - 確率写像の圏論を用いるトークナイザーモデルの初の形式的な統一枠組みで、統計的一貫性の条件を確立します。

  • The Token Tax: Systematic Bias in Multilingual Tokenization (2025) - トークン化の分割度が言語間のモデル精度をどの程度予測するかを定量化し、形態的に複雑な低リソース言語にかかる構造的なコストを明らかにします。

  • Reducing Tokenization Premiums for Low-Resource Languages (2026) - 低リソース言語の複数トークンからなる文字列を統合する語彙を後付けで追加し、再学習なしで推論コストを削減します。

品詞タグ付けと依存構造解析

Section titled “品詞タグ付けと依存構造解析”

トップへ戻る

固有表現認識と情報抽出

Section titled “固有表現認識と情報抽出”

トップへ戻る

基礎的手法とニューラル手法：

  • CoNLL-2003 NER - 英語NERの標準的なベンチマークです。
  • Neural Architectures for NER (Lample et al.) - 長く標準的に使われているNERアーキテクチャBiLSTM-CRFを提案しています。
  • Flair - 文脈化文字列埋め込みを用い、多言語で高性能なNERを実現します。
  • spaCy NER - 本番環境ですぐに利用できます。

オープン型および指示追従型の情報抽出：

  • Universal NER - 多言語のオープンセットNER向け指示チューニング済み言語モデルです。
  • GLiNER (2023) - 推論時に任意のエンティティ型を扱える、小型の汎用NERモデルです。
  • GoLLIE - 言語モデルを使ってガイドラインに従う情報抽出を行います。
  • REBEL - seq2seqによるエンドツーエンドの関係抽出です。

LLMベース：

照応解析

Section titled “照応解析”

トップへ戻る

テキスト分類と感情分析

Section titled “テキスト分類と感情分析”

トップへ戻る

  • fastText classifier - 高性能で高速な線形ベースラインです。
  • Sentiment Treebank (SST) - 細粒度の感情分析における標準データセットです。
  • SetFit - プロンプトを使わない少数ショットテキスト分類です。
  • FastFit - 多クラス設定向けの高速な少数ショット学習です。
  • SST / IMDB / AG News with DeBERTa-v3 - 現在のエンコーダー微調整のベースラインです。
  • PySS3 - 解釈可能なホワイトボックス型テキスト分類器です。
  • LLMs as Annotators - 留意点を含め、テキスト分類のラベル付けにLLMを用いる手法です。

トピックモデリング

Section titled “トピックモデリング”

トップへ戻る

  • Latent Dirichlet Allocation (Blei et al.) - トピックモデルの基礎となる手法です。
  • gensim - PythonでLDA、LSI、HDPを利用できます。
  • BigARTM - 高速な正則化トピックモデリングです。
  • BERTopic - 文脈埋め込み上でクラスタリングを行うトピックモデリングで、現在一般的な選択肢です。
  • Top2Vec - トピックベクトルと文書ベクトルを同時に学習します。
  • CorEx Topic - アンカーワードを使う階層的トピックモデリングです。

要約

Section titled “要約”

トップへ戻る

機械翻訳

Section titled “機械翻訳”

トップへ戻る

統計的手法とニューラル手法の基礎：

  • Moses - 統計的機械翻訳の参照システムです。
  • Attention Is All You Need - Transformerを提案し、分野を刷新しました。
  • Marian NMT - 効率的なC++製NMTフレームワークです。
  • Fairseq - PyTorch向け系列モデリングツールキットです。

大規模多言語対応：

  • NLLB-200 - 200言語の機械翻訳です。
  • MADLAD-400 - 400以上の言語に対応する機械翻訳です。
  • SeamlessM4T - 100以上の言語で音声・テキスト翻訳を行います。

評価：

  • COMET - 学習型機械翻訳評価指標で、chrFと並ぶ現在の事実上の標準です。
  • sacrebleu - 再現可能なBLEU/chrF/TERスコアを算出します。
  • BERTScore - 類似度に基づく生成評価指標です。

LLMベース：

質問応答と読解

Section titled “質問応答と読解”

トップへ戻る

データセットと基礎システム：

  • SQuAD / SQuAD 2.0 - 抽出型読解データセットです。
  • Natural Questions - Wikipediaを対象とする実ユーザーの質問です。
  • HotpotQA - 複数段階の推論を扱います。
  • TriviaQA - 遠隔教師ありの質問応答データセットです。
  • DrQA - Wikipediaを対象としたオープンドメイン質問応答です。
  • Document-QA - 複数段落の読解を扱います。

現代的なオープンドメイン質問応答：

  • DPRとFiD - 検索してから読む方式で、LLM以前の標準的なオープンドメイン質問応答パイプラインです。
  • Atlas - 少数ショット質問応答向けの検索拡張言語モデルです。
  • NLP向け検索もご覧ください。

LLM時代：

固有表現認識を超えた情報抽出

Section titled “固有表現認識を超えた情報抽出”

トップへ戻る

検索と埋め込み

Section titled “検索と埋め込み”

トップへ戻る

質問応答と情報検索（IR）の基盤として広がる、密ベクトル検索と遅延相互作用検索：

  • DPR (Dense Passage Retrieval) - デュアルエンコーダー検索のベースラインです。

  • ColBERTとColBERTv2 - 遅延相互作用検索で、ドメイン外データでも高い性能を示します。

  • E5とE5-Mistral - 広く利用されている密埋め込みモデル群です。

  • BGEとBGE-M3 (2024) - 多言語・多機能埋め込みで、各言語のMTEB上位に位置します。

  • Nomic Embed (2024) - 完全にオープンで再現可能な埋め込みモデルです。

  • Matryoshka Representation Learning - 推論時に次元数を変えられる入れ子状の埋め込みです。

  • GritLM (2024) - 1つのモデルで生成と埋め込みを統合します。

  • RAG (Retrieval-Augmented Generation) - 検索拡張の原型となった枠組みで、現代の質問応答パイプラインの基礎です。

  • Gemini Embedding (2025) - Gemini由来の密埋め込みです。250以上の言語を対象とするMMTEBと、言語横断検索（XOR-Retrieve、XTREME-UP）で最先端の性能を示します。

  • Qwen3-Embedding (2025) - Qwen3を基盤とするデコーダー型埋め込みモデル群（0.6B～8B）です。MTEB MultilingualとMTEB Codeで首位となり、従来のプロプライエタリモデルを上回ります。

  • Rank1 (2025) - DeepSeek-R1の推論トレース蒸留を通じてテスト時計算で学習した初の再ランキングモデルです。指示追従と分布外検索で最先端の性能を示します。

  • ReasonEmbed (2025) - ReMixerによるデータ合成とRedapterによる適応学習を用いる、推論負荷の高い検索向け埋め込みモデルです。BRIGHTでnDCG@10の最高記録38.1を達成します。

  • ColBERT-Att (2026) - クエリと文書の注意重みをColBERTスコアに統合して遅延相互作用検索を拡張し、MS-MARCO、BEIR、LoTTEで再現率を改善します。 埋め込み・検索ベンチマーク：

  • MMTEB (2025) - MTEBを拡張し、250以上の言語にまたがる500以上のタスクを収録したコミュニティ版です。

音声と言語テキスト

Section titled “音声と言語テキスト”

トップへ戻る

隣接分野にまたがるため、ここでは代表的なリソースのみを挙げます：

  • Whisper - 多言語ASRで、現在の標準的なオープンモデルです。
  • SeamlessM4T - 音声とテキストの翻訳を統合します。
  • Canary (NVIDIA, 2024) - オープンな多言語ASRモデルの上位モデルです。
  • FunASR - 産業用途のASRツールキットです。GPUでリアルタイムの170倍、50以上の言語に対応し、VAD、句読点付与、話者ダイアライゼーション、感情検出を標準搭載します。非自己回帰型のSenseVoiceとLLMベースのFun-ASR-Nanoモデルも含みます。
  • Wav2Vec 2.0 - 自己教師あり音声事前学習の基礎となる手法です。
  • Coqui TTSとVieNeu-TTS - オープンな音声合成（TTS）です。

データセット

Section titled “データセット”

トップへ戻る

データセットのハブと一覧：

  • HuggingFace Datasets Hub - バージョン管理され、ストリーミング可能なローダーを備えた、現代のNLPデータセットの主要なインデックスです。
  • nlp-datasets - NLPデータセットの大規模なコレクションです。
  • gensim-data - 事前学習済みNLPモデルとNLPコーパスのデータリポジトリです。

事前学習規模のコーパス（オープン）：

  • The Pile - 多様なテキストを集めた825 GiBのコーパスです。
  • RedPajama / RedPajama-V2 (2023-2024) - LLaMA事前学習データの再現版です。V2は品質指標付きの30兆トークンです。
  • Dolma (AI2, 2023-2024) - フィルタリング手順が公開された、3兆トークンのオープン事前学習コーパスです。
  • FineWeb / FineWeb-Edu (2024) - 15兆トークンのクリーニング済みWebコーパスです。FineWeb-Eduは教育的品質で絞り込んでいます。
  • CulturaX - 167言語にまたがる6.3兆トークンです。
  • Common Corpus (2024) - オープンライセンスの多言語コーパスで、2兆トークンを収録します。

タスク・指示データセット：

  • Universal Dependencies - 100以上の言語に対応する、言語間で一貫性のあるツリーバンク注釈です。
  • Tülu 3 SFT Mixture (2024) - Tülu 3を支えるオープンな指示チューニング用データです。
  • tiny_qa_benchmark_pp - 小規模な多言語NLP質問応答データセットと、合成データを独自に生成するライブラリです。

多言語NLPフレームワーク

Section titled “多言語NLPフレームワーク”

トップへ戻る

  • UDPipe - Universal TreebanksなどのCoNLL-Uファイルを対象に、トークン化、タグ付け、レンマ化、構文解析を行う学習可能なパイプラインです。主にC++で書かれ、多言語NLP処理のための高速で信頼性の高いソリューションを提供します。
  • NLP-Cube - 文分割、トークン化、レンマ化、品詞タグ付け、依存構造解析を行う自然言語処理パイプラインです。Dynet 2.0を用いてPythonで書かれた新しいプラットフォームで、単体利用（CLI/Pythonバインディング）とサーバー機能（REST API）を備えます。
  • UralicNLP - サーミ諸語、モルドヴィン諸語、マリ語、コミ語など、多くの危機ウラル語族を主な対象とするNLPライブラリです。フィンランド語などの非危機言語や、スウェーデン語・アラビア語などの非ウラル語族にも対応します。形態素解析、語形生成、レンマ化、曖昧性解消を行えます。

NLP向け言語モデル

Section titled “NLP向け言語モデル”

トップへ戻る

NLPタスクと言語現象に対象を絞り、事前学習済み言語モデルとその研究をまとめています。汎用LLMツール、エージェント、RAGアプリケーションキットについては関連項目をご覧ください。

事前学習と適応

Section titled “事前学習と適応”

エンコーダー（従来型NLPタスクで今も主力）：

  • BERT - 双方向Transformer事前学習で、2018年以降のエンコーダーベースNLPの多くの基礎となりました。オンライン版を読むと、節のナビゲーションやACL原文を利用できます。
  • RoBERTa - BERTの堅牢な最適化事前学習で、一般的なエンコーダーベースラインです。
  • DeBERTa / DeBERTa-v3 - 分離注意機構を採用し、分類、NER、NLIで高い性能を示します。
  • ELECTRA - サンプル効率の高い置換トークン検出事前学習です。
  • ModernBERT (2024) - Rotary埋め込み、FlashAttention、8Kコンテキストを備えた現代的なエンコーダーで、分類、NER、検索における現在の第一選択です。
  • NeoBERT (2025) - RoPE、4Kコンテキスト、最適化された深さと幅など、最新の構造改良を組み込んだ2.5億パラメーターのエンコーダーです。同一条件の微調整でMTEBの最先端を達成し、ModernBERTとRoBERTa-largeを上回ります。

エンコーダー・デコーダーとseq2seq：

  • T5とFLAN-T5 - NLPタスクをテキストからテキストへの変換として扱います。指示チューニング済みエンコーダー・デコーダーの強力なベースラインです。
  • BART - ノイズ除去seq2seq事前学習で、要約や生成に広く利用されます。

オープンなデコーダー専用LLM（NLPタスクの基盤として利用）：

  • Llama 3 / 3.1 / 3.3 (Meta, 2024-2025) - 広く採用されるオープンウェイトモデル群で、さまざまなNLPタスクの微調整における標準的な基盤です。
  • Qwen 2.5 / Qwen 3 (Alibaba, 2024-2025) - 特に中国語に強い多言語対応で、多言語ベンチマークのオープンモデル上位に入ることが多いモデル群です。
  • DeepSeek-V3 (2024) - 効率的なMoE事前学習を行った、競争力のあるオープン基盤モデルです。
  • OLMo 2 (AI2, 2025) - 重み、学習データ、コードを完全公開した、再現性のベンチマークとなるモデルです。
  • Gemma 2 / Gemma 3 (Google, 2024-2025) - NLPタスクで高い性能を示す、オープンな小型・中型モデルです。
  • Mistral / Mixtral - 効率的な密モデルと疎MoEのオープンモデルです。
  • What Language Model Architecture and Pretraining Objective Work Best for Zero-Shot Generalization? - NLP転移に適したエンコーダー、デコーダー、エンコーダー・デコーダー構造を比較します。

多言語・言語間モデル

Section titled “多言語・言語間モデル”
  • XLM-R - CommonCrawlで学習した100言語対応の言語横断マスク言語モデルです。
  • mT5 - 101言語を扱う多言語T5です。
  • BLOOM - 1760億パラメーター、46自然言語対応のオープン多言語言語モデルです。
  • Aya 23 / Aya Expanse (Cohere For AI, 2024) - 23～101言語を扱う大規模多言語指示チューニング済みモデルです。
  • Glot500 - 低リソース言語を重視する500以上の言語向けエンコーダーです。
  • NLLB-200 - No Language Left Behind。200言語に対応する機械翻訳です。
  • MADLAD-400 - 400以上の言語に対応する機械翻訳モデルと、3兆トークンの多言語コーパスです。
  • SeamlessM4T / Seamless (Meta, 2023-2024) - 100以上の言語に対応する多言語・マルチモーダル音声テキスト翻訳です。
  • SEA-LION / SeaLLM (2024-2025) - 東南アジア諸言語を対象とする言語モデルです。
  • Babel (2025) - 話者数上位25言語（世界の話者の約90%）を扱うオープン多言語LLM（9B、83B）です。XCOPA、XNLI、MGSM、FLORES-200で同規模のオープン多言語モデルを上回ります。
  • Lugha-Llama (Princeton/Mila, 2025) - 厳選したWURAコーパスでLlama-3.1-8Bを低リソースのアフリカ諸語向けに適応させています。IrokoBenchとAfriQAでオープンソースの最先端結果を示します。
  • AfriqueLLM (McGill, 2026) - 20のアフリカ諸語の260億トークンで継続事前学習したオープンLLM群（4B～14B）で、データ混合に関する包括的な実証研究も行っています。
  • TranslateGemma (Google, 2026) - Gemma 3を基盤とするオープン翻訳特化モデルです。品質報酬モデルを用いたSFTとRLにより55の言語ペアを扱います。
  • MiLMMT-46 (Xiaomi, 2026) - 46言語に拡張されたオープン多言語機械翻訳で、Google TranslateやGemini 3 Proなどの商用システムに匹敵します。

評価とベンチマーク

Section titled “評価とベンチマーク”

NLUと言語横断評価：

  • GLUEとSuperGLUE - 英語NLUのベンチマークです。
  • XTREMEとXGLUE - 言語横断NLUを評価します。
  • XNLI - 15言語の言語横断自然言語推論です。
  • FLORES-200 - 200言語にわたる機械翻訳評価です。
  • MTEB - Massive Text Embedding Benchmark。文・文書エンコーダーの標準ベンチマークです。
  • BEIR - 検索モデル向けの異種情報検索ベンチマークです。

現代の言語モデル評価（2023～2026）：

  • HELM - NLPタスク全般の精度などを総合的に評価します。
  • BIG-bench - 言語モデルの能力を調べる200以上のタスクです。
  • MMLU - 57分野にわたる多タスク知識評価です。
  • MMLU-Pro (2024) - MMLUを発展させた、より難しく識別力の高いベンチマークです。
  • GPQA - 大学院レベルの質疑応答による、「Google検索では解けない」推論評価です。
  • REFUTE (2026) - 根拠に基づく批評、過剰な主張の検出、証拠不足時の回答拒否、キャリブレーションを評価する科学的推論ベンチマークです。
  • IFEval - 検証可能な指示追従評価です。
  • Chatbot Arena (LMSYS) - 人間の選好に基づくチャットモデルのELOリーダーボードです。
  • LiveBench (2024) - データ汚染に強く、毎月更新されるベンチマークです。
  • LM Evaluation Harness - 言語モデルのベンチマーク評価を統一するフレームワークです。
  • MMLU-ProX (2025) - 類型論的に多様な29言語にMMLU-Proを拡張した多言語版です。高リソース言語と低リソース言語の間に最大24.3%の性能差があることを明らかにします。
  • MultiChallenge (2025) - 指示追従と文脈内推論の両方で同時に生じる失敗を明らかにする複数ターン対話ベンチマークです。評価対象の最先端モデルはすべて50%未満です。
  • FRAMES (2025) - 事実性、検索精度、文書横断推論を同時に求める824件の複数段階質問からなる、統合RAG評価です。

長文脈評価：

  • Needle in a Haystack - 長文脈ウィンドウ向けの検索プローブです。
  • RULER (2024) - 単純な検索を超える合成長文脈タスクです。
  • LongBench - NLPタスク全般を対象とする二言語の長文脈ベンチマークです。
  • LongBench v2 (2025) - 8千～200万語の文脈を扱う、専門家が作成した503件の選択式問題です。深い複数段階推論を要し、時間制限下の人間の正答率は53.7%です。
  • U-NIAH (2025) - 複数の針や入れ子構造を加えてneedle-in-a-haystackを拡張します。RAGは小型LLMの中間情報喪失を緩和しますが、推論モデルの性能を損なうことを示します。

推論とテスト時計算

Section titled “推論とテスト時計算”

2024～2026年に注目を集める方向性で、明示的な推論トレースを生成し、推論時の計算量を増やすことで性能が向上するモデルを扱います。

  • Chain-of-Thought Prompting - 中間推論ステップが性能を高めることを示した基礎的な成果です。
  • Self-Consistency - サンプリングしたCoT系列の多数決を取ります。
  • Tree of Thoughts - 推論木を探索します。
  • Self-RefineとReflexion - 推論時に自己修正を行います。
  • Large Language Models are Zero-Shot Reasoners - NLP推論タスクにおけるChain-of-Thoughtです。
  • Let’s Verify Step by Step - 推論向けのプロセス教師あり報酬モデルです。
  • DeepSeek-R1 (2025) - 純粋なRLで学習したオープン推論モデルで、o1型の動作をオープン環境で再現しました。
  • OpenAI o1 / o3 (2024-2025) - テスト時計算を用いる推論システムです。
  • Scaling LLM Test-Time Compute Optimally (2024) - 推論時の計算量と性能のトレードオフを体系的に調査します。
  • s1: Simple Test-Time Scaling (2025) - budget-forcingによる小型オープン推論モデルのレシピです。
  • Kimi k1.5 (2025) - MCTSやPRMを使わず、方策最適化による長文脈RLでo1級の性能を達成します。長いCoTを短いCoTモデルに蒸留する手法も導入します。
  • rStar-Math (2025) - MCTSロールアウトで学習したプロセス選好モデルと小型方策モデルを組み合わせます。大規模モデルから蒸留せずに小型言語モデルの推論能力を高めます。
  • DAPO (2025) - クリッピングの分離、動的サンプリング、トークン単位の損失、エントロピー報酬という4つの改良を加えた、オープンなGRPOベースRL学習システムです。DeepSeek-R1-Zero級の推論を再現し、それを上回ります。
  • VAPO (2025) - 長さ適応型GAEとトークン単位クリッピングを備えた価値モデルベースRLです。安定した学習でAIME 2024において価値モデルなしのGRPO手法を上回ります。
  • ThinkPRM (2025) - 各ステップのCoT検証を生成するプロセス報酬モデルです。教師ラベルを1%しか使わずに識別型PRMに匹敵します。
  • OpenThoughts (2025) - オープン推論モデルのデータ設計に関する1000以上の統制実験です。AIME 2025で最先端を達成し、非公開モデルからの蒸留ベースラインに匹敵します。

長文脈と代替アーキテクチャ

Section titled “長文脈と代替アーキテクチャ”
  • MambaとMamba-2 - 選択的状態空間モデルで、注意機構に代わる線形時間の長文脈処理を実現します。
  • RWKV - 大規模なパラメーター数へ拡張できるRNNとTransformerのハイブリッドです。
  • Jamba (2024) - Mamba、Transformer、MoEを組み合わせたハイブリッドアーキテクチャです。
  • RoPEとYaRN - 回転位置埋め込みとコンテキスト長の拡張手法です。
  • Position Interpolation - 最小限の微調整でコンテキストウィンドウを拡張します。
  • Lost in the Middle - NLPタスクにおける長文脈処理の性能低下パターンを示します。
  • RAG vs Long-Context LLMs (2024) - 長文入力に対する質問応答で両方式のトレードオフを検討します。
  • Titans: Learning to Memorize at Test Time (2025) - テスト時に過去の文脈を記憶するよう学習するニューラル長期記憶モジュールです。200万トークンを超える規模に対応し、言語モデリングと推論でTransformerや最新の線形リカレントモデルを上回ります。
  • MiniMax-01 (2025) - Lightning（線形）注意と疎なsoftmax注意を組み合わせた4560億パラメーターのハイブリッドです。最大400万トークンの推論コンテキストでGPT-4o級のNLP性能を実現します。
  • Native Sparse Attention (NSA) (2025) - 粗粒度の圧縮と細粒度の選択を組み合わせた学習可能な疎注意機構です。NLPベンチマークの性能を損なわず、64Kで大幅な高速化を実現します。
  • LongRoPE2 (2025) - 高周波RoPE次元の学習不足を特定し、進化的探索による再スケーリングを適用します。Metaのレシピより学習トークン数を80分の1に抑えつつ、LLaMA3-8Bを128Kまで拡張します。
  • Characterizing SSM and Hybrid LM Long-Context Performance (2025) - 22万トークンまでのTransformer、SSM、ハイブリッドモデルについて、メモリーと速度を初めて包括的に分析します。SSMは最大4倍高速で、ハイブリッドは想起性能と効率のバランスを取ります。

事実性、幻覚、キャリブレーション

Section titled “事実性、幻覚、キャリブレーション”
  • Survey of Hallucination in Natural Language Generation - 幻覚の分類体系と軽減策をまとめたサーベイです。
  • TruthfulQA - 質問応答の真実性を評価するベンチマークです。
  • FActScore - 長文生成における細粒度の事実精度を測定します。
  • LongFact / SAFE (2024) - 長文の事実性ベンチマークと、検索拡張型評価器です。
  • SelfCheckGPT - サンプリングに基づく幻覚検出です。
  • RAGAS - RAGおよび質問応答パイプライン向けの参照データ不要の評価です。
  • Lookback Lens (2024) - 長文脈生成における注意パターンに基づく幻覚検出です。
  • Calibration of LLMs on Multiple Choice (2024) - 出力形式の影響を踏まえてキャリブレーションを分析します。
  • HalluLens (2025) - 外的・内的幻覚の分類体系と、データ漏洩を防ぐ動的なテストセット再生成を備えたベンチマークです。
  • Atomic Calibration (2025) - 長文生成における主張単位のキャリブレーション分析です。モデルは単一の主張より長い出力で大幅にキャリブレーションが悪化します。
  • FRANQ (2025) - RAGの事実確認向けに忠実性を考慮する不確実性定量化です。忠実性と事実性を形式的に分離します。
  • MUCH (2025) - 英語、フランス語、スペイン語、ドイツ語を対象とする多言語の主張・幻覚ベンチマークです。原理に基づく不確実性定量化評価用にトークン単位のロジットを公開しています。
  • HalluHard (2026) - 引用を要する回答を対象とした難度の高い複数ターン幻覚ベンチマークです。Web検索を使っても約30%の幻覚率が残ります。
  • CURE: Think Through Uncertainty (2026) - 生成前に主張ごとの不確実性について推論するようモデルを学習させます。人物紹介の事実性とFactBench AUROCで大幅な改善を示します。

プロービングと解釈可能性

Section titled “プロービングと解釈可能性”

効率的な小型言語モデル

Section titled “効率的な小型言語モデル”

蒸留と小型モデル：

  • DistilBERTとMiniLM - 本番NLP向けに蒸留されたエンコーダーです。
  • Phi-3 / Phi-4 (Microsoft, 2024) - 厳選データで学習した小型モデルで、NLPベンチマークではるかに大きなモデルに匹敵します。
  • SmolLM2 (HuggingFace, 2025) - 再現可能な学習データを備えた、完全オープンな小型言語モデル群です。
  • SmolLM3 (HuggingFace, 2025) - 11.2兆トークンで事前学習した30億パラメーターの完全オープンデコーダーです。NoPEとYaRNで128Kコンテキストに対応し、40億クラスのモデルに匹敵します。
  • Gemma 3 Technical Report (Google, 2025) - 128KコンテキストでKVキャッシュを扱いやすくする高い局所・大域注意比率を備えた、10億～270億パラメーターのオープンモデルです。
  • Qwen3 Technical Report (Alibaba, 2025) - 0.6B～235Bの密モデルとMoEモデルを統合された思考・非思考モードで提供します。30B-A3BのMoEは、30億パラメーターのみを有効化しながら、より大きな密モデルに匹敵します。
  • Apple Intelligence Foundation Language Models (Apple, 2025) - KVキャッシュ共有と2ビットQATを使うオンデバイス30億モデルで、精度を損なわずキャッシュメモリーを37.5%削減します。
  • Sentence-Transformers - Siamese BERTによる文・段落埋め込みです。
  • SetFit - プロンプトを使わない少数ショットテキスト分類です。
  • FastFit - 多クラス設定向けの高速な少数ショット分類です。
  • GTE、BGE、Stella - MTEB上位に位置する小型テキスト埋め込みモデルです。

量子化とサービング（NLPモデルを大規模に展開する際に有用）：

  • GPTQ - Transformer向けの学習後量子化です。
  • AWQ - 活性化を考慮する重み量子化です。
  • KVTuner (ICML 2025) - 感度を考慮した層ごとの混合精度KVキャッシュ量子化です。一律のKV8に比べ、スループットを最大21%改善します。
  • GGUF / llama.cpp - 移植性の高い量子化推論です。
  • vLLM - PagedAttentionベースの高スループットな言語モデルサービングです。
  • SGLang - 構造化生成と効率的なサービングを提供します。
  • Text Generation Inference (TGI) - Hugging Faceによる本番向け言語モデルサービングです。

パラメーター効率のよい微調整：

  • LoRAとQLoRA - 低ランクアダプターと量子化微調整です。限られたハードウェアで言語モデルをNLPタスクに適応させる標準手法です。
  • DoRA (2024) - 重み分解型の低ランク適応です。
  • PEFT - LoRA、prefix tuning、IA3などをまとめたHugging Faceライブラリです。

指示チューニングと選好最適化

Section titled “指示チューニングと選好最適化”
  • FLAN - ゼロショット学習器としての微調整済み言語モデルです。
  • InstructGPT - 人間のフィードバックを用いて指示に従うよう言語モデルを学習させます。
  • Self-Instruct - 言語モデルから指示データをブートストラップ生成します。
  • Super-NaturalInstructions - 指示付きの1600以上のNLPタスクを収録します。
  • Constitutional AI - 明文化した原則に照らしてAIが生成するフィードバックを使い、言語モデルを学習させます。
  • Direct Preference Optimization - RLHFのよりシンプルな代替手法で、広く採用されています。
  • Tülu 3 (AI2, 2024) - オープンモデルの最先端結果を達成した、完全オープンな事後学習レシピです。
  • LIMA - 「アラインメントでは少ない方がよい」を示し、少量の高品質なSFTデータで大きな効果を得ます。
  • TRL - SFT、DPO、GRPO、RLHFの標準ライブラリです。
  • Magpie (2024-2025) - アラインメント済み言語モデルに何も与えずプロンプトを生成させ、高品質な指示・応答ペアを合成します。フィルタリングしたデータでのSFTは公式Llama-3-Instructに匹敵します。

NLPにおけるバイアス、公平性、安全性

Section titled “NLPにおけるバイアス、公平性、安全性”
  • StereoSet - 事前学習済み言語モデルのステレオタイプバイアスを測定します。
  • CrowS-Pairs - マスク言語モデルの社会的バイアスを測定します。
  • WinoBias - 照応解析におけるジェンダーバイアスです。
  • HolisticBias - 多様な人口統計的観点からバイアスを測定します。
  • RealToxicityPrompts - 言語モデル生成における有害性を扱います。
  • Sycophancy in Language Models - ユーザーの信念に合わせて回答を変えるモデルの傾向を検証します。
  • Alignment Faking in Large Language Models (Anthropic, 2024) - 学習中にモデルが戦略的に指示へ従う現象を扱います。
  • WildGuard (2024) - オープンな安全性モデレーションモデルとベンチマークです。
  • Emergent Misalignment (2025) - 安全でないコードなど限定タスクでの微調整が、無関係な分野にも広範なアラインメント不全を予想外に引き起こします。
  • SafeDialBench (2025) - 22のシナリオと7つのジェイルブレイク戦略にまたがる4000以上の複数ターン対話を収録した、中国語・英語の多言語安全性ベンチマークです。
  • TeleAI-Safety (2025) - 14モデル、12リスク分類を対象に、19攻撃、29防御、19評価手法を統合するモジュール式ジェイルブレイク評価フレームワークです。
  • IndicSafe (2026) - 12のインド諸語を対象とする多言語安全性ベンチマークです。言語間の一致率が12.8%であることや、低リソース文字体系で過剰拒否が起こることを示します。
  • VLAF: Value-Conflict Alignment Faking (2026) - 方針が内在化した価値観と衝突する場合、わずか70億パラメーターのモデルでも37%の事例でアラインメント偽装が起こります。ステアリングベクトルによる軽減で94%削減できます。

言語別NLP

Section titled “言語別NLP”

トップへ戻る

人間の言語ごとにリソースをまとめています。セクションをクリックすると展開します。

アラビア語NLP

Section titled “アラビア語NLP”

トップへ戻る

ライブラリ

Section titled “ライブラリ”
  • CAMeL Tools - 方言判定、形態論、NERなどに対応するアラビア語NLP向けPythonツールキットです。
  • goarabic - アラビア語テキスト処理用のGoパッケージです。
  • jsastem - JavaScript製アラビア語語幹抽出器です。
  • PyArabic - アラビア語向けPythonライブラリです。
  • RFTokenizer - アラビア語、ヘブライ語、コプト語向けの学習可能な分割器です。
  • Farasa - QCRIによるアラビア語の分割、品詞タグ付け、NERです。

モデルと埋め込み

Section titled “モデルと埋め込み”
  • AraBERT - アラビア語BERTモデル群です。
  • CAMeLBERT - 現代標準アラビア語、方言、古典アラビア語向けのBERTモデルです。
  • AraELECTRA - 効率的なアラビア語事前学習モデルで、AraBERTと同時に公開されました。
  • Jais (2023-2024) - アラビア語・英語の二言語オープン言語モデル群です。
  • ALLaM (SDAIA, 2024) - アラビア語を主軸とする基盤モデルです。

データセット

Section titled “データセット”
  • Multidomain Datasets - 入手可能な最大規模の多分野アラビア語感情分析リソースです。
  • LABR - 大規模なアラビア語書評データセットです。
  • Arabic Stopwords - アラビア語ストップワードの集約リストです。
  • ArabicMMLU (2024) - アラビア語MMLUベンチマークです。

中国語NLP

Section titled “中国語NLP”

トップへ戻る

ライブラリ

Section titled “ライブラリ”
  • jieba - 中国語単語分割用Pythonパッケージです。
  • SnowNLP - 中国語NLP用Pythonパッケージです。
  • FudanNLP - 中国語テキスト処理用Javaライブラリです。
  • HanLP - 中国語に強い多言語NLPライブラリです。
  • LTP - HIT Language Technology Platform。分割、POS、NER、構文解析に対応します。

モデルと埋め込み

Section titled “モデルと埋め込み”
  • Chinese-BERT-wwm - 中国語向けの単語全体マスキングBERTです。
  • MacBERT - MLMを訂正として扱う事前学習で改良した中国語BERTです。
  • Qwen 2.5 / Qwen 3 - 中国語に強いAlibabaのオープン言語モデル群です。
  • ChatGLM3 / GLM-4 - 清華大学による中国語・英語の二言語言語モデルです。
  • Baichuan 2 - オープンな中国語言語モデルです。
  • Yi - 01.AIによる二言語オープン言語モデルです。
  • DeepSeek-V3 - 中国語に強い効率的なオープンMoEモデルです。

論文集

Section titled “論文集”
  • funNLP - 中国語NLPツールとリソースの大規模なコレクションです。

デンマーク語NLP

Section titled “デンマーク語NLP”

トップへ戻る

オランダ語NLP

Section titled “オランダ語NLP”

トップへ戻る

  • python-frog - オランダ語NLPスイートFrog（POSタグ付け、レンマ化、依存構造解析、NER）のPythonバインディングです。
  • SimpleNLG_NL - SimpleNLG実装を基にした、自然言語生成用オランダ語表層実現器です。
  • Alpino - オランダ語の依存構造解析器で、POSタグ付けとレンマ化にも対応します。
  • Kaldi NL - Kaldiを基盤とするオランダ語音声認識モデルです。
  • spaCy Dutch model - オランダ語パイプラインを備えた産業用途のNLPです。

ドイツ語NLP

Section titled “ドイツ語NLP”

トップへ戻る

  • German-NLP - ドイツ語に特化した、オープンアクセス、オープンソース、既製のリソースとツールの厳選リストです。

ハンガリー語NLP

Section titled “ハンガリー語NLP”

トップへ戻る

インド諸語NLP

Section titled “インド諸語NLP”

トップへ戻る

データ、コーパス、ツリーバンク

Section titled “データ、コーパス、ツリーバンク”

ログイン／アクセスが必要なコーパスやデータセットはメールで申請できます

Section titled “ログイン／アクセスが必要なコーパスやデータセットはメールで申請できます”

言語モデルと単語埋め込み

Section titled “言語モデルと単語埋め込み”

ライブラリとツール

Section titled “ライブラリとツール”

モデルと埋め込み

Section titled “モデルと埋め込み”
  • IndicBERT v2 (2022-2024) - 23のインド諸語に対応する多言語BERTです。
  • IndicTrans2 (2023-2024) - 22のインド諸語向け高品質機械翻訳です。
  • OpenHathi (Sarvam AI, 2023) - ヒンディー語・英語の二言語LLaMA継続学習モデルです。
  • Airavata (2024) - 指示チューニング済みヒンディー語LLMです。
  • Sarvam-1 (2024) - 10のインド諸語でゼロから学習した多言語モデルです。
  • BharatGPT / Krutrim (2024) - インド諸語に重点を置く基盤モデルです。

インドネシア語NLP

Section titled “インドネシア語NLP”

トップへ戻る

ライブラリと埋め込み

Section titled “ライブラリと埋め込み”

モデル

Section titled “モデル”
  • IndoBERT (IndoNLU) - IndoNLUベンチマークスイートを備えた事前学習済みインドネシア語モデルです。
  • IndoBERT (IndoLEM) - IndoLEMベンチマークに対応する別系統のIndoBERTです。
  • NusaCrowd / Cendol (2023-2024) - インドネシア語と地域言語向けの大規模コミュニティデータセットと、指示チューニング済みCendolモデルです。
  • Sailor - インドネシア語を含む、東南アジア向けのオープン言語モデル群です。
  • SEA-LION (2024) - インドネシア語に強いSingapore AIのオープン東南アジア言語モデルです。

データセット

Section titled “データセット”

韓国語NLP

Section titled “韓国語NLP”

トップへ戻る

ライブラリ

Section titled “ライブラリ”
  • KoNLPy - 韓国語自然言語処理用Pythonパッケージです。
  • Mecab (Korean) - 韓国語NLP用C++ライブラリです。
  • KoalaNLP - 韓国語NLP用Scalaライブラリです。
  • KoNLP - 韓国語NLP用Rパッケージです。
  • kss - 韓国語文分割器です。
  • Kiwi - 高速な韓国語形態素解析器です。
  • Garu - WebAssemblyを使ってブラウザー内で完全にクライアント側実行する韓国語形態素解析器です（モデル1MB、オフライン対応、MITライセンス）。

モデルと埋め込み

Section titled “モデルと埋め込み”
  • KoBERT - SKTによる韓国語BERTです。
  • KLUE-RoBERTa - KLUEベンチマークで学習したモデルです。
  • Polyglot-Ko - オープンな韓国語言語モデルです。
  • EXAONE 3.5 (LG, 2024) - 韓国語・英語の二言語オープン言語モデル群です。
  • HyperCLOVA X - Naverの韓国語基盤モデルです。

ブログとチュートリアル

Section titled “ブログとチュートリアル”

データセット

Section titled “データセット”

ペルシア語NLP

Section titled “ペルシア語NLP”

トップへ戻る

ライブラリ

Section titled “ライブラリ”
  • Hazm - ペルシア語NLPツールキットです。
  • Parsivar - ペルシア語処理ツールキットです。
  • Perke - ペルシア語キーフレーズ抽出です。
  • Perstem - ペルシア語語幹抽出器、形態素解析器、部分POSタグ付け器です。
  • ParsiAnalyzer - Elasticsearch用ペルシア語解析器です。
  • virastar - ペルシア語テキストのクリーニングです。

モデル

Section titled “モデル”
  • ParsBERT - ペルシア語BERTです。
  • PersianMind (2023-2024) - 指示チューニング済みペルシア語モデルです。
  • Dorna (Part AI, 2024) - Llama 3ベースのペルシア語指示モデルです。

データセット

Section titled “データセット”
  • Bijankhan Corpus - ペルシア語（ファルシ語）NLP研究に適したタグ付きコーパスで、40種類のPOSタグを付けた約260万語を収録します。
  • Uppsala Persian Corpus (UPC) - 310種類のPOSタグで注釈した270万トークンを含む、自由に利用できる大規模ペルシア語コーパスです。
  • Large-Scale Colloquial Persian - LSCP。2700万件のくだけたペルシア語ツイートからなる1億2000万文に、依存構造、POS、感情の注釈を付けています。
  • ArmanPersoNERCorpus - IOB形式のNERタグを付けた7682文、25万トークンです。
  • FarsiYar PersianNER - Persian Wikipedia Corpusから得られた、約100万のペルシア語文、約2500万トークンです。
  • PERLEX - SemEval-2010 Task 8を翻訳した、初のペルシア語関係抽出データセットです。
  • Persian Syntactic Dependency Treebank - ペルシア語項価辞書の大部分の動詞を網羅する、注釈付き29,982文です。
  • Uppsala Persian Dependency Treebank (UPDT) - 依存構造に基づく統語注釈付きコーパスです。
  • Hamshahri - CLEF 2008～2009で使用された、標準的で信頼性の高いペルシア語テキスト集です。

ポーランド語NLP

Section titled “ポーランド語NLP”

トップへ戻る

  • Polish-NLP - ポーランド語NLP向けのモデル、ツール、データセットを集めた厳選リストです。

ポルトガル語NLP

Section titled “ポルトガル語NLP”

トップへ戻る

  • Portuguese-nlp - ポルトガル語NLPリソースとツールの厳選リストです。

モデル

Section titled “モデル”
  • BERTimbau - ブラジルポルトガル語向けBERTです。
  • Sabiá (Maritaca AI, 2023-2024) - ポルトガル語に特化したオープン言語モデルです。
  • Albertina (PORTULAN, 2023-2024) - 欧州ポルトガル語とブラジルポルトガル語の両方に対応するエンコーダー専用モデルです。

スペイン語NLP

Section titled “スペイン語NLP”

トップへ戻る

ライブラリ

Section titled “ライブラリ”
  • spanlp - 21のスペイン語圏のデータを用い、スペイン語の冒とく、ヘイトスピーチ、いじめを検出・検閲・除去するPythonライブラリです。

データ

Section titled “データ”

モデルと埋め込み

Section titled “モデルと埋め込み”

タイ語NLP

Section titled “タイ語NLP”

トップへ戻る

ライブラリ

Section titled “ライブラリ”
  • PyThaiNLP - Pythonでタイ語NLPを行います。
  • JTCC - Java向け文字クラスタライブラリです。
  • CutKum - TensorFlowによる深層学習を用いた単語分割です。
  • Thai Language Toolkit - トークン化とPOSタグ付けを行います。
  • SynThai - 深層学習を用いた単語分割とPOSタグ付けです。

モデル

Section titled “モデル”
  • WangchanBERTa - 事前学習済みタイ語モデルです。
  • Typhoon (SCB 10X, 2024) - オープンなタイ語LLM群です。
  • OpenThaiGPT (2023-2024) - オープンなタイ語指示チューニング済みモデルです。
  • Sailor - タイ語を含むオープンな東南アジア言語モデル群です。

データ

Section titled “データ”
  • Inter-BEST - 500万語と単語分割を含むテキストコーパスです。
  • Prime Minister 29 - タイの現首相による演説データセットです。

ウクライナ語NLP

Section titled “ウクライナ語NLP”

トップへ戻る

  • awesome-ukrainian-nlp - ウクライナ語NLPのデータセット、モデルなどを集めた厳選リストです。
  • UkrainianLT - 機械翻訳と音声処理を中心とする厳選リストです。

ウルドゥー語NLP

Section titled “ウルドゥー語NLP”

トップへ戻る

ライブラリ

Section titled “ライブラリ”
  • urduhack - ウルドゥー語NLPライブラリです。

データセット

Section titled “データセット”

ウズベク語NLP

Section titled “ウズベク語NLP”

トップへ戻る

データセット

Section titled “データセット”
  • SOAS English-Uzbek RAG Evaluation - 文化的背景を考慮するRAG向けの英語・ウズベク語二言語検索評価ベンチマークです。400行、英語＋ウズベク語、MIT/CC-BY-4.0ライセンスです。

ベトナム語NLP

Section titled “ベトナム語NLP”

トップへ戻る

ライブラリ

Section titled “ライブラリ”
  • underthesea - ベトナム語NLPツールキットです。
  • vn.vitk - ベトナム語テキスト処理ツールキットです。
  • VnCoreNLP - ベトナム語NLPツールキットです。
  • pyvi - Python向けベトナム語基礎NLPツールキットです。
  • VieNeu-TTS - 音声クローン機能を備えたオンデバイスのベトナム語テキスト読み上げです。

モデルと埋め込み

Section titled “モデルと埋め込み”
  • PhoBERT - ベトナム語の事前学習済みモデルです。
  • BARTpho - ベトナム語のseq2seq事前学習モデルです。
  • PhoGPT (VinAI, 2023-2024) - オープンなベトナム語生成モデルです。
  • Vistral (2024) - Mistralベースのベトナム語チャットモデルです。
  • Sailor (2024) - ベトナム語、タイ語、インドネシア語などの東南アジア諸語を扱うオープン多言語モデル群です。

データ

Section titled “データ”
  • Vietnamese Treebank - 句構造解析タスク向けの1万文です。
  • BKTreeBank - ベトナム語依存構造ツリーバンクです。
  • UD_Vietnamese - Universal Dependenciesのベトナム語ツリーバンクです。
  • VIVOS - HCMUS AILabによる、15時間の録音音声を収録した無料ベトナム語音声コーパスです。
  • VNTQcorpus(big).txt - 175万件のニュース文です。
  • ViText2SQL - ベトナム語Text-to-SQL意味解析データセットです（EMNLP-2020 Findings）。
  • EVB Corpus - 15冊の二言語書籍からなる2000万語、英語・ベトナム語対訳100件、法律対訳250件、ニュース記事5000件、映画字幕2000件を収録します。

その他の言語

Section titled “その他の言語”
  • ロシア語：pymorphy2 - ロシア語向けの優れた品詞タグ付け器です。
  • アジア諸語：タイ語、ラオ語、中国語、日本語、韓国語に対応するICU TokenizerのElasticSearch実装です。
  • 古典語：CLTK - Classical Language Toolkitは、古典語NLP用のPythonライブラリとテキスト集です。
  • ヘブライ語：NLPH_Resources - ヘブライ語NLPの論文、コーパス、言語リソース集です。

トップへ戻る

関連項目

Section titled “関連項目”

対象範囲外の関連トピックを扱う厳選リスト：

引用

Section titled “引用”

このリポジトリが役立った場合は、このリストを引用してください：

@misc{awesome-nlp,
  title  = {Awesome NLP},
  author = {Kim, Keon Woo},
  year   = {2018},
  url    = {https://github.com/keon/awesome-nlp},
  note   = {GitHub repository}
}

ライセンス

Section titled “ライセンス”

ライセンス - CC0

HagiCode

HagiCode はエージェント型コーディングワークスペースです。豊富で便利な UI インタラクションにより、計画・エージェント実行・プロジェクト作業を始めやすく、進めやすくし、開発をより魅力的な体験にします。

豊富で便利な UI インタラクションで、計画からプロジェクト作業までを分かりやすく進められます。

HagiCode を見るドキュメントを読む
  • スマートOpenSpec ワークフローが意図を、提案・設計・タスクから変更のリリースまで実行可能な道筋にします。
  • 効率的マルチエージェント実行で調査・実装・レビューを並行して進め、複数リポジトリや使い慣れた Agent CLI にも対応します。
  • 興味深い豊富で便利な UI インタラクションにより、計画・エージェント実行・プロジェクト作業を始めやすく、進めやすくします。

Windows 版をダウンロード

Microsoft Store で入手すべてのダウンロード

アイデアを、出荷できるソフトウェアへ。

HagiCode はエージェント型コーディングワークスペースです。OpenSpec ワークフローで変更を計画し、マルチエージェント実行で進め、Hero Scenario で長い作業の進み具合を見える化して、アイデアを出荷できるソフトウェアにします。

HagiCode をダウンロード製品ドキュメント
スマート
OpenSpec ワークフローが、意図を提案からリリースまでの実行可能な道筋にします。
効率的
マルチエージェント実行で、調査・実装・レビューを並行して進めます。
楽しい
使いやすい UI で、計画・Agent 実行・プロジェクト作業を進めやすくします。

© 2026 HagiCode | Powered By hagilight-starlight@0.21.0 | Branch: main | Commit: 745b50b | Built:

Awesome Site を離れますか？

外部のウェブサイトに移動しようとしています。そのサイトのコンテンツやプライバシーの取り扱いは管理していません。

移動先

ウェブサイトに進む