LLM

Source: https://github.com/Hannibal046/Awesome-LLM at 538eed00fcb0
License: CC0-1.0
Read the English original

This edition is an AI-assisted translation.

Awesome-LLM

🔥 大規模言語モデル（LLM）は、自然言語処理コミュニティ AIコミュニティ 世界全体を席巻しました。ここでは、大規模言語モデル、特にChatGPTに関する論文を厳選して紹介します。LLMのトレーニング用フレームワーク、デプロイ用ツール、LLMに関する講座やチュートリアル、公開されているすべてのLLMチェックポイントとAPIも掲載しています。

注目のLLMプロジェクト

• TinyZero - DeepSeek R1-Zeroをクリーンで最小限かつ利用しやすい形で再現。
• open-r1 - DeepSeek-R1を完全にオープンな形で再現。
• DeepSeek-R1 - DeepSeekによる初代推論モデル。
• Qwen2.5-Max - 大規模MoEモデルの知能を探究。
• OpenAI o3-mini - 費用対効果の高い推論の最前線を切り拓く。
• DeepSeek-V3 - GPT-4o級として初めてオープンソース化されたモデル。
• Kimi-K2 - アクティブパラメーター数32B、総パラメーター数1TのMoE言語モデル。

目次

• Awesome-LLM
  • 主要論文
  • ほかの論文
  • LLMベンチマーク
  • オープンLLM
  • LLMデータ
  • LLM評価
  • LLMトレーニングフレームワーク
  • LLM推論
  • LLMアプリケーション
  • LLMのチュートリアルと講座
  • LLM関連書籍
  • LLMに関する優れた考察
  • その他

主要論文

主要論文

日付	キーワード	機関	論文
2017-06	Transformers	Google	Attention Is All You Need
2018-06	GPT 1.0	OpenAI	Improving Language Understanding by Generative Pre-Training
2018-10	BERT	Google	BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
2019-02	GPT 2.0	OpenAI	Language Models are Unsupervised Multitask Learners
2019-09	Megatron-LM	NVIDIA	Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism
2019-10	T5	Google	Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
2019-10	ZeRO	Microsoft	ZeRO: Memory Optimizations Toward Training Trillion Parameter Models
2020-01	Scaling Law	OpenAI	Scaling Laws for Neural Language Models
2020-05	GPT 3.0	OpenAI	Language models are few-shot learners
2021-01	Switch Transformers	Google	Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
2021-08	Codex	OpenAI	Evaluating Large Language Models Trained on Code
2021-08	Foundation Models	Stanford	On the Opportunities and Risks of Foundation Models
2021-09	FLAN	Google	Finetuned Language Models are Zero-Shot Learners
2021-10	T0	HuggingFace et al.	Multitask Prompted Training Enables Zero-Shot Task Generalization
2021-12	GLaM	Google	GLaM: Efficient Scaling of Language Models with Mixture-of-Experts
2021-12	WebGPT	OpenAI	WebGPT: Browser-assisted question-answering with human feedback
2021-12	Retro	DeepMind	Improving language models by retrieving from trillions of tokens
2021-12	Gopher	DeepMind	Scaling Language Models: Methods, Analysis & Insights from Training Gopher
2022-01	COT	Google	Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
2022-01	LaMDA	Google	LaMDA: Language Models for Dialog Applications
2022-01	Minerva	Google	Solving Quantitative Reasoning Problems with Language Models
2022-01	Megatron-Turing NLG	Microsoft&NVIDIA	Using Deep and Megatron to Train Megatron-Turing NLG 530B, A Large-Scale Generative Language Model
2022-03	InstructGPT	OpenAI	Training language models to follow instructions with human feedback
2022-04	PaLM	Google	PaLM: Scaling Language Modeling with Pathways
2022-04	Chinchilla	DeepMind	Training Compute-Optimal Large Language Models
2022-05	OPT	Meta	OPT: Open Pre-trained Transformer Language Models
2022-05	UL2	Google	Unifying Language Learning Paradigms
2022-06	Emergent Abilities	Google	Emergent Abilities of Large Language Models
2022-06	BIG-bench	Google	Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models
2022-06	METALM	Microsoft	Language Models are General-Purpose Interfaces
2022-09	Sparrow	DeepMind	Improving alignment of dialogue agents via targeted human judgements
2022-10	Flan-T5/PaLM	Google	Scaling Instruction-Finetuned Language Models
2022-10	GLM-130B	Tsinghua	GLM-130B: An Open Bilingual Pre-trained Model
2022-11	HELM	Stanford	Holistic Evaluation of Language Models
2022-11	BLOOM	BigScience	BLOOM: A 176B-Parameter Open-Access Multilingual Language Model
2022-11	Galactica	Meta	Galactica: A Large Language Model for Science
2022-12	OPT-IML	Meta	OPT-IML: Scaling Language Model Instruction Meta Learning through the Lens of Generalization
2023-01	Flan 2022 Collection	Google	The Flan Collection: Designing Data and Methods for Effective Instruction Tuning
2023-02	LLaMA	Meta	LLaMA: Open and Efficient Foundation Language Models
2023-02	Kosmos-1	Microsoft	Language Is Not All You Need: Aligning Perception with Language Models
2023-03	LRU	DeepMind	Resurrecting Recurrent Neural Networks for Long Sequences
2023-03	PaLM-E	Google	PaLM-E: An Embodied Multimodal Language Model
2023-03	GPT 4	OpenAI	GPT-4 Technical Report
2023-04	LLaVA	UW–Madison&Microsoft	Visual Instruction Tuning
2023-04	Pythia	EleutherAI et al.	Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling
2023-05	Dromedary	CMU et al.	Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision
2023-05	PaLM 2	Google	PaLM 2 Technical Report
2023-05	RWKV	Bo Peng	RWKV: Reinventing RNNs for the Transformer Era
2023-05	DPO	Stanford	Direct Preference Optimization: Your Language Model is Secretly a Reward Model
2023-05	ToT	Google&Princeton	Tree of Thoughts: Deliberate Problem Solving with Large Language Models
2023-07	LLaMA2	Meta	Llama 2: Open Foundation and Fine-Tuned Chat Models
2023-10	Mistral 7B	Mistral	Mistral 7B
2023-12	Mamba	CMU&Princeton	Mamba: Linear-Time Sequence Modeling with Selective State Spaces
2024-01	DeepSeek-v2	DeepSeek	DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model
2024-02	OLMo	Ai2	OLMo: Accelerating the Science of Language Models
2024-05	Mamba2	CMU&Princeton	Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality
2024-05	Llama3	Meta	The Llama 3 Herd of Models
2024-06	FineWeb	HuggingFace	The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale
2024-09	OLMoE	Ai2	OLMoE: Open Mixture-of-Experts Language Models
2024-12	Qwen2.5	Alibaba	Qwen2.5 Technical Report
2024-12	DeepSeek-V3	DeepSeek	DeepSeek-V3 Technical Report
2025-01	DeepSeek-R1	DeepSeek	DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

ほかの論文

[!NOTE] LLM分野に関心がある方は、上記の主要論文一覧から、その歴史や最先端の動向をたどることができます。LLMの各研究方向には独自の知見や貢献があり、分野全体を理解するうえで欠かせません。サブ分野ごとの論文一覧については、以下をご覧ください。

ほかの論文

• Awesome-LLM-hallucination - LLMの幻覚に関する論文一覧。

• awesome-hallucination-detection - LLMの幻覚検出に関する論文一覧。

• LLMsPracticalGuide - LLMの実践ガイド資料を厳選した一覧。

• Awesome ChatGPT Prompts - ChatGPTで使えるプロンプト例集。

• awesome-chatgpt-prompts-zh - ChatGPTで使える中国語のプロンプト例集。

• Awesome ChatGPT - OpenAIのChatGPTとGPT-3に関する資料一覧。

• Chain-of-Thoughts Papers - 「Chain of Thought Prompting Elicits Reasoning in Large Language Models」から始まった潮流。

• Awesome Deliberative Prompting - LLMに信頼できる推論をさせ、推論に基づく意思決定を促す方法。

• Instruction-Tuning-Papers - 「Natrural-Instruction」（ACL 2022）、「FLAN」（ICLR 2022）、「T0」（ICLR 2022）から始まった潮流。

• LLM Reading List - 大規模言語モデルに関する論文・資料一覧。

• Reasoning using Language Models - 言語モデルを用いた推論に関する論文・資料集。

• Chain-of-Thought Hub - LLMの推論性能を測定。

• Awesome GPT - GPT、ChatGPT、OpenAI、LLMなどに関する優れたプロジェクトや資料の一覧。

• Awesome GPT-3 - OpenAI GPT-3 APIに関するデモと記事のコレクション。

• Awesome LLM Human Preference Datasets - LLMの指示チューニング、RLHF、評価向けの人間の選好データセット集。

• RWKV-howto - RWKVを学ぶために役立つ可能性のある資料やチュートリアル。

• ModelEditingPapers - 大規模言語モデルのモデル編集に関する論文・資料一覧。

• Awesome LLM Security - LLMセキュリティ関連の優れたツール、文書、プロジェクト集。

• Awesome-Align-LLM-Human - 大規模言語モデル（LLM）と人間のアラインメントに関する論文・資料集。

• Awesome-Code-LLM - 研究向けの優れたコードLLMを厳選した一覧。

• Awesome-LLM-Compression - LLM圧縮に関する優れた研究論文とツール。

• Awesome-LLM-Systems - LLMシステムに関する優れた研究論文。

• awesome-llm-webapps - LLMアプリ向けのオープンソースで活発に保守されているWebアプリ集。

• awesome-japanese-llm - 日本語LLMまとめ - 日本語LLMの概要。

• Awesome-LLM-Healthcare - 医療分野のLLMに関するレビュー論文一覧。

• Awesome-LLM-Inference - コード付きの優れたLLM推論論文を厳選した一覧。

• Awesome-LLM-3D - 3D理解、推論、生成、身体性を備えたエージェントなど、3D世界のマルチモーダル大規模言語モデル集。

• LLMDatahub - チャットボット学習向けデータセットを厳選したコレクション。リンク、サイズ、言語、用途、各データセットの概要を掲載。

• Awesome-Chinese-LLM - オープンソースの中国語大規模言語モデルを整理した一覧。比較的小規模で、プライベート環境にデプロイしやすく、学習コストの低いモデルを中心に、基盤モデル、特定分野向けのファインチューニングとアプリ、データセット、チュートリアルなどを掲載。

• LLM4Opt - 多様な最適化タスク（Opt）への大規模言語モデル（LLM）の適用は、新たな研究分野です。LLM4Optに関する参考資料と論文を集めています。

• awesome-language-model-analysis - 言語モデルの学習ダイナミクス、表現能力、解釈可能性、汎化など、理論的・実証的な分析に関する論文一覧。

LLMベンチマーク

• Chatbot Arena Leaderboard - 匿名・ランダムな対戦をクラウドソーシング方式で行う、大規模言語モデル（LLM）のベンチマークプラットフォーム。
• LiveBench - 難易度が高く、データ汚染のないLLMベンチマーク。
• Open LLM Leaderboard - 公開されたLLMやチャットボットを追跡、順位付け、評価することを目的としています。
• AlpacaEval - Nousベンチマークスイートを用いた、指示追従型言語モデルの自動評価器。

ほかのベンチマーク

• ACLUE - 古代中国語の読解に焦点を当てた評価ベンチマーク。
• BeHonest - LLMの誠実さを包括的に評価するために設計された先駆的なベンチマーク。
• Berkeley Function-Calling Leaderboard - LLMが外部関数やツールを呼び出す能力を評価します。
• Chinese Large Model Leaderboard - 専門家主導の中国語LLM向けベンチマーク。
• CompassRank - 最先端の言語・視覚モデルを調査し、業界と研究向けに包括的で客観的かつ中立的な評価基準を提供します。
• CompMix - 異種の入力ソース（KB、テキスト、表、インフォボックス）の混在を扱うQA手法の評価ベンチマーク。
• DreamBench++ - テキストと視覚の双方に関する想像力を要する各種タスクで、大規模言語モデル（LLM）の性能を評価します。
• FELM - 大規模言語モデル（LLM）の出力を事実性評価器がどれほど適切に評価できるかを測定するメタベンチマーク。
• InfiBench - 実世界のコーディング関連の質問に答える能力に特化してLLMを評価するベンチマーク。
• LawBench - 法律分野の大規模言語モデルを評価するベンチマーク。
• LLMEval - さまざまな状況でのモデルの性能を把握し、解釈可能性の観点から結果を分析します。
• M3CoT - 言語、自然科学・社会科学、物理・社会常識、時間的推論、代数、幾何など、多様なマルチモーダル推論タスクでLLMを評価します。
• MathEval - 20分野、約3万問にわたって大規模モデルの数学的能力を評価する包括的なベンチマークプラットフォーム。
• MixEval - 既存のベンチマーク混合から作成された正解データ付きの動的ベンチマーク。Chatbot Arenaとの相関係数0.96のモデル順位付けを実現し、ローカルで迅速に実行できます（MMLU実行時の6%の時間とコスト）。
• MMedBench - 複数言語の医療質問に答えるLLMの能力を評価するベンチマーク。
• MMToM-QA - 人間の信念や目標を理解するAIモデルの認知能力を評価するマルチモーダル質問応答ベンチマーク。
• OlympicArena - 数学、物理、化学、生物学など複数の学問分野にわたってAIモデルを評価するベンチマーク。
• PubMedQA - PubMedの抄録を用いて研究関連の質問に回答する生物医学分野の質問応答ベンチマーク。
• SciBench - 化学、物理、数学などの大学レベルの複雑な科学問題を解くLLMの能力を評価するベンチマーク。
• SuperBench - 自然言語理解、推論、汎化など、さまざまな側面の性能を中心にLLMを評価するベンチマークプラットフォーム。
• SuperLim - 議論分析、意味的類似性、テキスト含意などのタスクでNLPモデルを評価するスウェーデン語理解ベンチマーク。
• TAT-DQA - 特に財務報告書の複雑な文書理解を対象とした、大規模な文書視覚質問応答（VQA）データセット。
• TAT-QA - 表形式とテキスト形式の情報を統合し、実世界の財務データを扱う大規模な質問応答ベンチマーク。
• VisualWebArena - 現実的で視覚に基づくタスクにおいてマルチモーダルWebエージェントの性能を評価するベンチマーク。
• We-Math - 大規模マルチモーダルモデル（LMM）が人間のような数学的推論を行う能力を評価するベンチマーク。
• WHOOPS! - 通常の予想に反する画像を通じて、視覚的常識をAIが推論する能力を検証するベンチマークデータセット。

オープンLLM

DeepSeek

• DeepSeek-Math-7B
• DeepSeek-Coder-1.3|6.7|7|33B
• DeepSeek-VL-1.3|7B
• DeepSeek-MoE-16B
• DeepSeek-v2-236B-MoE
• DeepSeek-Coder-v2-16|236B-MOE
• DeepSeek-V2.5
• DeepSeek-V3
• DeepSeek-R1

Alibaba

• Qwen-1.8B|7B|14B|72B
• Qwen1.5-0.5B|1.8B|4B|7B|14B|32B|72B|110B|MoE-A2.7B
• Qwen2-0.5B|1.5B|7B|57B-A14B-MoE|72B
• Qwen2.5-0.5B|1.5B|3B|7B|14B|32B|72B
• CodeQwen1.5-7B
• Qwen2.5-Coder-1.5B|7B|32B
• Qwen2-Math-1.5B|7B|72B
• Qwen2.5-Math-1.5B|7B|72B
• Qwen-VL-7B
• Qwen2-VL-2B|7B|72B
• Qwen2-Audio-7B
• Qwen2.5-VL-3|7|72B
• Qwen2.5-1M-7|14B

Meta

• Llama 3.2-1|3|11|90B
• Llama 3.1-8|70|405B
• Llama 3-8|70B
• Llama 2-7|13|70B
• Llama 1-7|13|33|65B
• OPT-1.3|6.7|13|30|66B

Mistral AI

• Codestral-7|22B
• Mistral-7B
• Mixtral-8x7B
• Mixtral-8x22B

Google

• Gemma2-9|27B
• Gemma-2|7B
• RecurrentGemma-2B
• T5

Apple

• OpenELM-1.1|3B

Microsoft

• Phi1-1.3B
• Phi2-2.7B
• Phi3-3.8|7|14B

AllenAI

• OLMo-7B

xAI

• Grok-1-314B-MoE

Cohere

• Command R-35B

01-ai

• Yi-34B
• Yi1.5-6|9|34B
• Yi-VL-6B|34B

Baichuan

• Baichuan-7|13B
• Baichuan2-7|13B

Nvidia

• Nemotron-4-340B

BLOOM

• BLOOMZ&mT0

Zhipu AI

• GLM-2|6|10|13|70B
• CogVLM2-19B

OpenBMB

• MiniCPM-2B
• OmniLLM-12B
• VisCPM-10B
• CPM-Bee-1|2|5|10B

RWKV Foundation

• RWKV-v4|5|6minicpm-2b-65d48bf958302b9fd25b698f)

ElutherAI

• Pythia-1|1.4|2.8|6.9|12B

Stability AI

• StableLM-3B
• StableLM-v2-1.6B
• StableLM-v2-12B
• StableCode-3B

BigCode

• StarCoder-1|3|7B
• StarCoder2-3|7|15B

DataBricks

• MPT-7B
• DBRX-132B-MoE

Shanghai AI Laboratory

• InternLM2-1.8|7|20B
• InternLM-Math-7B|20B
• InternLM-XComposer2-1.8|7B
• InternVL-2|6|14|26

Moonshot AI

• Moonlight-A3B
• Kimi-VL-A3B
• Kimi-K2

LLMデータ

参考： LLMDataHub

• IBM data-prep-kit - 事前構築済みモジュールと、ローカルからクラスターまで拡張可能な仕組みを備えた、非構造化データを効率的に処理するオープンソースツールキット。
• Datatrove - プラットフォーム非依存でカスタマイズ可能なパイプライン処理ブロックを提供し、スクリプト作成に追われるデータ処理から解放します。
• Dingo - 包括的なデータ品質評価ツール。
• FastDatasets - 大規模言語モデル向けの高品質な学習データセットを作成する強力なツール。

LLM評価:

• lm-evaluation-harness - 言語モデルの少数ショット評価用フレームワーク。
• lighteval - Hugging Faceが社内で使用している軽量なLLM評価スイート。
• simple-evals - OpenAIによる評価ツール。

ほかの評価フレームワーク

• OLMO-eval - オープン言語モデルを評価するためのリポジトリ。
• MixEval - オープンソース・プロプライエタリ双方のモデルに対応し、MixEvalなどをサポートする、簡単に使える信頼性の高い評価スイート。
• HELM - 言語モデルの透明性向上を目指すフレームワーク、Holistic Evaluation of Language Models（HELM）。
• instruct-eval - AlpacaやFlan-T5などの指示チューニング済みモデルを未使用タスクで定量評価するコードを含むリポジトリ。
• Giskard - LLMアプリケーション、特にRAG向けのテスト・評価ライブラリ。
• LangSmith - LangChainフレームワークの統合プラットフォーム。評価、Human In The Loop（HITL）での共同作業、LLMアプリのログ記録と監視を提供します。
• Ragas - 検索拡張生成（RAG）パイプラインの評価を支援するフレームワーク。

LLMトレーニングフレームワーク

• Meta Lingua - LLM研究のための軽量で効率的、かつ改変しやすいコードベース。
• Litgpt - 20種類以上の高性能LLMの事前学習、ファインチューニング、大規模デプロイ用レシピ。
• nanotron - 大規模言語モデルの3D並列学習を行うミニマルなフレームワーク。
• DeepSpeed - 分散学習と推論を簡単かつ効率的・効果的にするディープラーニング最適化ライブラリ。
• Megatron-LM - 大規模Transformerモデル学習に関する継続的な研究。
• torchtitan - 大規模モデル学習のためのPyTorchネイティブライブラリ。

ほかのフレームワーク

• Megatron-DeepSpeed - MoEモデル学習、カリキュラム学習、3D並列化などを追加サポートする、NVIDIA Megatron-LMのDeepSpeed版。
• torchtune - LLMファインチューニング向けのPyTorchネイティブライブラリ。
• ROLL - 大規模言語モデルを用いた強化学習向けの効率的で使いやすいスケーリングライブラリ。
• veRL - 柔軟で効率的なLLM向けRLフレームワーク。
• NeMo Framework - 大規模言語モデル（LLM）、マルチモーダルモデル（MM）、自動音声認識（ASR）、音声合成（TTS）、コンピュータビジョン（CV）に取り組む研究者やPyTorch開発者向けの生成AIフレームワーク。
• Colossal-AI - 大規模AIモデルをより安価に、より高速に、より利用しやすくします。
• BMTrain - 大規模モデルの効率的な学習。
• Mesh Tensorflow - モデル並列化を簡単にするMesh TensorFlow。
• maxtext - シンプルで高性能、スケーラブルなJAX製LLM。
• GPT-NeoX - DeepSpeedを基盤に、GPU上でモデル並列の自己回帰Transformerを実装。
• Transformer Engine - NVIDIA GPUでのTransformerモデル学習を高速化するライブラリ。
• OpenRLHF - 使いやすくスケーラブルで高性能なRLHFフレームワーク（70B以上のPPOフルチューニング、反復DPO、LoRA、RingAttention、RFTに対応）。
• TRL - 教師ありファインチューニング（SFT）、報酬モデリング（RM）、近接方策最適化（PPO）まで、強化学習でTransformer言語モデルを学習するツール一式を提供するフルスタックライブラリ。
• unslothai - 効率的なファインチューニングに特化したフレームワーク。GitHubには各種LLM向けテンプレートがあり、Google Colab上で独自データを無料で簡単に学習できます。
• Axolotl - LLMのファインチューニングと評価を行うオープンソースフレームワーク。学習設定の実験を簡素化し、結果の再現と共有を容易にします。LoRA、QLoRA、DeepSpeed、PEFT、マルチGPUなどに対応。

LLM推論

参考： llm-inference-solutions

• SGLang - 大規模言語モデルと視覚言語モデル向けの高速なサービングフレームワーク。
• vLLM - LLM向けの高スループットかつメモリ効率に優れた推論・サービングエンジン。
• llama.cpp - C/C++によるLLM推論。
• ollama - Llama 3、Mistral、Gemmaなどの大規模言語モデルをすぐに実行できます。
• TGI - 大規模言語モデル（LLM）のデプロイとサービング用ツールキット。
• TensorRT-LLM - LLM推論のためのNvidiaフレームワーク。

ほかのデプロイツール

• FasterTransformer - NVIDIAのLLM推論フレームワーク（TensorRT-LLMへ移行）。
• MInference - 長文脈LLM推論を高速化するため、近似的な動的スパース計算でAttentionを処理します。A100でプレフィル処理のレイテンシを精度を維持しながら最大10倍削減。
• exllama - 量子化重み用に、HF transformersのLlama実装をよりメモリ効率よく書き直したもの。
• FastChat - Web UIとOpenAI互換RESTful APIを備えた分散型マルチモデルLLMサービングシステム。
• mistral.rs - 非常に高速なLLM推論。
• SkyPilot - あらゆるクラウドでLLMやバッチジョブを実行。シンプルな操作でコストを抑え、GPUの利用可能性を高め、実行環境を管理します。
• Haystack - Hugging Face、OpenAI、CohereのLLMやTransformer系モデルを自分のデータと連携できるオープンソースNLPフレームワーク。
• OpenLLM - あらゆるオープンソースLLMを本番環境でファインチューニング、サービング、デプロイ、監視できます。BentoMLではLLMアプリに本番利用されています。
• DeepSpeed-Mii - DeepSpeedを基盤に、vLLMに似た低レイテンシ・高スループット推論を実現。
• Text-Embeddings-Inference - Rustによるテキスト埋め込み推論。HFOILライセンス。
• Infinity - Pythonによるテキスト埋め込み推論。
• LMDeploy - LLMとVL向けの高スループット・低レイテンシな推論・サービングフレームワーク。
• Liger-Kernel - LLM学習向けの効率的なTritonカーネル。
• prima.cpp - 一般的なデバイスで70BクラスのLLMを実行できるllama.cppの分散実装。
• deploy-llms-with-ansible - Ansibleを使い、最小限の設定で任意のLLMをVMに簡単にデプロイ。

LLMアプリケーション

参考： awesome-llm-apps

• dspy - DSPy：プロンプトではなくプログラミングで基盤モデルを扱うフレームワーク。
• LangChain — 言語モデルのプロンプトを連鎖させる人気のPython/JavaScriptライブラリ。
• LlamaIndex — LLMアプリをデータで拡張するPythonライブラリ。

その他のアプリケーション

• MLflow - エンドツーエンドの機械学習ライフサイクルを支援するオープンソースフレームワーク。実験追跡、モデル／プロンプトの評価、デプロイ、トレーシングによる可観測性を提供。

• Swiss Army Llama - ローカルLLMをさまざまなタスクで扱うための包括的なツール群。

• LiteChain - LLMを組み合わせるためのLangChainの軽量な代替。

• magentic - LLMをPython関数としてシームレスに統合。

• wechat-chatgpt - wechatyを介してWeChatでChatGPTを利用。

• promptfoo - プロンプトをテストし、LLM出力を評価・比較して、リグレッションを検出し、品質を改善します。

• Agenta - LLM搭載アプリを簡単に構築、バージョン管理、評価、デプロイ。

• Serge - llama.cppでAlpacaモデルを実行するチャットUI。APIキー不要、完全セルフホスト。

• Langroid - マルチエージェントプログラミングでLLMを活用。

• Embedchain - データセット上でChatGPT風ボットを作成するフレームワーク。

• Opik - 開発から本番運用まで言語モデル出力を調整する可観測性ツール群で、LLMアプリを評価、テスト、リリースできます。

• IntelliServer - 複数のAIモデルにアクセスしてテストする統合マイクロサービスによりLLM評価を簡素化。

• Langchain-Chatchat - 旧称langchain-ChatGLM。LangChainを使うChatGLM風のローカル知識ベース型LLM QAアプリ。

• Search with Lepton - LeptonAIを使い、500行未満のコードで対話型検索エンジンを構築。

• Robocorp - Pythonでアクションを作成、デプロイ、運用し、AIエージェントやアシスタントを強化。豊富なライブラリ、ヘルパー、ログ機能を備えています。

• Tune Studio - 開発者向けのLLMファインチューニング・デプロイ用プレイグラウンド。

• LLocalSearch - LLMチェーンを使ったローカル実行型Web検索。

• AI Gateway — 100以上のオープン／クローズドソースモデルへの要求を統合APIで効率化。キャッシュ、フォールバック、再試行、タイムアウト、負荷分散を備え、本番利用でき、エッジにもデプロイ可能。

• talkd.ai dialog - プラグインを追加し、任意のRAGやLLMをデプロイできるシンプルなAPI。

• Wllama - llama.cppのWebAssemblyバインディング。ブラウザー内LLM推論を可能にします。

• GPUStack - LLM実行用のオープンソースGPUクラスター管理ツール。

• MNN-LLM — デバイス上のLLM推論（携帯電話／PC／IoT）を含むデバイス推論フレームワーク。

• CAMEL - 初のLLMマルチエージェントフレームワーク。

• QA-Pilot - Ollama/OpenAI/MistralAIのLLMでGitHubのコードリポジトリや圧縮ファイルを素早く理解・探索する対話型チャットプロジェクト。

• Shell-Pilot - LinuxまたはMacOS上で、純粋なシェルスクリプトからOllama（またはopenAI、mistralAI）のLLMと対話し、依存関係なしでシステム管理を高度化。

• MindSQL - セルフホスト機能とRESTful APIを備え、プロプライエタリとオープンソース双方のLLMに対応するTxt-to-SQL用Pythonパッケージ。

• Langfuse - オープンソースのLLMエンジニアリングプラットフォーム。トレーシング、評価、プロンプト管理、プレイグラウンドを提供。

• AdalFlow - LLMアプリの構築と自動最適化のためのライブラリ。

• Guidance — Microsoft製のPythonライブラリ。Handlebarsテンプレートで生成、プロンプト、論理制御を組み合わせます。

• Evidently — MLおよびLLM搭載システムを評価、テスト、監視するオープンソースフレームワーク。

• Chainlit — チャットボットUIを作成するPythonライブラリ。

• Guardrails.ai — 出力を検証し、失敗時に再試行するPythonライブラリ。アルファ版のため、未完成の機能やバグにご注意ください。

• Semantic Kernel — プロンプトテンプレート、関数の連鎖、ベクトル化メモリ、インテリジェントな計画を支援するMicrosoft製Python/C#/Javaライブラリ。

• Prompttools — モデル、ベクトルDB、プロンプトのテスト・評価用オープンソースPythonツール。

• Outlines — プロンプトを簡素化し生成を制約するDSLを提供するPythonライブラリ。

• Promptify — 言語モデルでNLPタスクを実行する小規模Pythonライブラリ。

• Scale Spellbook — 言語モデルアプリを構築、比較、リリースする有料製品。

• PromptPerfect — プロンプトをテスト・改善する有料製品。

• Weights & Biases — モデル学習やプロンプトエンジニアリングの実験を追跡する有料製品。

• OpenAI Evals — 言語モデルとプロンプトのタスク性能を評価するオープンソースライブラリ。

• Arthur Shield — 有害性、幻覚、プロンプトインジェクションなどを検出する有料製品。

• LMQL — 型付きプロンプト、制御フロー、制約、ツールをサポートするLLM対話向けプログラミング言語。

• ModelFusion - LLMや音声認識・合成、画像生成などのMLモデルを使うアプリ向けTypeScriptライブラリ。

• OneKE — 知識グラフと自然言語処理技術を用いる中国語・英語対応のナレッジ抽出モデル。

• llm-ui - LLM UI構築用のReactライブラリ。

• Wordware - 技術者ではない分野の専門家がAIエンジニアとタスク特化型AIエージェントを作るWebホストIDE。プロンプトをローコード／ノーコードのブロックではなく、新しいプログラミング言語として扱います。

• Wallaroo.AI - クラウドからエッジまで、あらゆる環境でモデルを大規模にデプロイ、管理、最適化。Pythonノートブックから推論まで数分で実現します。

• Dify - AIワークフロー、モデル管理、本番デプロイを効率化する直感的なオープンソースLLMアプリ開発プラットフォーム。

• LazyLLM - マルチエージェントLLMアプリを簡単に構築できるオープンソースLLMアプリ。モデルのデプロイとファインチューニングに対応。

• MemFree - オープンソースのハイブリッドAI検索エンジン。Web、ブックマーク、メモ、文書からすぐに正確な回答を取得し、ワンクリックでデプロイ。

• AutoRAG - RAG向けオープンソースAutoMLツール。生成評価データセットから最適化済みRAGパイプラインのデプロイまで、回答品質を自動最適化。

• Epsilla - 独自データや知識を活用するオールインワンLLMエージェントプラットフォーム。初日から本番利用できるAIエージェントを提供。

• Arize-Phoenix - ノートブック環境で動作するオープンソースML可観測性ツール。LLM、CV、表形式モデルを監視・微調整。

• LLM - リモートAPI経由でもローカル実行モデルでも、大規模言語モデルと対話するCLIユーティリティ兼Pythonライブラリ。

• Just-Chat - LLMエージェントを簡単かつ素早く作成し、対話できます。

• Agentic Radar - エージェント型ワークフロー向けオープンソースCLIセキュリティスキャナー。ソースコードから脆弱性を検出し、詳細レポートと対話型可視化を生成。LangGraph、CrewAI、n8n、OpenAI Agentsなどに対応。

• LangWatch - オープンソースのLLM可観測性、プロンプト評価・最適化プラットフォーム。

• TensorZero - 本番品質のLLMアプリ構築用オープンソースフレームワーク。LLMゲートウェイ、可観測性、最適化、評価、実験を統合。

LLMのチュートリアルと講座

• Andrej Karpathy Series - お気に入り！
• Umar Jamil Series - 見逃せない、質の高い教育動画シリーズ。
• Alexander Rush Series - 見逃せない、質の高い教育資料。
• llm-course - ロードマップとColabノートブックでLLMを学ぶ講座。
• UWaterloo CS 886 - 基盤モデルに関する最新の進展。
• CS25-Transformers United
• ChatGPT Prompt Engineering
• Princeton: Understanding Large Language Models
• CS324 - Large Language Models
• State of GPT
• A Visual Guide to Mamba and State Space Models
• Let’s build GPT: from scratch, in code, spelled out.
• minbpe - LLMトークン化で広く使われるByte Pair Encoding（BPE）アルゴリズムの簡潔で読みやすいコード。
• femtoGPT - 最小限のGenerative Pretrained Transformerを純粋なRustで実装。
• Neurips2022-Foundational Robustness of Foundation Models
• ICML2022-Welcome to the “Big Model” Era: Techniques and Systems to Train and Serve Bigger Models
• GPT in 60 Lines of NumPy
• LLM‑RL‑Visualized (EN) | LLM‑RL‑Visualized (中文) - LLM／RLアルゴリズムのマップを100件以上収録📚。

LLM関連書籍

• Generative AI with LangChain: Build large language model (LLM) apps with Python, ChatGPT, and other LLMs - 多くの機能を紹介するGitHubリポジトリが付属。
• Build a Large Language Model (From Scratch) - 実際に動作する独自LLMを構築するためのガイド。
• BUILD GPT: HOW AI WORKS - Generative Pre-trained Transformer（GPT）をゼロからコーディングする方法を解説。
• Hands-On Large Language Models: Language Understanding and Generation - 275点以上のオリジナル図版を収録した図解ガイドで、大規模言語モデルの世界を探りましょう。
• The Chinese Book for Large Language Models - 大規模言語モデルのサーベイに基づくLLM入門教科書。

LLMに関する優れた考察

• Why did all of the public reproduction of GPT-3 fail?
• A Stage Review of Instruction Tuning
• LLM Powered Autonomous Agents
• Why you should work on AI AGENTS!
• Google “We Have No Moat, And Neither Does OpenAI”
• AI competition statement
• Prompt Engineering
• Noam Chomsky: The False Promise of ChatGPT
• Is ChatGPT 175 Billion Parameters? Technical Analysis
• The Next Generation Of Large Language Models
• Large Language Model Training in 2023
• How does GPT Obtain its Ability? Tracing Emergent Abilities of Language Models to their Sources
• Open Pretrained Transformers
• Scaling, emergence, and reasoning in large language models

その他

• Emergent Mind - GPT-4が厳選・解説する最新AIニュース。
• ShareGPT - お気に入りのChatGPT会話をワンクリックで共有。
• Major LLMs + Data Availability
• 500+ Best AI Tools
• Cohere Summarize Beta - テキスト要約向けの新しいエンドポイント、Cohere Summarize Betaを紹介。
• chatgpt-wrapper - ChatGPTと対話するための、非公式なオープンソースPython API兼CLI。
• Cursor - 強力なAIでコードの作成、編集、相談ができます。
• AutoGPT - GPT-4言語モデルの機能を示す実験的なオープンソースアプリケーション。
• OpenAGI - LLMと分野専門家の出会い。
• EasyEdit - 大規模言語モデルを簡単に編集できるフレームワーク。
• chatgpt-shroud - チャット履歴の表示・非表示を簡単に切り替え、画面共有時のプライバシーを守るOpenAI ChatGPT用Chrome拡張機能。
• AI For Developers - 開発者向けAIツールとエージェントの一覧。

貢献

活発に活動しているリポジトリです。皆さんの貢献を歓迎します！

LLMにふさわしいか判断しかねるプルリクエストは、いくつかオープンのままにします。👍を付けて投票してください。

---

この独自の視点によるリストについて質問があれば、遠慮なくchengxin1998@stu.pku.edu.cnまでご連絡ください。