LLM

Source: https://github.com/Hannibal046/Awesome-LLM at 538eed00fcb0
License: CC0-1.0
Read the English original

This edition is an AI-assisted translation.

Awesome-LLM

🔥 大语言模型（LLM）已经席卷了NLP 社区 AI 社区 整个世界。这里精选了有关大语言模型的论文，尤其是与 ChatGPT 相关的论文。内容还包括 LLM 训练框架、LLM 部署工具、LLM 课程与教程，以及所有公开可用的 LLM 检查点和 API。

热门 LLM 项目

• TinyZero - 对 DeepSeek R1-Zero 清晰、精简且易于上手的复现
• open-r1 - 对 DeepSeek-R1 的完全开放复现
• DeepSeek-R1 - DeepSeek 推出的第一代推理模型。
• Qwen2.5-Max - 探索大规模 MoE 模型的智能。
• OpenAI o3-mini - 推动高性价比推理的前沿。
• DeepSeek-V3 - 首个开源的 GPT-4o 级别模型。
• Kimi-K2 - 采用 MoE 架构的语言模型，激活参数为 32B，总参数量为 1T。

目录

• Awesome-LLM
  • 里程碑论文
  • 其他论文
  • LLM 排行榜
  • 开放式 LLM
  • LLM 数据
  • LLM 评测
  • LLM 训练框架
  • LLM 推理
  • LLM 应用
  • LLM 教程与课程
  • LLM 图书
  • 关于 LLM 的精彩观点
  • 其他资源

里程碑论文

里程碑论文

日期	关键词	机构	论文
2017-06	Transformer 架构	Google	Attention Is All You Need
2018-06	GPT 1.0	OpenAI	Improving Language Understanding by Generative Pre-Training
2018-10	BERT	Google	BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
2019-02	GPT 2.0	OpenAI	Language Models are Unsupervised Multitask Learners
2019-09	Megatron-LM	NVIDIA	Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism
2019-10	T5	Google	Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
2019-10	ZeRO	Microsoft	ZeRO: Memory Optimizations Toward Training Trillion Parameter Models
2020-01	缩放定律	OpenAI	Scaling Laws for Neural Language Models
2020-05	GPT 3.0	OpenAI	Language models are few-shot learners
2021-01	Switch Transformers	Google	Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
2021-08	Codex	OpenAI	Evaluating Large Language Models Trained on Code
2021-08	基础模型	Stanford	On the Opportunities and Risks of Foundation Models
2021-09	FLAN	Google	Finetuned Language Models are Zero-Shot Learners
2021-10	T0	HuggingFace et al.	Multitask Prompted Training Enables Zero-Shot Task Generalization
2021-12	GLaM	Google	GLaM: Efficient Scaling of Language Models with Mixture-of-Experts
2021-12	WebGPT	OpenAI	WebGPT: Browser-assisted question-answering with human feedback
2021-12	Retro	DeepMind	Improving language models by retrieving from trillions of tokens
2021-12	Gopher	DeepMind	Scaling Language Models: Methods, Analysis & Insights from Training Gopher
2022-01	COT	Google	Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
2022-01	LaMDA	Google	LaMDA: Language Models for Dialog Applications
2022-01	Minerva	Google	Solving Quantitative Reasoning Problems with Language Models
2022-01	Megatron-Turing NLG	Microsoft&NVIDIA	Using Deep and Megatron to Train Megatron-Turing NLG 530B, A Large-Scale Generative Language Model
2022-03	InstructGPT	OpenAI	Training language models to follow instructions with human feedback
2022-04	PaLM	Google	PaLM: Scaling Language Modeling with Pathways
2022-04	Chinchilla	DeepMind	Training Compute-Optimal Large Language Models
2022-05	OPT	Meta	OPT: Open Pre-trained Transformer Language Models
2022-05	UL2	Google	Unifying Language Learning Paradigms
2022-06	涌现能力	Google	Emergent Abilities of Large Language Models
2022-06	BIG-bench	Google	Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models
2022-06	METALM	Microsoft	Language Models are General-Purpose Interfaces
2022-09	Sparrow	DeepMind	Improving alignment of dialogue agents via targeted human judgements
2022-10	Flan-T5/PaLM	Google	Scaling Instruction-Finetuned Language Models
2022-10	GLM-130B	Tsinghua	GLM-130B: An Open Bilingual Pre-trained Model
2022-11	HELM	Stanford	Holistic Evaluation of Language Models
2022-11	BLOOM	BigScience	BLOOM: A 176B-Parameter Open-Access Multilingual Language Model
2022-11	Galactica	Meta	Galactica: A Large Language Model for Science
2022-12	OPT-IML	Meta	OPT-IML: Scaling Language Model Instruction Meta Learning through the Lens of Generalization
2023-01	Flan 2022 Collection	Google	The Flan Collection: Designing Data and Methods for Effective Instruction Tuning
2023-02	LLaMA	Meta	LLaMA: Open and Efficient Foundation Language Models
2023-02	Kosmos-1	Microsoft	Language Is Not All You Need: Aligning Perception with Language Models
2023-03	LRU	DeepMind	Resurrecting Recurrent Neural Networks for Long Sequences
2023-03	PaLM-E	Google	PaLM-E: An Embodied Multimodal Language Model
2023-03	GPT 4	OpenAI	GPT-4 Technical Report
2023-04	LLaVA	UW–Madison&Microsoft	Visual Instruction Tuning
2023-04	Pythia	EleutherAI et al.	Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling
2023-05	Dromedary	CMU et al.	Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision
2023-05	PaLM 2	Google	PaLM 2 Technical Report
2023-05	RWKV	Bo Peng	RWKV: Reinventing RNNs for the Transformer Era
2023-05	DPO	Stanford	Direct Preference Optimization: Your Language Model is Secretly a Reward Model
2023-05	ToT	Google&Princeton	Tree of Thoughts: Deliberate Problem Solving with Large Language Models
2023-07	LLaMA2	Meta	Llama 2: Open Foundation and Fine-Tuned Chat Models
2023-10	Mistral 7B	Mistral	Mistral 7B
2023-12	Mamba	CMU&Princeton	Mamba: Linear-Time Sequence Modeling with Selective State Spaces
2024-01	DeepSeek-v2	DeepSeek	DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model
2024-02	OLMo	Ai2	OLMo: Accelerating the Science of Language Models
2024-05	Mamba2	CMU&Princeton	Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality
2024-05	Llama3	Meta	The Llama 3 Herd of Models
2024-06	FineWeb	HuggingFace	The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale
2024-09	OLMoE	Ai2	OLMoE: Open Mixture-of-Experts Language Models
2024-12	Qwen2.5	Alibaba	Qwen2.5 Technical Report
2024-12	DeepSeek-V3	DeepSeek	DeepSeek-V3 Technical Report
2025-01	DeepSeek-R1	DeepSeek	DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

其他论文

[!NOTE] 如果你对 LLM 领域感兴趣，上述里程碑论文列表有助于了解其发展历程和最新进展。不过，LLM 的每个研究方向都有独特的见解和贡献，这些内容对于全面理解该领域至关重要。各个子领域的详细论文列表请参阅以下链接：

其他论文

• Awesome-LLM-hallucination - LLM 幻觉相关论文列表。

• awesome-hallucination-detection - LLM 幻觉检测论文列表。

• LLMsPracticalGuide - 精选的 LLM 实用指南资源列表

• Awesome ChatGPT Prompts - 供 ChatGPT 模型使用的提示词示例合集。

• awesome-chatgpt-prompts-zh - 供 ChatGPT 模型使用的中文提示词示例合集。

• Awesome ChatGPT - 精选的 OpenAI ChatGPT 和 GPT-3 相关资源列表。

• Chain-of-Thoughts Papers - 这一研究趋势始于《Chain of Thought Prompting Elicits Reasoning in Large Language Models》。

• Awesome Deliberative Prompting - 如何让 LLM 生成可靠的推理并做出基于推理的决策。

• Instruction-Tuning-Papers - 这一研究趋势始于 Natrural-Instruction（ACL 2022）、FLAN（ICLR 2022）和 T0（ICLR 2022）。

• LLM Reading List - 大语言模型论文与资源列表。

• Reasoning using Language Models - 关于使用语言模型进行推理的论文与资源合集。

• Chain-of-Thought Hub - 衡量 LLM 的推理表现

• Awesome GPT - 精选的 GPT、ChatGPT、OpenAI、LLM 等相关优秀项目和资源列表。

• Awesome GPT-3 - 关于 OpenAI GPT-3 API 的演示和文章合集。

• Awesome LLM Human Preference Datasets - 用于 LLM 指令微调、RLHF 和评测的人类偏好数据集合集。

• RWKV-howto - 学习 RWKV 时可能有用的资料和教程。

• ModelEditingPapers - 大语言模型模型编辑相关的论文与资源列表。

• Awesome LLM Security - 精选的 LLM 安全工具、文档和项目。

• Awesome-Align-LLM-Human - 关于让大语言模型（LLM）与人类对齐的论文和资源合集。

• Awesome-Code-LLM - 精选的优秀代码 LLM 研究资源列表。

• Awesome-LLM-Compression - 优秀的 LLM 压缩研究论文和工具。

• Awesome-LLM-Systems - 优秀的 LLM 系统研究论文。

• awesome-llm-webapps - 开源且持续维护的 LLM 应用 Web 应用合集。

• awesome-japanese-llm - 日语 LLM 汇总——日语 LLM 概览。

• Awesome-LLM-Healthcare - 医学领域 LLM 综述论文列表。

• Awesome-LLM-Inference - 精选的优秀 LLM 推理论文及其代码列表。

• Awesome-LLM-3D - 精选的 3D 世界多模态大语言模型列表，涵盖 3D 理解、推理、生成和具身智能体。

• LLMDatahub - 专为聊天机器人训练设计的数据集精选合集，包含每个数据集的链接、规模、语言、用途和简要说明。

• Awesome-Chinese-LLM - 整理开源的中文大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主，包括底座模型，垂直领域微调及应用，数据集与教程等。

• LLM4Opt - 将大语言模型（LLM）用于各种优化任务（Opt）是一个新兴研究领域。这里汇集了 LLM4Opt 相关参考资料和论文。

• awesome-language-model-analysis - 该论文列表聚焦于语言模型的理论或实证分析，例如学习动态、表达能力、可解释性、泛化能力及其他有趣主题。

LLM 排行榜

• Chatbot Arena Leaderboard - 一个大语言模型（LLM）基准测试平台，以众包方式开展匿名、随机的对战。
• LiveBench - 一项具有挑战性且无数据污染的 LLM 基准测试。
• Open LLM Leaderboard - 旨在跟踪、排名和评测新发布的 LLM 与聊天机器人。
• AlpacaEval - 使用 Nous 基准套件自动评测指令遵循语言模型。

其他排行榜

• ACLUE - 一个专注于古汉语理解的评测基准。
• BeHonest - 一个开创性的基准，专门用于全面评估 LLM 的诚实性。
• Berkeley Function-Calling Leaderboard - 评估 LLM 调用外部函数/工具的能力。
• Chinese Large Model Leaderboard - 一个由专家主导的中文 LLM 基准测试。
• CompassRank - CompassRank 致力于探索最先进的语言和视觉模型，为行业和研究提供全面、客观、中立的评测参考。
• CompMix - 一个用于评估在异构输入源（知识库、文本、表格、信息框）混合数据上运行的问答方法的基准。
• DreamBench++ - 一个用于评估大语言模型（LLM）在文本和视觉想象相关多种任务中表现的基准。
• FELM - 一个元基准，用于评估事实性评估器衡量大语言模型（LLM）输出的效果。
• InfiBench - 一个专门用于评估大语言模型（LLM）回答现实编码问题能力的基准。
• LawBench - 一个用于评估大语言模型法律领域能力的基准。
• LLMEval - 重点了解这些模型在各种场景中的表现，并从可解释性角度分析结果。
• M3CoT - 一个用于评估大语言模型在多种多模态推理任务中表现的基准，任务包括语言、自然科学与社会科学、物理与社会常识、时间推理、代数和几何。
• MathEval - 一个全面的基准测试平台，旨在通过 20 个领域、近 30,000 道数学题评估大模型的数学能力。
• MixEval - 一个基于真实标注、由现成基准混合集构建的动态基准，可对 LLM 进行高效排名（与 Chatbot Arena 的相关性为 0.96），同时支持本地快速运行（耗时和成本仅为运行 MMLU 的 6%）。
• MMedBench - 一个用于评估大语言模型跨多种语言回答医学问题能力的基准。
• MMToM-QA - 一个多模态问答基准，旨在评估 AI 模型理解人类信念和目标的认知能力。
• OlympicArena - 一个用于评估 AI 模型在数学、物理、化学、生物等多个学科表现的基准。
• PubMedQA - 一个生物医学问答基准，旨在利用 PubMed 摘要回答研究相关问题。
• SciBench - 一个用于评估大语言模型（LLM）解决化学、物理和数学等领域复杂大学级科学问题能力的基准。
• SuperBench - 一个用于评估大语言模型（LLM）多项任务表现的基准平台，尤其关注自然语言理解、推理和泛化等方面。
• SuperLim - 一个瑞典语理解基准，用于评估自然语言处理（NLP）模型在论证分析、语义相似度和文本蕴含等任务中的表现。
• TAT-DQA - 一个大规模文档视觉问答（VQA）数据集，旨在支持复杂文档理解，尤其是财务报告理解。
• TAT-QA - 一个聚焦现实金融数据的大规模问答基准，整合表格和文本信息。
• VisualWebArena - 一个用于评估多模态 Web 智能体执行真实视觉 grounding 任务表现的基准。
• We-Math - 一个用于评估大型多模态模型（LMM）类人数学推理能力的基准。
• WHOOPS! - 一个基准数据集，通过违背常规预期的图像测试 AI 进行视觉常识推理的能力。

开放式 LLM

DeepSeek

• DeepSeek-Math-7B
• DeepSeek-Coder-1.3|6.7|7|33B
• DeepSeek-VL-1.3|7B
• DeepSeek-MoE-16B
• DeepSeek-v2-236B-MoE
• DeepSeek-Coder-v2-16|236B-MOE
• DeepSeek-V2.5
• DeepSeek-V3
• DeepSeek-R1

Alibaba

• Qwen-1.8B|7B|14B|72B
• Qwen1.5-0.5B|1.8B|4B|7B|14B|32B|72B|110B|MoE-A2.7B
• Qwen2-0.5B|1.5B|7B|57B-A14B-MoE|72B
• Qwen2.5-0.5B|1.5B|3B|7B|14B|32B|72B
• CodeQwen1.5-7B
• Qwen2.5-Coder-1.5B|7B|32B
• Qwen2-Math-1.5B|7B|72B
• Qwen2.5-Math-1.5B|7B|72B
• Qwen-VL-7B
• Qwen2-VL-2B|7B|72B
• Qwen2-Audio-7B
• Qwen2.5-VL-3|7|72B
• Qwen2.5-1M-7|14B

Meta

• Llama 3.2-1|3|11|90B
• Llama 3.1-8|70|405B
• Llama 3-8|70B
• Llama 2-7|13|70B
• Llama 1-7|13|33|65B
• OPT-1.3|6.7|13|30|66B

Mistral AI

• Codestral-7|22B
• Mistral-7B
• Mixtral-8x7B
• Mixtral-8x22B

Google

• Gemma2-9|27B
• Gemma-2|7B
• RecurrentGemma-2B
• T5

Apple

• OpenELM-1.1|3B

Microsoft

• Phi1-1.3B
• Phi2-2.7B
• Phi3-3.8|7|14B

AllenAI

• OLMo-7B

xAI

• Grok-1-314B-MoE

Cohere

• Command R-35B

01-ai

• Yi-34B
• Yi1.5-6|9|34B
• Yi-VL-6B|34B

Baichuan

• Baichuan-7|13B
• Baichuan2-7|13B

Nvidia

• Nemotron-4-340B

BLOOM

• BLOOMZ&mT0

Zhipu AI

• GLM-2|6|10|13|70B
• CogVLM2-19B

OpenBMB

• MiniCPM-2B
• OmniLLM-12B
• VisCPM-10B
• CPM-Bee-1|2|5|10B

RWKV Foundation

• RWKV-v4|5|6minicpm-2b-65d48bf958302b9fd25b698f)

ElutherAI

• Pythia-1|1.4|2.8|6.9|12B

Stability AI

• StableLM-3B
• StableLM-v2-1.6B
• StableLM-v2-12B
• StableCode-3B

BigCode

• StarCoder-1|3|7B
• StarCoder2-3|7|15B

DataBricks

• MPT-7B
• DBRX-132B-MoE

Shanghai AI Laboratory

• InternLM2-1.8|7|20B
• InternLM-Math-7B|20B
• InternLM-XComposer2-1.8|7B
• InternVL-2|6|14|26

Moonshot AI

• Moonlight-A3B
• Kimi-VL-A3B
• Kimi-K2

LLM 数据

参考： LLMDataHub

• IBM data-prep-kit - 开源工具包，提供预构建模块以高效处理非结构化数据，并支持从本地扩展到集群。
• Datatrove - 通过提供一组平台无关、可定制的流水线处理模块，让数据处理摆脱繁琐脚本。
• Dingo - Dingo：全面的数据质量评估工具
• FastDatasets - 用于创建高质量大语言模型训练数据集的强大工具

LLM 评测：

• lm-evaluation-harness - 用于少样本评测语言模型的框架。
• lighteval - Hugging Face 内部使用的轻量级 LLM 评测套件。
• simple-evals - OpenAI 提供的评测工具。

其他评测框架

• OLMO-eval - 用于评测开放语言模型的代码仓库。
• MixEval - 一个可靠、开箱即用的评测套件，兼容开源和专有模型，并支持 MixEval 及其他基准。
• HELM - 语言模型整体评测（HELM）框架，旨在提高语言模型的透明度。
• instruct-eval - 此代码仓库包含用于在留出任务上定量评估 Alpaca 和 Flan-T5 等指令微调模型的代码。
• Giskard - 用于 LLM 应用（尤其是 RAG）的测试与评测库
• LangSmith - LangChain 框架提供的统一平台，支持 LLM 应用的评测、HITL（人机协同）协作、日志记录和监控。
• Ragas - 帮助评估检索增强生成（RAG）流水线的框架。

LLM 训练框架

• Meta Lingua - 用于研究 LLM 的精简、高效且易于修改的代码库。
• Litgpt - 提供 20 多种高性能 LLM，以及用于预训练、微调和大规模部署的方案。
• nanotron - 极简的大语言模型 3D 并行训练方案。
• DeepSpeed - DeepSpeed 是一个深度学习优化库，让分布式训练和推理更简单、高效且有效。
• Megatron-LM - 用于大规模训练 Transformer 模型的持续研究项目。
• torchtitan - 用于大模型训练的原生 PyTorch 库。

其他框架

• Megatron-DeepSpeed - NVIDIA Megatron-LM 的 DeepSpeed 版本，额外支持 MoE 模型训练、课程学习、3D 并行等功能。
• torchtune - 用于 LLM 微调的原生 PyTorch 库。
• ROLL - 用于大语言模型强化学习的高效、易用扩展库。
• veRL - veRL 是一个灵活高效的 LLM 强化学习框架。
• NeMo Framework - 面向大语言模型（LLM）、多模态模型（MM）、自动语音识别（ASR）、文本转语音（TTS）和计算机视觉（CV）领域研究人员及 PyTorch 开发者打造的生成式 AI 框架。
• Colossal-AI - 让大型 AI 模型更便宜、更快、更易于使用。
• BMTrain - 高效训练大模型。
• Mesh Tensorflow - Mesh TensorFlow：让模型并行更简单。
• maxtext - 简单、高性能且可扩展的 Jax LLM！
• GPT-NeoX - 基于 DeepSpeed 库，在 GPU 上实现模型并行自回归 Transformer。
• Transformer Engine - 用于加速 NVIDIA GPU 上 Transformer 模型训练的库。
• OpenRLHF - 易用、可扩展且高性能的 RLHF 框架（支持 70B+ PPO 全量微调、迭代 DPO、LoRA、RingAttention 和 RFT）。
• TRL - TRL 是一套完整的库，提供使用强化学习训练 Transformer 语言模型的工具，涵盖监督微调（SFT）、奖励建模（RM）到近端策略优化（PPO）等步骤。
• unslothai - 一个专注于高效微调的框架。其 GitHub 页面提供适用于各种 LLM 的即用型微调模板，让你可以在 Google Colab 云端免费使用自己的数据进行训练。
• Axolotl - 用于微调和评测 LLM 的开源框架。它简化了不同训练配置的实验流程，便于复现和分享结果，并支持 LoRA、QLoRA、DeepSpeed、PEFT 和多 GPU 配置等功能。

LLM 推理

参考： llm-inference-solutions

• SGLang - SGLang 是一个用于大语言模型和视觉语言模型的快速服务框架。
• vLLM - 面向 LLM 的高吞吐、内存高效推理与服务引擎。
• llama.cpp - 使用 C/C++ 进行 LLM 推理。
• ollama - 快速运行 Llama 3、Mistral、Gemma 和其他大语言模型。
• TGI - 用于部署和提供大语言模型（LLM）服务的工具包。
• TensorRT-LLM - Nvidia 的 LLM 推理框架

其他部署工具

• FasterTransformer - NVIDIA 的 LLM 推理框架（已转至 TensorRT-LLM）
• MInference - 为加速长上下文 LLM 的推理，该工具采用近似动态稀疏计算注意力，在保持准确率的同时，可将 A100 上预填充阶段的推理延迟最多降低 10 倍。
• exllama - 针对量化权重使用场景，对 HF transformers 中 Llama 实现进行的内存效率更高的重写。
• FastChat - 分布式多模型 LLM 服务系统，提供 Web UI 和兼容 OpenAI 的 RESTful API。
• mistral.rs - 极速 LLM 推理。
• SkyPilot - 在任意云上运行 LLM 和批处理任务。通过简洁的界面实现最大限度节省成本、最高 GPU 可用性和托管执行。
• Haystack - 一个开源 NLP 框架，可让你使用 Hugging Face、OpenAI 和 Cohere 提供的 LLM 及基于 Transformer 的模型与自己的数据交互。
• OpenLLM - 在生产环境中微调、提供服务、部署和监控任意开源 LLM。BentoML 已在生产环境中将其用于基于 LLM 的应用。
• DeepSpeed-Mii - MII 基于 DeepSpeed 实现类似 vLLM 的低延迟、高吞吐推理。
• Text-Embeddings-Inference - 使用 Rust 进行文本嵌入推理，采用 HFOIL 许可证。
• Infinity - 使用 Python 进行文本嵌入推理
• LMDeploy - 面向 LLM 和 VL 的高吞吐、低延迟推理与服务框架
• Liger-Kernel - 用于 LLM 训练的高效 Triton 内核。
• prima.cpp - llama.cpp 的分布式实现，可让你在日常设备上运行 70B 级 LLM。
• deploy-llms-with-ansible - 使用 Ansible，只需最少配置即可轻松在虚拟机上部署任意 LLM。

LLM 应用

参考： awesome-llm-apps

• dspy - DSPy：用于编程而非提示词工程的基础模型框架。
• LangChain — 用于串联语言模型提示词序列的热门 Python/JavaScript 库。
• LlamaIndex — 用于为 LLM 应用增强数据能力的 Python 库。

更多应用

• MLflow - MLflow：机器学习端到端生命周期的开源框架，帮助开发者跟踪实验、评测模型/提示词、部署模型，并通过追踪增强可观测性。

• Swiss Army Llama - 用于本地 LLM 多种任务的综合工具集。

• LiteChain - 用于组合 LLM 的轻量级 LangChain 替代方案

• magentic - 将 LLM 无缝集成为 Python 函数

• wechat-chatgpt - 通过 wechaty 在微信上使用 ChatGPT

• promptfoo - 测试提示词、评测并比较 LLM 输出、发现回归问题并提升提示词质量。

• Agenta - 轻松构建、管理版本、评测并部署由 LLM 驱动的应用。

• Serge - 基于 llama.cpp 打造的聊天界面，可运行 Alpaca 模型。无需 API 密钥，完全自托管！

• Langroid - 通过多智能体编程驾驭 LLM

• Embedchain - 基于你的数据集创建类 ChatGPT 机器人的框架。

• Opik - 借助一套可观测性工具，自信地评测、测试并交付 LLM 应用，在开发和生产全生命周期中校准语言模型输出。

• IntelliServer - 通过提供统一的微服务来访问和测试多个 AI 模型，简化 LLM 评测。

• Langchain-Chatchat - 原名 langchain-ChatGLM，是基于 langchain 的本地知识库 LLM（如 ChatGLM）问答应用。

• Search with Lepton - 通过 LeptonAI，使用不到 500 行代码构建自己的对话式搜索引擎。

• Robocorp - 随时随地使用 Python 创建、部署和运行 Actions，以增强 AI 智能体和助手。内置丰富的库、辅助工具和日志功能。

• Tune Studio - 供开发者微调和部署 LLM 的试验场

• LLocalSearch - 使用 LLM 链在本地运行网页搜索

• AI Gateway — 该网关通过统一 API 简化对 100 多种开源和闭源模型的请求。它已适用于生产环境，支持缓存、故障回退、重试、超时、负载均衡，也可部署到边缘以最大限度降低延迟。

• talkd.ai dialog - 用于部署任意 RAG 或 LLM 并添加插件的简易 API。

• Wllama - llama.cpp 的 WebAssembly 绑定——支持在浏览器中进行 LLM 推理

• GPUStack - 用于运行 LLM 的开源 GPU 集群管理器

• MNN-LLM — 设备端推理框架，包含在设备（手机/PC/IoT）上进行 LLM 推理的功能

• CAMEL - 首个 LLM 多智能体框架。

• QA-Pilot - 一个交互式聊天项目，利用 Ollama/OpenAI/MistralAI 的 LLM，快速理解和浏览 GitHub 代码仓库或压缩文件资源。

• Shell-Pilot - 在 Linux（或 MacOS）系统上通过纯 Shell 脚本，使用 Ollama（或 OpenAI、MistralAI）模型与 LLM 交互，无需任何依赖即可提升系统管理智能化水平。

• MindSQL - 一个用于文本转 SQL 的 Python 包，支持自托管功能，并通过 RESTful API 兼容专有及开源 LLM。

• Langfuse - 开源 LLM 工程平台 🪢：追踪、评测、提示词管理和 Playground。

• AdalFlow - AdalFlow：用于构建并自动优化 LLM 应用的库。

• Guidance — Microsoft 推出的实用 Python 库，使用 Handlebars 模板交织生成、提示词和逻辑控制。

• Evidently — 用于评测、测试和监控 ML 及 LLM 驱动系统的开源框架。

• Chainlit — 用于构建聊天机器人界面的 Python 库。

• Guardrails.ai — 用于验证输出并在失败时重试的 Python 库。目前仍处于 alpha 阶段，可能存在不足和错误。

• Semantic Kernel — Microsoft 推出的 Python/C#/Java 库，支持提示词模板、函数链、向量化记忆和智能规划。

• Prompttools — 用于测试和评测模型、向量数据库及提示词的开源 Python 工具。

• Outlines — 提供领域专用语言以简化提示词编写并约束生成内容的 Python 库。

• Promptify — 用于通过语言模型执行 NLP 任务的小型 Python 库。

• Scale Spellbook — 用于构建、比较和交付语言模型应用的付费产品。

• PromptPerfect — 用于测试和改进提示词的付费产品。

• Weights & Biases — 用于跟踪模型训练和提示词工程实验的付费产品。

• OpenAI Evals — 用于评测语言模型和提示词任务表现的开源库。

• Arthur Shield — 用于检测毒性、幻觉、提示词注入等问题的付费产品。

• LMQL — 用于与 LLM 交互的编程语言，支持类型化提示词、控制流、约束和工具。

• ModelFusion - 用于通过 LLM 和其他 ML 模型（语音转文本、文本转语音、图像生成）构建应用的 TypeScript 库。

• OneKE — 一个中英双语知识抽取模型，采用知识图谱和自然语言处理技术。

• llm-ui - 用于构建 LLM 用户界面的 React 库。

• Wordware - 一个托管于 Web 的 IDE，让非技术领域专家与 AI 工程师合作构建特定任务的 AI 智能体。我们将提示词视为一种新的编程语言，而不是低代码/无代码模块。

• Wallaroo.AI - 在从云端到边缘的任何环境中大规模部署、管理和优化任意模型。让你在几分钟内从 Python Notebook 迈向推理部署。

• Dify - 一个开源 LLM 应用开发平台，提供直观界面，简化 AI 工作流、模型管理和生产部署。

• LazyLLM - 一个开源 LLM 应用，可轻松便捷地构建多智能体 LLM 应用，并支持模型部署和微调。

• MemFree - 开源混合式 AI 搜索引擎，可即时从互联网、书签、笔记和文档中获取准确答案。支持一键部署。

• AutoRAG - 面向 RAG 的开源 AutoML 工具，可自动优化 RAG 答案质量，覆盖从生成评测数据集到部署优化后 RAG 流水线的流程。

• Epsilla - 一体化 LLM 智能体平台，可结合你的私有数据和知识，第一天即可交付可用于生产环境的 AI 智能体。

• Arize-Phoenix - 在 Notebook 环境中运行的开源 ML 可观测性工具。可监控并微调 LLM、CV 和表格模型。

• LLM - 一个 CLI 工具和 Python 库，可通过远程 API 或安装并运行在本机上的模型与大语言模型交互。

• Just-Chat - 轻松快速地创建 LLM 智能体并与之聊天！

• Agentic Radar - 面向智能体工作流的开源 CLI 安全扫描器。扫描工作流源代码、检测漏洞，并生成交互式可视化和详细安全报告。支持 LangGraph、CrewAI、n8n、OpenAI Agents 等。

• LangWatch - 开源 LLM 可观测性、提示词评估和提示词优化平台。

• TensorZero - TensorZero 是一个用于构建生产级 LLM 应用的开源框架，整合了 LLM 网关、可观测性、优化、评测和实验功能。

LLM 教程与课程

• Andrej Karpathy Series - 我最喜欢的系列！
• Umar Jamil Series - 高质量且富有教育意义、不容错过的视频。
• Alexander Rush Series - 高质量且富有教育意义、不容错过的资料。
• llm-course - 大语言模型（LLM）入门课程，附带学习路线图和 Colab Notebook。
• UWaterloo CS 886 - 基础模型最新进展。
• CS25-Transformers United
• ChatGPT Prompt Engineering
• Princeton: Understanding Large Language Models
• CS324 - Large Language Models
• State of GPT
• A Visual Guide to Mamba and State Space Models
• Let’s build GPT: from scratch, in code, spelled out.
• minbpe - 用于 LLM 分词的常见字节对编码（BPE）算法的简洁精炼实现。
• femtoGPT - 极简生成式预训练 Transformer 的纯 Rust 实现。
• Neurips2022-Foundational Robustness of Foundation Models
• ICML2022-Welcome to the “Big Model” Era: Techniques and Systems to Train and Serve Bigger Models
• GPT in 60 Lines of NumPy
• LLM‑RL‑Visualized (EN) | LLM‑RL‑Visualized (中文) - 100 多张 LLM/RL 算法图谱📚。

LLM 图书

• Generative AI with LangChain: Build large language model (LLM) apps with Python, ChatGPT, and other LLMs - 随书附带一个 GitHub 仓库，展示了许多功能。
• Build a Large Language Model (From Scratch) - 一本指导你构建可运行 LLM 的指南。
• BUILD GPT: HOW AI WORKS - 讲解如何从零开始编写生成式预训练 Transformer（GPT）。
• Hands-On Large Language Models: Language Understanding and Generation - 通过这本配有 275 多幅定制插图的指南，探索大语言模型的世界！
• The Chinese Book for Large Language Models - 一本基于以下研究的大语言模型入门教材：A Survey of Large Language Models.

关于 LLM 的精彩观点

• Why did all of the public reproduction of GPT-3 fail?
• A Stage Review of Instruction Tuning
• LLM Powered Autonomous Agents
• Why you should work on AI AGENTS!
• Google “We Have No Moat, And Neither Does OpenAI”
• AI competition statement
• Prompt Engineering
• Noam Chomsky: The False Promise of ChatGPT
• Is ChatGPT 175 Billion Parameters? Technical Analysis
• The Next Generation Of Large Language Models
• Large Language Model Training in 2023
• How does GPT Obtain its Ability? Tracing Emergent Abilities of Language Models to their Sources
• Open Pretrained Transformers
• Scaling, emergence, and reasoning in large language models

其他资源

• Emergent Mind - 由 GPT-4 精选并解读的最新 AI 新闻。
• ShareGPT - 一键分享你最精彩的 ChatGPT 对话。
• Major LLMs + Data Availability
• 500+ Best AI Tools
• Cohere Summarize Beta - 推出 Cohere Summarize Beta：全新的文本摘要端点
• chatgpt-wrapper - ChatGPT Wrapper 是一个非官方开源 Python API 和 CLI，可让你与 ChatGPT 交互。
• Cursor - 借助强大的 AI 编写、编辑代码并围绕代码进行交流。
• AutoGPT - 一个展示 GPT-4 语言模型能力的实验性开源应用。
• OpenAGI - 当 LLM 遇上领域专家。
• EasyEdit - 一个易于使用的大语言模型编辑框架。
• chatgpt-shroud - 一个适用于 OpenAI ChatGPT 的 Chrome 扩展，可轻松隐藏和显示聊天记录，增强用户隐私保护，尤其适合屏幕共享时使用。
• AI For Developers - 面向开发者的 AI 工具和智能体列表

参与贡献

这是一个持续活跃的代码仓库，始终欢迎你参与贡献！

如果我不确定某些拉取请求是否适合收录在 Awesome-LLM 中，就会暂时保留它们；你可以通过添加 👍 为它们投票。

---

如果你对这份带有个人筛选标准的列表有任何疑问，请随时通过 chengxin1998@stu.pku.edu.cn 联系我。