LLM

Source: https://github.com/Hannibal046/Awesome-LLM at 538eed00fcb0
License: CC0-1.0
Read the English original

This edition is an AI-assisted translation.

Awesome-LLM

🔥 Большие языковые модели (LLM) произвели фурор во всем сообществе NLP всем сообществе AI во всём мире. Здесь собрана подборка статей о больших языковых моделях, особенно связанных с ChatGPT. Также здесь представлены фреймворки для обучения LLM, инструменты для развёртывания LLM, курсы и учебные материалы по LLM, а также все общедоступные контрольные точки моделей LLM и API.

Популярные проекты LLM

• TinyZero — чистая, минималистичная и доступная для изучения реализация DeepSeek R1-Zero
• open-r1 — полностью открытая реализация DeepSeek-R1
• DeepSeek-R1 — модели рассуждений первого поколения от DeepSeek.
• Qwen2.5-Max — исследование возможностей крупномасштабной MoE-модели.
• OpenAI o3-mini — продвижение границ экономически эффективного рассуждения.
• DeepSeek-V3 — первая модель уровня GPT-4o с открытым исходным кодом.
• Kimi-K2 — языковая MoE-модель с 32B активных и 1T общих параметров.

Содержание

• Awesome-LLM
  • Основополагающие статьи
  • Другие статьи
  • Рейтинги LLM
  • Открытые LLM
  • Данные для LLM
  • Оценка LLM
  • Фреймворки для обучения LLM
  • Инференс LLM
  • Приложения на основе LLM
  • Учебные материалы и курсы по LLM
  • Книги о LLM
  • Важные мысли о LLM
  • Разное

Основополагающие статьи

основные статьи

Дата	ключевые слова	Организация	Статья
2017-06	Трансформеры	Google	Attention Is All You Need
2018-06	GPT 1.0	OpenAI	Improving Language Understanding by Generative Pre-Training
2018-10	BERT	Google	BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
2019-02	GPT 2.0	OpenAI	Language Models are Unsupervised Multitask Learners
2019-09	Megatron-LM	NVIDIA	Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism
2019-10	T5	Google	Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
2019-10	ZeRO	Microsoft	ZeRO: Memory Optimizations Toward Training Trillion Parameter Models
2020-01	Законы масштабирования	OpenAI	Scaling Laws for Neural Language Models
2020-05	GPT 3.0	OpenAI	Language models are few-shot learners
2021-01	Switch Transformers	Google	Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
2021-08	Codex	OpenAI	Evaluating Large Language Models Trained on Code
2021-08	Базовые модели	Stanford	On the Opportunities and Risks of Foundation Models
2021-09	FLAN	Google	Finetuned Language Models are Zero-Shot Learners
2021-10	T0	HuggingFace et al.	Multitask Prompted Training Enables Zero-Shot Task Generalization
2021-12	GLaM	Google	GLaM: Efficient Scaling of Language Models with Mixture-of-Experts
2021-12	WebGPT	OpenAI	WebGPT: Browser-assisted question-answering with human feedback
2021-12	Retro	DeepMind	Improving language models by retrieving from trillions of tokens
2021-12	Gopher	DeepMind	Scaling Language Models: Methods, Analysis & Insights from Training Gopher
2022-01	COT	Google	Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
2022-01	LaMDA	Google	LaMDA: Language Models for Dialog Applications
2022-01	Minerva	Google	Solving Quantitative Reasoning Problems with Language Models
2022-01	Megatron-Turing NLG	Microsoft&NVIDIA	Using Deep and Megatron to Train Megatron-Turing NLG 530B, A Large-Scale Generative Language Model
2022-03	InstructGPT	OpenAI	Training language models to follow instructions with human feedback
2022-04	PaLM	Google	PaLM: Scaling Language Modeling with Pathways
2022-04	Chinchilla	DeepMind	Training Compute-Optimal Large Language Models
2022-05	OPT	Meta	OPT: Open Pre-trained Transformer Language Models
2022-05	UL2	Google	Unifying Language Learning Paradigms
2022-06	Эмерджентные способности	Google	Emergent Abilities of Large Language Models
2022-06	BIG-bench	Google	Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models
2022-06	METALM	Microsoft	Language Models are General-Purpose Interfaces
2022-09	Sparrow	DeepMind	Improving alignment of dialogue agents via targeted human judgements
2022-10	Flan-T5/PaLM	Google	Scaling Instruction-Finetuned Language Models
2022-10	GLM-130B	Tsinghua	GLM-130B: An Open Bilingual Pre-trained Model
2022-11	HELM	Stanford	Holistic Evaluation of Language Models
2022-11	BLOOM	BigScience	BLOOM: A 176B-Parameter Open-Access Multilingual Language Model
2022-11	Galactica	Meta	Galactica: A Large Language Model for Science
2022-12	OPT-IML	Meta	OPT-IML: Scaling Language Model Instruction Meta Learning through the Lens of Generalization
2023-01	Коллекция Flan 2022	Google	The Flan Collection: Designing Data and Methods for Effective Instruction Tuning
2023-02	LLaMA	Meta	LLaMA: Open and Efficient Foundation Language Models
2023-02	Kosmos-1	Microsoft	Language Is Not All You Need: Aligning Perception with Language Models
2023-03	LRU	DeepMind	Resurrecting Recurrent Neural Networks for Long Sequences
2023-03	PaLM-E	Google	PaLM-E: An Embodied Multimodal Language Model
2023-03	GPT 4	OpenAI	GPT-4 Technical Report
2023-04	LLaVA	UW–Madison&Microsoft	Visual Instruction Tuning
2023-04	Pythia	EleutherAI et al.	Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling
2023-05	Dromedary	CMU et al.	Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision
2023-05	PaLM 2	Google	PaLM 2 Technical Report
2023-05	RWKV	Bo Peng	RWKV: Reinventing RNNs for the Transformer Era
2023-05	DPO	Stanford	Direct Preference Optimization: Your Language Model is Secretly a Reward Model
2023-05	ToT	Google&Princeton	Tree of Thoughts: Deliberate Problem Solving with Large Language Models
2023-07	LLaMA2	Meta	Llama 2: Open Foundation and Fine-Tuned Chat Models
2023-10	Mistral 7B	Mistral	Mistral 7B
2023-12	Mamba	CMU&Princeton	Mamba: Linear-Time Sequence Modeling with Selective State Spaces
2024-01	DeepSeek-v2	DeepSeek	DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model
2024-02	OLMo	Ai2	OLMo: Accelerating the Science of Language Models
2024-05	Mamba2	CMU&Princeton	Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality
2024-05	Llama3	Meta	The Llama 3 Herd of Models
2024-06	FineWeb	HuggingFace	The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale
2024-09	OLMoE	Ai2	OLMoE: Open Mixture-of-Experts Language Models
2024-12	Qwen2.5	Alibaba	Qwen2.5 Technical Report
2024-12	DeepSeek-V3	DeepSeek	DeepSeek-V3 Technical Report
2025-01	DeepSeek-R1	DeepSeek	DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

Другие статьи

[!NOTE] Если вас интересует область LLM, приведённый выше список основополагающих статей поможет изучить её историю и современное состояние. Однако каждое направление LLM предлагает уникальные идеи и результаты, важные для понимания всей области. Подробный список статей по различным подразделам см. по ссылке ниже:

другие статьи

• Awesome-LLM-hallucination — список статей о галлюцинациях LLM.

• awesome-hallucination-detection — список статей об обнаружении галлюцинаций в LLM.

• LLMsPracticalGuide — подборка практических руководств по LLM.

• Awesome ChatGPT Prompts — коллекция примеров промптов для модели ChatGPT.

• awesome-chatgpt-prompts-zh — китайская коллекция примеров промптов для модели ChatGPT.

• Awesome ChatGPT — подборка ресурсов по ChatGPT и GPT-3 от OpenAI.

• Chain-of-Thoughts Papers — подборка, начавшаяся с работы «Промптинг с цепочкой рассуждений вызывает способность к рассуждению у больших языковых моделей».

• Awesome Deliberative Prompting — как просить LLM надёжно рассуждать и принимать решения с учётом доводов.

• Instruction-Tuning-Papers — подборка, начавшаяся с Natrural-Instruction (ACL 2022), FLAN (ICLR 2022) и T0 (ICLR 2022).

• LLM Reading List — список статей и ресурсов о больших языковых моделях.

• Reasoning using Language Models — коллекция статей и ресурсов о рассуждениях с помощью языковых моделей.

• Chain-of-Thought Hub — измерение способности LLM к рассуждению.

• Awesome GPT — подборка интересных проектов и ресурсов, связанных с GPT, ChatGPT, OpenAI, LLM и другими темами.

• Awesome GPT-3 — коллекция демонстраций и статей об API OpenAI GPT-3.

• Awesome LLM Human Preference Datasets — коллекция наборов данных о человеческих предпочтениях для настройки LLM на инструкции, RLHF и оценки.

• RWKV-howto — возможно, полезные материалы и руководство по изучению RWKV.

• ModelEditingPapers — список статей и ресурсов по редактированию больших языковых моделей.

• Awesome LLM Security — подборка полезных инструментов, документов и проектов по безопасности LLM.

• Awesome-Align-LLM-Human — коллекция статей и ресурсов о согласовании больших языковых моделей (LLM) с человеком.

• Awesome-Code-LLM — тщательно составленный список лучших LLM для кода и исследований.

• Awesome-LLM-Compression — интересные исследовательские статьи и инструменты по сжатию LLM.

• Awesome-LLM-Systems — интересные исследовательские статьи о системах LLM.

• awesome-llm-webapps — коллекция приложений для LLM с открытым исходным кодом, которые активно поддерживаются.

• awesome-japanese-llm — 日本語LLMまとめ — обзор японских LLM.

• Awesome-LLM-Healthcare — список статей для обзора LLM в медицине.

• Awesome-LLM-Inference — подборка статей об инференсе LLM с кодом.

• Awesome-LLM-3D — подборка мультимодальных больших языковых моделей для трёхмерного мира, включая понимание 3D, рассуждение, генерацию и воплощённых агентов.

• LLMDatahub — подборка наборов данных для обучения чат-ботов со ссылками, размером, языком, областью применения и кратким описанием каждого набора.

• Awesome-Chinese-LLM — подборка китайских больших языковых моделей с открытым исходным кодом, преимущественно небольших, пригодных для локального развёртывания и недорогого обучения; включает базовые модели, дообучение и приложения для отдельных областей, наборы данных, учебные материалы и многое другое.

• LLM4Opt — применение больших языковых моделей (LLM) для различных задач оптимизации (Opt) — развивающееся направление исследований. Здесь собраны ссылки и статьи по LLM4Opt.

• awesome-language-model-analysis — список статей о теоретическом и эмпирическом анализе языковых моделей, включая динамику обучения, выразительные возможности, интерпретируемость, обобщение и другие интересные темы.

Рейтинги LLM

• Chatbot Arena Leaderboard — платформа тестирования больших языковых моделей (LLM) с анонимными случайными состязаниями, результаты которых собираются от сообщества.
• LiveBench — сложный бенчмарк LLM, устойчивый к загрязнению данными.
• Open LLM Leaderboard — отслеживает, ранжирует и оценивает выпускаемые LLM и чат-боты.
• AlpacaEval — автоматическая оценка моделей языка, следующих инструкциям, с использованием набора бенчмарков Nous.

другие рейтинги

• ACLUE — бенчмарк для оценки понимания древнекитайского языка.
• BeHonest — новаторский бенчмарк, созданный для всесторонней оценки честности LLM.
• Berkeley Function-Calling Leaderboard — оценивает способность LLM вызывать внешние функции и инструменты.
• Chinese Large Model Leaderboard — экспертный бенчмарк для китайских LLM.
• CompassRank — исследует самые передовые языковые и визуальные модели и предлагает отрасли и исследователям всесторонний, объективный и нейтральный ориентир для оценки.
• CompMix — бенчмарк для оценки методов QA, работающих со смесью разнородных источников данных (баз знаний, текста, таблиц и инфоблоков).
• DreamBench++ — бенчмарк для оценки больших языковых моделей (LLM) в различных задачах, связанных с воображением в тексте и изображениях.
• FELM — метабенчмарк, оценивающий, насколько хорошо средства проверки фактичности анализируют результаты больших языковых моделей (LLM).
• InfiBench — бенчмарк для оценки способности больших языковых моделей (LLM) отвечать на практические вопросы, связанные с программированием.
• LawBench — бенчмарк для оценки больших языковых моделей в юридической области.
• LLMEval — помогает понять, как эти модели работают в различных сценариях, и анализировать результаты с точки зрения интерпретируемости.
• M3CoT — бенчмарк для оценки больших языковых моделей в различных мультимодальных задачах рассуждения, включая язык, естественные и социальные науки, физические и социальные знания здравого смысла, временное рассуждение, алгебру и геометрию.
• MathEval — комплексная платформа для оценки математических способностей больших моделей в 20 областях на почти 30 000 математических задачах.
• MixEval — динамический бенчмарк на основе эталонных ответов, составленный из готовых наборов тестов. Он оценивает LLM с высокой точностью ранжирования (корреляция с Chatbot Arena — 0,96), работая локально и быстро (время и стоимость составляют 6% от запуска MMLU).
• MMedBench — бенчмарк для оценки способности больших языковых моделей отвечать на медицинские вопросы на разных языках.
• MMToM-QA — мультимодальный бенчмарк вопросов и ответов для оценки способности моделей ИИ понимать убеждения и цели людей.
• OlympicArena — бенчмарк для оценки моделей ИИ в различных академических дисциплинах, включая математику, физику, химию, биологию и другие.
• PubMedQA — биомедицинский бенчмарк вопросов и ответов, предназначенный для ответов на исследовательские вопросы с использованием аннотаций PubMed.
• SciBench — бенчмарк для оценки больших языковых моделей (LLM) при решении сложных научных задач университетского уровня, например по химии, физике и математике.
• SuperBench — платформа для оценки больших языковых моделей (LLM) в различных задачах, особенно в понимании естественного языка, рассуждении и обобщении.
• SuperLim — бенчмарк понимания шведского языка, оценивающий модели обработки естественного языка (NLP) в таких задачах, как анализ аргументации, семантическое сходство и текстовое следование.
• TAT-DQA — крупномасштабный набор данных визуальных вопросов и ответов по документам (VQA), предназначенный для сложного понимания документов, в частности финансовых отчётов.
• TAT-QA — крупномасштабный бенчмарк вопросов и ответов на основе реальных финансовых данных, объединяющий табличную и текстовую информацию.
• VisualWebArena — бенчмарк для оценки мультимодальных веб-агентов на реалистичных задачах, основанных на визуальном контексте.
• We-Math — бенчмарк для оценки способности больших мультимодальных моделей (LMM) выполнять математические рассуждения на уровне человека.
• WHOOPS! — набор данных для проверки способности ИИ рассуждать о визуальном здравом смысле на изображениях, противоречащих привычным ожиданиям.

Открытые LLM

DeepSeek

• DeepSeek-Math-7B
• DeepSeek-Coder-1.3|6.7|7|33B
• DeepSeek-VL-1.3|7B
• DeepSeek-MoE-16B
• DeepSeek-v2-236B-MoE
• DeepSeek-Coder-v2-16|236B-MOE
• DeepSeek-V2.5
• DeepSeek-V3
• DeepSeek-R1

Alibaba

• Qwen-1.8B|7B|14B|72B
• Qwen1.5-0.5B|1.8B|4B|7B|14B|32B|72B|110B|MoE-A2.7B
• Qwen2-0.5B|1.5B|7B|57B-A14B-MoE|72B
• Qwen2.5-0.5B|1.5B|3B|7B|14B|32B|72B
• CodeQwen1.5-7B
• Qwen2.5-Coder-1.5B|7B|32B
• Qwen2-Math-1.5B|7B|72B
• Qwen2.5-Math-1.5B|7B|72B
• Qwen-VL-7B
• Qwen2-VL-2B|7B|72B
• Qwen2-Audio-7B
• Qwen2.5-VL-3|7|72B
• Qwen2.5-1M-7|14B

Meta

• Llama 3.2-1|3|11|90B
• Llama 3.1-8|70|405B
• Llama 3-8|70B
• Llama 2-7|13|70B
• Llama 1-7|13|33|65B
• OPT-1.3|6.7|13|30|66B

Mistral AI

• Codestral-7|22B
• Mistral-7B
• Mixtral-8x7B
• Mixtral-8x22B

Google

• Gemma2-9|27B
• Gemma-2|7B
• RecurrentGemma-2B
• T5

Apple

• OpenELM-1.1|3B

Microsoft

• Phi1-1.3B
• Phi2-2.7B
• Phi3-3.8|7|14B

AllenAI

• OLMo-7B

xAI

• Grok-1-314B-MoE

Cohere

• Command R-35B

01-ai

• Yi-34B
• Yi1.5-6|9|34B
• Yi-VL-6B|34B

Baichuan

• Baichuan-7|13B
• Baichuan2-7|13B

Nvidia

• Nemotron-4-340B

BLOOM

• BLOOMZ&mT0

Zhipu AI

• GLM-2|6|10|13|70B
• CogVLM2-19B

OpenBMB

• MiniCPM-2B
• OmniLLM-12B
• VisCPM-10B
• CPM-Bee-1|2|5|10B

RWKV Foundation

• RWKV-v4|5|6minicpm-2b-65d48bf958302b9fd25b698f)

ElutherAI

• Pythia-1|1.4|2.8|6.9|12B

Stability AI

• StableLM-3B
• StableLM-v2-1.6B
• StableLM-v2-12B
• StableCode-3B

BigCode

• StarCoder-1|3|7B
• StarCoder2-3|7|15B

DataBricks

• MPT-7B
• DBRX-132B-MoE

Shanghai AI Laboratory

• InternLM2-1.8|7|20B
• InternLM-Math-7B|20B
• InternLM-XComposer2-1.8|7B
• InternVL-2|6|14|26

Moonshot AI

• Moonlight-A3B
• Kimi-VL-A3B
• Kimi-K2

Данные для LLM

Источник: LLMDataHub

• IBM data-prep-kit — набор инструментов с открытым исходным кодом для эффективной обработки неструктурированных данных: готовые модули масштабируются от локального запуска до кластера.
• Datatrove — упрощает обработку данных благодаря набору настраиваемых, не зависящих от платформы блоков конвейера, избавляя от необходимости писать множество скриптов.
• Dingo — комплексный инструмент оценки качества данных.
• FastDatasets — мощный инструмент для создания высококачественных обучающих наборов данных для больших языковых моделей.

Оценка LLM:

• lm-evaluation-harness — фреймворк для оценки языковых моделей в режиме few-shot.
• lighteval — лёгкий набор инструментов для оценки LLM, который Hugging Face использует внутри компании.
• simple-evals — инструменты оценки от OpenAI.

другие фреймворки для оценки

• OLMO-eval — репозиторий для оценки открытых языковых моделей.
• MixEval — надёжный набор инструментов для оценки в один клик, совместимый как с моделями с открытым исходным кодом, так и с проприетарными моделями; поддерживает MixEval и другие бенчмарки.
• HELM — комплексная оценка языковых моделей (HELM), фреймворк для повышения их прозрачности.
• instruct-eval — репозиторий содержит код для количественной оценки моделей, настроенных на следование инструкциям, таких как Alpaca и Flan-T5, на отложенных задачах.
• Giskard — библиотека тестирования и оценки приложений на основе LLM, особенно RAG-систем.
• LangSmith — единая платформа на базе фреймворка LangChain для оценки, совместной работы с участием человека (HITL), ведения журналов и мониторинга приложений на основе LLM.
• Ragas — фреймворк для оценки конвейеров генерации с дополнением извлечённой информацией (RAG).

Фреймворки для обучения LLM

• Meta Lingua — компактная, эффективная и легко модифицируемая кодовая база для исследований LLM.
• Litgpt — более 20 высокопроизводительных LLM и рецепты для предварительного обучения, дообучения и масштабного развёртывания.
• nanotron — минималистичный инструмент для обучения больших языковых моделей с 3D-параллелизмом.
• DeepSpeed — библиотека оптимизации глубокого обучения, упрощающая распределённое обучение и инференс и повышающая их эффективность.
• Megatron-LM — текущие исследования масштабного обучения моделей Transformer.
• torchtitan — библиотека PyTorch для обучения больших моделей.

другие фреймворки

• Megatron-DeepSpeed — версия Megatron-LM от NVIDIA на базе DeepSpeed с дополнительной поддержкой обучения MoE-моделей, Curriculum Learning, 3D-параллелизма и других функций.
• torchtune — библиотека на базе PyTorch для дообучения LLM.
• ROLL — эффективная и удобная библиотека масштабирования обучения с подкреплением для больших языковых моделей.
• veRL — гибкий и эффективный фреймворк RL для LLM.
• NeMo Framework — фреймворк генеративного ИИ для исследователей и разработчиков PyTorch, работающих с большими языковыми моделями (LLM), мультимодальными моделями (MM), автоматическим распознаванием речи (ASR), синтезом речи (TTS) и компьютерным зрением (CV).
• Colossal-AI — делает большие модели ИИ дешевле, быстрее и доступнее.
• BMTrain — эффективное обучение больших моделей.
• Mesh Tensorflow — Mesh TensorFlow: упрощённое распараллеливание моделей.
• maxtext — простая, производительная и масштабируемая LLM на Jax!
• GPT-NeoX — реализация авторегрессионных трансформеров с параллелизмом моделей на GPU на основе библиотеки DeepSpeed.
• Transformer Engine — библиотека для ускорения обучения моделей Transformer на GPU NVIDIA.
• OpenRLHF — простой в использовании, масштабируемый и высокопроизводительный фреймворк RLHF (полное дообучение PPO для моделей 70B+, итеративный DPO, LoRA, RingAttention и RFT).
• TRL — полнофункциональная библиотека с набором инструментов для обучения языковых моделей Transformer с помощью обучения с подкреплением: от контролируемого дообучения (SFT) и моделирования вознаграждения (RM) до проксимальной оптимизации политики (PPO).
• unslothai — фреймворк для эффективного дообучения. На странице GitHub доступны готовые шаблоны для дообучения различных LLM, позволяющие бесплатно обучать собственные данные в облаке Google Colab.
• Axolotl — фреймворк с открытым исходным кодом для дообучения и оценки LLM. Он упрощает эксперименты с различными конфигурациями обучения, воспроизведение и публикацию результатов и поддерживает LoRA, QLoRA, DeepSpeed, PEFT и конфигурации с несколькими GPU.

Инференс LLM

Источник: llm-inference-solutions

• SGLang — быстрый фреймворк обслуживания больших языковых и визуально-языковых моделей.
• vLLM — высокопроизводительный и экономичный по памяти механизм инференса и обслуживания LLM.
• llama.cpp — инференс LLM на C/C++.
• ollama — быстро начните работу с Llama 3, Mistral, Gemma и другими большими языковыми моделями.
• TGI — набор инструментов для развёртывания и обслуживания больших языковых моделей (LLM).
• TensorRT-LLM — фреймворк NVIDIA для инференса LLM.

другие инструменты развёртывания

• FasterTransformer — фреймворк NVIDIA для инференса LLM (перешёл на TensorRT-LLM).
• MInference — ускоряет инференс LLM с длинным контекстом с помощью приближённого динамического разреженного вычисления внимания, снижая задержку предварительного заполнения до 10 раз на A100 без потери точности.
• exllama — более экономичная по памяти переработанная реализация Llama из HF transformers для квантованных весов.
• FastChat — распределённая система обслуживания нескольких LLM с веб-интерфейсом и RESTful API, совместимыми с OpenAI.
• mistral.rs — молниеносно быстрый инференс LLM.
• SkyPilot — запускайте LLM и пакетные задания в любом облаке. Экономьте на затратах, получайте максимум доступности GPU и управляемое выполнение — всё через простой интерфейс.
• Haystack — фреймворк NLP с открытым исходным кодом, позволяющий использовать LLM и модели на базе Transformer от Hugging Face, OpenAI и Cohere для работы с собственными данными.
• OpenLLM — дообучайте, обслуживайте, развёртывайте и отслеживайте любые LLM с открытым исходным кодом в промышленной среде. Используется в BentoML для приложений на основе LLM.
• DeepSpeed-Mii — MII обеспечивает низкую задержку и высокую пропускную способность инференса, как vLLM на базе DeepSpeed.
• Text-Embeddings-Inference — инференс текстовых эмбеддингов на Rust, лицензия HFOIL.
• Infinity — инференс текстовых эмбеддингов на Python.
• LMDeploy — высокопроизводительный фреймворк с низкой задержкой для инференса и обслуживания LLM и VL.
• Liger-Kernel — эффективные ядра Triton для обучения LLM.
• prima.cpp — распределённая реализация llama.cpp, позволяющая запускать LLM уровня 70B на обычных устройствах.
• deploy-llms-with-ansible — легко развёртывайте любую LLM на виртуальной машине с минимальной настройкой с помощью Ansible.

Приложения на основе LLM

Источник: awesome-llm-apps

• dspy — DSPy: фреймворк для программирования базовых моделей, а не составления промптов.
• LangChain — популярная библиотека Python/JavaScript для объединения последовательностей промптов языковой модели.
• LlamaIndex — библиотека Python для дополнения приложений на основе LLM данными.

другие приложения

• MLflow — MLflow: фреймворк с открытым исходным кодом для полного жизненного цикла машинного обучения, помогающий разработчикам отслеживать эксперименты, оценивать модели и промпты, развёртывать модели и обеспечивать наблюдаемость с помощью трассировки.

• Swiss Army Llama — полный набор инструментов для решения различных задач с локальными LLM.

• LiteChain — облегчённая альтернатива LangChain для объединения LLM.

• magentic — бесшовная интеграция LLM в виде функций Python.

• wechat-chatgpt — использование ChatGPT в WeChat через wechaty.

• promptfoo — тестируйте промпты, оценивайте и сравнивайте результаты LLM, обнаруживайте регрессии и улучшайте качество промптов.

• Agenta — легко создавайте, версионируйте, оценивайте и развёртывайте приложения на основе LLM.

• Serge — интерфейс чата на базе llama.cpp для запуска моделей Alpaca. Без ключей API и полностью на собственном хостинге!

• Langroid — работа с LLM посредством мультиагентного программирования.

• Embedchain — фреймворк для создания ботов наподобие ChatGPT на основе вашего набора данных.

• Opik — уверенно оценивайте, тестируйте и выпускайте приложения на основе LLM с помощью набора инструментов наблюдаемости, настраивая результаты языковых моделей на протяжении всего цикла разработки и эксплуатации.

• IntelliServer — упрощает оценку LLM, предоставляя единый микросервис для доступа к нескольким моделям ИИ и их тестирования.

• Langchain-Chatchat — ранее langchain-ChatGLM; приложение вопросов и ответов с LangChain на основе локальной базы знаний и LLM (например, ChatGLM).

• Search with Lepton — создайте собственную поисковую систему с диалоговым интерфейсом менее чем за 500 строк кода с помощью LeptonAI.

• Robocorp — создавайте, развёртывайте и запускайте Actions на Python где угодно, расширяя возможности ИИ-агентов и ассистентов. В комплекте — обширные библиотеки, вспомогательные средства и журналирование.

• Tune Studio — среда для разработчиков, позволяющая дообучать и развёртывать LLM.

• LLocalSearch — локальный веб-поиск с помощью цепочек LLM.

• AI Gateway — шлюз упрощает запросы к более чем 100 открытым и закрытым моделям с помощью единого API. Готов к промышленной эксплуатации: поддерживает кэширование, резервные варианты, повторные попытки, тайм-ауты, балансировку нагрузки и развёртывание на периферии для минимальной задержки.

• talkd.ai dialog — простой API для развёртывания любой нужной RAG-системы или LLM с добавлением плагинов.

• Wllama — привязка WebAssembly для llama.cpp, позволяющая выполнять инференс LLM в браузере.

• GPUStack — менеджер кластеров GPU с открытым исходным кодом для запуска LLM.

• MNN-LLM — фреймворк инференса на устройстве, включая инференс LLM на телефонах, ПК и устройствах IoT.

• CAMEL — первый мультиагентный фреймворк для LLM.

• QA-Pilot — интерактивный чат, использующий LLM Ollama/OpenAI/MistralAI для быстрого анализа и навигации по репозиториям кода GitHub или архивам файлов.

• Shell-Pilot — взаимодействуйте с LLM через модели Ollama (или openAI, mistralAI), используя только shell-скрипты в Linux (или MacOS), чтобы интеллектуально управлять системой без зависимостей.

• MindSQL — пакет Python для преобразования текста в SQL с возможностью самостоятельного хостинга и RESTful API, совместимыми как с проприетарными, так и с открытыми LLM.

• Langfuse — платформа инженерии LLM с открытым исходным кодом 🪢: трассировка, оценки, управление промптами и интерактивная среда.

• AdalFlow — библиотека для создания и автоматической оптимизации приложений на основе LLM.

• Guidance — удобная на вид библиотека Python от Microsoft, использующая шаблоны Handlebars для объединения генерации, промптов и логического управления.

• Evidently — фреймворк с открытым исходным кодом для оценки, тестирования и мониторинга систем на базе ML и LLM.

• Chainlit — библиотека Python для создания интерфейсов чат-ботов.

• Guardrails.ai — библиотека Python для проверки результатов и повторных попыток при сбоях. Пока находится в альфа-версии, поэтому возможны шероховатости и ошибки.

• Semantic Kernel — библиотека Python/C#/Java от Microsoft с поддержкой шаблонов промптов, цепочек функций, векторизованной памяти и интеллектуального планирования.

• Prompttools — инструменты Python с открытым исходным кодом для тестирования и оценки моделей, векторных БД и промптов.

• Outlines — библиотека Python с предметно-ориентированным языком для упрощения промптинга и ограничения генерации.

• Promptify — небольшая библиотека Python для решения задач NLP с помощью языковых моделей.

• Scale Spellbook — платный продукт для создания, сравнения и выпуска приложений на основе языковых моделей.

• PromptPerfect — платный продукт для тестирования и улучшения промптов.

• Weights & Biases — платный продукт для отслеживания экспериментов по обучению моделей и разработке промптов.

• OpenAI Evals — библиотека с открытым исходным кодом для оценки выполнения задач языковыми моделями и промптами.

• Arthur Shield — платный продукт для обнаружения токсичности, галлюцинаций, инъекций промптов и других проблем.

• LMQL — язык программирования для взаимодействия с LLM с поддержкой типизированных промптов, управления потоком выполнения, ограничений и инструментов.

• ModelFusion — библиотека TypeScript для создания приложений на основе LLM и других моделей ML (преобразование речи в текст и текста в речь, генерация изображений).

• OneKE — двуязычная китайско-английская модель извлечения знаний с использованием графов знаний и технологий обработки естественного языка.

• llm-ui — библиотека React для создания пользовательских интерфейсов LLM.

• Wordware — размещённая в интернете IDE, где специалисты без технического образования совместно с инженерами ИИ создают специализированных ИИ-агентов. Промптинг рассматривается как новый язык программирования, а не как блоки no-code/low-code.

• Wallaroo.AI — развёртывайте, управляйте и оптимизируйте любые модели в любом масштабе и среде — от облака до периферии. Переход от ноутбука Python к инференсу занимает минуты.

• Dify — платформа разработки приложений на основе LLM с открытым исходным кодом и интуитивно понятным интерфейсом, упрощающая рабочие процессы ИИ, управление моделями и промышленное развёртывание.

• LazyLLM — приложение на основе LLM с открытым исходным кодом для простого создания мультиагентных приложений LLM; поддерживает развёртывание и дообучение моделей.

• MemFree — гибридная поисковая система ИИ с открытым исходным кодом: мгновенно получайте точные ответы из интернета, закладок, заметок и документов. Поддерживается развёртывание в один клик.

• AutoRAG — инструмент AutoML с открытым исходным кодом для RAG. Автоматически повышает качество ответов RAG: от создания набора данных для оценки генерации до развёртывания оптимизированного конвейера RAG.

• Epsilla — универсальная платформа ИИ-агентов на основе ваших закрытых данных и знаний, предоставляющая готовых к эксплуатации ИИ-агентов с первого дня.

• Arize-Phoenix — инструмент наблюдаемости ML с открытым исходным кодом, работающий в среде ноутбука. Позволяет отслеживать и дообучать LLM, модели CV и табличные модели.

• LLM — утилита CLI и библиотека Python для взаимодействия с большими языковыми моделями через удалённые API, а также с моделями, которые можно установить и запускать на собственном компьютере.

• Just-Chat — создавайте ИИ-агента на основе LLM и общайтесь с ним просто и быстро!

• Agentic Radar — сканер безопасности CLI с открытым исходным кодом для агентных рабочих процессов. Анализирует исходный код рабочего процесса, обнаруживает уязвимости и создаёт интерактивную визуализацию с подробным отчётом о безопасности. Поддерживает LangGraph, CrewAI, n8n, OpenAI Agents и другие инструменты.

• LangWatch — платформа с открытым исходным кодом для наблюдаемости LLM, оценки и оптимизации промптов.

• TensorZero — фреймворк с открытым исходным кодом для создания готовых к эксплуатации приложений на основе LLM. Объединяет шлюз LLM, наблюдаемость, оптимизацию, оценку и экспериментирование.

Учебные материалы и курсы по LLM

• Andrej Karpathy Series — мой фаворит!
• Umar Jamil Series — высококачественные обучающие видео, которые нельзя пропустить.
• Alexander Rush Series — высококачественные учебные материалы, которые нельзя пропустить.
• llm-course — курс по большим языковым моделям (LLM) с дорожными картами и блокнотами Colab.
• UWaterloo CS 886 — последние достижения в области базовых моделей.
• CS25-Transformers United
• ChatGPT Prompt Engineering
• Princeton: Understanding Large Language Models
• CS324 - Large Language Models
• State of GPT
• A Visual Guide to Mamba and State Space Models
• Let’s build GPT: from scratch, in code, spelled out.
• minbpe — минималистичная и чистая реализация алгоритма кодирования пар байтов (BPE), широко используемого для токенизации LLM.
• femtoGPT — минималистичная реализация Generative Pretrained Transformer на чистом Rust.
• Neurips2022-Foundational Robustness of Foundation Models
• ICML2022-Welcome to the “Big Model” Era: Techniques and Systems to Train and Serve Bigger Models
• GPT in 60 Lines of NumPy
• LLM‑RL‑Visualized (EN) | LLM‑RL‑Visualized (中文) — более 100 схем алгоритмов LLM / RL📚.

Книги о LLM

• Generative AI with LangChain: Build large language model (LLM) apps with Python, ChatGPT, and other LLMs — к книге прилагается репозиторий GitHub, демонстрирующий множество её возможностей.
• Build a Large Language Model (From Scratch) — руководство по созданию собственной работающей LLM.
• BUILD GPT: HOW AI WORKS — объясняет, как с нуля написать генеративный предварительно обученный трансформер, или GPT.
• Hands-On Large Language Models: Language Understanding and Generation — изучите мир больших языковых моделей с помощью более 275 оригинальных иллюстраций в этом наглядном руководстве!
• The Chinese Book for Large Language Models — вводный учебник по LLM, основанный на работе A Survey of Large Language Models.

Важные мысли о LLM

• Why did all of the public reproduction of GPT-3 fail?
• A Stage Review of Instruction Tuning
• LLM Powered Autonomous Agents
• Why you should work on AI AGENTS!
• Google “We Have No Moat, And Neither Does OpenAI”
• AI competition statement
• Prompt Engineering
• Noam Chomsky: The False Promise of ChatGPT
• Is ChatGPT 175 Billion Parameters? Technical Analysis
• The Next Generation Of Large Language Models
• Large Language Model Training in 2023
• How does GPT Obtain its Ability? Tracing Emergent Abilities of Language Models to their Sources
• Open Pretrained Transformers
• Scaling, emergence, and reasoning in large language models

Разное

• Emergent Mind — последние новости ИИ, отобранные и объяснённые GPT-4.
• ShareGPT — делитесь самыми необычными диалогами ChatGPT одним нажатием.
• Major LLMs + Data Availability
• 500+ Best AI Tools
• Cohere Summarize Beta — представляем бета-версию Cohere Summarize: новую конечную точку для суммаризации текста.
• chatgpt-wrapper — неофициальные API Python и CLI с открытым исходным кодом для взаимодействия с ChatGPT.
• Cursor — пишите, редактируйте код и обсуждайте его с помощью мощного ИИ.
• AutoGPT — экспериментальное приложение с открытым исходным кодом, демонстрирующее возможности языковой модели GPT-4.
• OpenAGI — когда LLM встречается с экспертами в предметной области.
• EasyEdit — простой в использовании фреймворк для редактирования больших языковых моделей.
• chatgpt-shroud — расширение Chrome для ChatGPT от OpenAI, повышающее конфиденциальность: оно позволяет легко скрывать и показывать историю чатов. Подходит для защиты приватности при демонстрации экрана.
• AI For Developers — список инструментов и агентов ИИ для разработчиков.

Участие в проекте

Работа над этим репозиторием продолжается, и мы всегда рады вашему вкладу!

Если я не уверен, подходят ли некоторые pull request для LLM, я оставлю их открытыми — вы можете проголосовать за них, поставив 👍.

---

Если у вас есть вопросы об этом субъективно составленном списке, не стесняйтесь написать мне: chengxin1998@stu.pku.edu.cn.