LLM

Source: https://github.com/Hannibal046/Awesome-LLM at 538eed00fcb0
License: CC0-1.0
Read the English original

This edition is an AI-assisted translation.

Awesome-LLM

🔥 Os modelos de linguagem de grande porte (LLMs) conquistaram a comunidade de PLN a comunidade de IA o mundo inteiro. Aqui está uma lista selecionada de artigos sobre modelos de linguagem de grande porte, especialmente os relacionados ao ChatGPT. Ela também inclui estruturas para treinamento de LLMs, ferramentas para implantá-los, cursos e tutoriais sobre LLMs, além de todos os checkpoints e APIs de LLMs disponíveis publicamente.

Projetos de LLMs em alta

• TinyZero - Reprodução limpa, minimalista e acessível do DeepSeek R1-Zero
• open-r1 - Reprodução totalmente aberta do DeepSeek-R1
• DeepSeek-R1 - Modelos de raciocínio de primeira geração da DeepSeek.
• Qwen2.5-Max - Explorando a inteligência de um modelo MoE de grande escala.
• OpenAI o3-mini - Ampliando os limites do raciocínio com boa relação custo-benefício.
• DeepSeek-V3 - Primeiro modelo de nível GPT-4o disponibilizado como código aberto.
• Kimi-K2 - Modelo de linguagem MoE com 32B de parâmetros ativos e 1T de parâmetros no total.

Sumário

• Awesome-LLM
  • Artigos marcantes
  • Outros artigos
  • Classificações de LLMs
  • LLMs de código aberto
  • Dados para LLMs
  • Avaliação de LLMs
  • Estruturas de treinamento de LLMs
  • Inferência de LLMs
  • Aplicações de LLMs
  • Tutoriais e cursos sobre LLMs
  • Livros sobre LLMs
  • Grandes reflexões sobre LLMs
  • Diversos

Artigos marcantes

artigos marcantes

Data	palavras-chave	Instituição	Artigo
2017-06	Transformers	Google	Attention Is All You Need
2018-06	GPT 1.0	OpenAI	Improving Language Understanding by Generative Pre-Training
2018-10	BERT	Google	BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
2019-02	GPT 2.0	OpenAI	Language Models are Unsupervised Multitask Learners
2019-09	Megatron-LM	NVIDIA	Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism
2019-10	T5	Google	Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
2019-10	ZeRO	Microsoft	ZeRO: Memory Optimizations Toward Training Trillion Parameter Models
2020-01	Scaling Law	OpenAI	Scaling Laws for Neural Language Models
2020-05	GPT 3.0	OpenAI	Language models are few-shot learners
2021-01	Switch Transformers	Google	Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
2021-08	Codex	OpenAI	Evaluating Large Language Models Trained on Code
2021-08	Foundation Models	Stanford	On the Opportunities and Risks of Foundation Models
2021-09	FLAN	Google	Finetuned Language Models are Zero-Shot Learners
2021-10	T0	HuggingFace et al.	Multitask Prompted Training Enables Zero-Shot Task Generalization
2021-12	GLaM	Google	GLaM: Efficient Scaling of Language Models with Mixture-of-Experts
2021-12	WebGPT	OpenAI	WebGPT: Browser-assisted question-answering with human feedback
2021-12	Retro	DeepMind	Improving language models by retrieving from trillions of tokens
2021-12	Gopher	DeepMind	Scaling Language Models: Methods, Analysis & Insights from Training Gopher
2022-01	COT	Google	Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
2022-01	LaMDA	Google	LaMDA: Language Models for Dialog Applications
2022-01	Minerva	Google	Solving Quantitative Reasoning Problems with Language Models
2022-01	Megatron-Turing NLG	Microsoft&NVIDIA	Using Deep and Megatron to Train Megatron-Turing NLG 530B, A Large-Scale Generative Language Model
2022-03	InstructGPT	OpenAI	Training language models to follow instructions with human feedback
2022-04	PaLM	Google	PaLM: Scaling Language Modeling with Pathways
2022-04	Chinchilla	DeepMind	Training Compute-Optimal Large Language Models
2022-05	OPT	Meta	OPT: Open Pre-trained Transformer Language Models
2022-05	UL2	Google	Unifying Language Learning Paradigms
2022-06	Emergent Abilities	Google	Emergent Abilities of Large Language Models
2022-06	BIG-bench	Google	Beyond the Imitation Game: Quantifying and extrapolating the capabilities of language models
2022-06	METALM	Microsoft	Language Models are General-Purpose Interfaces
2022-09	Sparrow	DeepMind	Improving alignment of dialogue agents via targeted human judgements
2022-10	Flan-T5/PaLM	Google	Scaling Instruction-Finetuned Language Models
2022-10	GLM-130B	Tsinghua	GLM-130B: An Open Bilingual Pre-trained Model
2022-11	HELM	Stanford	Holistic Evaluation of Language Models
2022-11	BLOOM	BigScience	BLOOM: A 176B-Parameter Open-Access Multilingual Language Model
2022-11	Galactica	Meta	Galactica: A Large Language Model for Science
2022-12	OPT-IML	Meta	OPT-IML: Scaling Language Model Instruction Meta Learning through the Lens of Generalization
2023-01	Flan 2022 Collection	Google	The Flan Collection: Designing Data and Methods for Effective Instruction Tuning
2023-02	LLaMA	Meta	LLaMA: Open and Efficient Foundation Language Models
2023-02	Kosmos-1	Microsoft	Language Is Not All You Need: Aligning Perception with Language Models
2023-03	LRU	DeepMind	Resurrecting Recurrent Neural Networks for Long Sequences
2023-03	PaLM-E	Google	PaLM-E: An Embodied Multimodal Language Model
2023-03	GPT 4	OpenAI	GPT-4 Technical Report
2023-04	LLaVA	UW–Madison&Microsoft	Visual Instruction Tuning
2023-04	Pythia	EleutherAI et al.	Pythia: A Suite for Analyzing Large Language Models Across Training and Scaling
2023-05	Dromedary	CMU et al.	Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision
2023-05	PaLM 2	Google	PaLM 2 Technical Report
2023-05	RWKV	Bo Peng	RWKV: Reinventing RNNs for the Transformer Era
2023-05	DPO	Stanford	Direct Preference Optimization: Your Language Model is Secretly a Reward Model
2023-05	ToT	Google&Princeton	Tree of Thoughts: Deliberate Problem Solving with Large Language Models
2023-07	LLaMA2	Meta	Llama 2: Open Foundation and Fine-Tuned Chat Models
2023-10	Mistral 7B	Mistral	Mistral 7B
2023-12	Mamba	CMU&Princeton	Mamba: Linear-Time Sequence Modeling with Selective State Spaces
2024-01	DeepSeek-v2	DeepSeek	DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model
2024-02	OLMo	Ai2	OLMo: Accelerating the Science of Language Models
2024-05	Mamba2	CMU&Princeton	Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality
2024-05	Llama3	Meta	The Llama 3 Herd of Models
2024-06	FineWeb	HuggingFace	The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale
2024-09	OLMoE	Ai2	OLMoE: Open Mixture-of-Experts Language Models
2024-12	Qwen2.5	Alibaba	Qwen2.5 Technical Report
2024-12	DeepSeek-V3	DeepSeek	DeepSeek-V3 Technical Report
2025-01	DeepSeek-R1	DeepSeek	DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning

Outros artigos

[!NOTE] Se você tem interesse na área de LLMs, a lista acima de artigos marcantes pode ajudar a explorar sua história e o estado da arte. No entanto, cada linha de pesquisa em LLMs oferece perspectivas e contribuições únicas, essenciais para compreender a área como um todo. Para uma lista detalhada de artigos de vários subcampos, consulte o link a seguir:

outros artigos

• Awesome-LLM-hallucination - Lista de artigos sobre alucinações em LLMs.

• awesome-hallucination-detection - Lista de artigos sobre detecção de alucinações em LLMs.

• LLMsPracticalGuide - Uma seleção de recursos práticos sobre LLMs.

• Awesome ChatGPT Prompts - Uma coleção de exemplos de prompts para usar com o modelo ChatGPT.

• awesome-chatgpt-prompts-zh - Uma coleção chinesa de exemplos de prompts para usar com o modelo ChatGPT.

• Awesome ChatGPT - Seleção de recursos sobre ChatGPT e GPT-3 da OpenAI.

• Chain-of-Thoughts Papers - Uma tendência que começou com “Chain of Thought Prompting Elicits Reasoning in Large Language Models”.

• Awesome Deliberative Prompting - Como solicitar que LLMs produzam raciocínios confiáveis e tomem decisões responsivas ao raciocínio.

• Instruction-Tuning-Papers - Uma tendência que começou com Natrural-Instruction (ACL 2022), FLAN (ICLR 2022) e T0 (ICLR 2022).

• LLM Reading List - Lista de artigos e recursos sobre modelos de linguagem de grande porte.

• Reasoning using Language Models - Coleção de artigos e recursos sobre raciocínio com modelos de linguagem.

• Chain-of-Thought Hub - Medição do desempenho de raciocínio de LLMs.

• Awesome GPT - Uma seleção de projetos e recursos incríveis relacionados a GPT, ChatGPT, OpenAI, LLMs e muito mais.

• Awesome GPT-3 - Uma coleção de demonstrações e artigos sobre a API GPT-3 da OpenAI.

• Awesome LLM Human Preference Datasets - Uma coleção de conjuntos de dados de preferências humanas para ajuste de instruções de LLMs, RLHF e avaliação.

• RWKV-howto - Materiais e tutoriais possivelmente úteis para aprender RWKV.

• ModelEditingPapers - Lista de artigos e recursos sobre edição de modelos para modelos de linguagem de grande porte.

• Awesome LLM Security - Seleção de ferramentas, documentos e projetos incríveis sobre segurança de LLMs.

• Awesome-Align-LLM-Human - Coleção de artigos e recursos sobre o alinhamento de modelos de linguagem de grande porte (LLMs) com pessoas.

• Awesome-Code-LLM - Uma lista selecionada dos melhores LLMs de código para pesquisa.

• Awesome-LLM-Compression - Artigos de pesquisa e ferramentas incríveis sobre compressão de LLMs.

• Awesome-LLM-Systems - Artigos de pesquisa incríveis sobre sistemas de LLMs.

• awesome-llm-webapps - Coleção de aplicações Web de código aberto e ativamente mantidas para LLMs.

• awesome-japanese-llm - Compilação de LLMs em japonês — visão geral dos LLMs japoneses.

• Awesome-LLM-Healthcare - Lista de artigos da revisão sobre LLMs na medicina.

• Awesome-LLM-Inference - Uma seleção de artigos incríveis sobre inferência de LLMs, com código.

• Awesome-LLM-3D - Uma seleção de modelos de linguagem multimodais de grande porte no mundo 3D, incluindo compreensão, raciocínio e geração 3D, além de agentes incorporados.

• LLMDatahub - Uma coleção selecionada de conjuntos de dados desenvolvidos especificamente para treinamento de chatbots, incluindo links, tamanho, idioma, uso e uma breve descrição de cada conjunto de dados.

• Awesome-Chinese-LLM - Organiza modelos de linguagem chineses de código aberto, com foco principalmente em modelos menores, que podem ser implantados de forma privada e têm custos de treinamento mais baixos. Inclui modelos-base, ajustes finos e aplicações de domínios verticais, conjuntos de dados, tutoriais e outros recursos.

• LLM4Opt - Aplicar modelos de linguagem de grande porte (LLMs) a diversas tarefas de otimização (Opt) é uma área de pesquisa emergente. Esta é uma coleção de referências e artigos sobre LLM4Opt.

• awesome-language-model-analysis - Esta lista de artigos se concentra em análises teóricas ou empíricas de modelos de linguagem, por exemplo, dinâmica de aprendizado, capacidade expressiva, interpretabilidade, generalização e outros tópicos interessantes.

Classificações de LLMs

• Chatbot Arena Leaderboard - uma plataforma de avaliação comparativa para modelos de linguagem de grande porte (LLMs), com disputas anônimas e aleatórias organizadas de forma colaborativa.
• LiveBench - Uma avaliação comparativa desafiadora e livre de contaminação.
• Open LLM Leaderboard - tem como objetivo acompanhar, classificar e avaliar LLMs e chatbots à medida que são lançados.
• AlpacaEval - Um avaliador automático de modelos de linguagem que seguem instruções, usando o conjunto de avaliações Nous.

outras classificações

• ACLUE - uma avaliação comparativa voltada à compreensão da língua chinesa antiga.
• BeHonest - Uma avaliação comparativa pioneira, criada especificamente para avaliar de forma abrangente a honestidade de LLMs.
• Berkeley Function-Calling Leaderboard - avalia a capacidade dos LLMs de chamar funções/ferramentas externas.
• Chinese Large Model Leaderboard - uma avaliação comparativa de LLMs chineses conduzida por especialistas.
• CompassRank - A CompassRank se dedica a explorar os modelos de linguagem e de visão mais avançados, oferecendo à indústria e à pesquisa uma referência de avaliação abrangente, objetiva e neutra.
• CompMix - uma avaliação comparativa de métodos de perguntas e respostas que operam com uma combinação de fontes de entrada heterogêneas (bases de conhecimento, texto, tabelas e infocaixas).
• DreamBench++ - uma avaliação comparativa do desempenho de modelos de linguagem de grande porte (LLMs) em várias tarefas relacionadas à imaginação textual e visual.
• FELM - uma meta-avaliação comparativa que mede a qualidade com que avaliadores de factualidade avaliam as respostas de modelos de linguagem de grande porte (LLMs).
• InfiBench - uma avaliação comparativa criada para avaliar especificamente a capacidade de modelos de linguagem de grande porte (LLMs) de responder a perguntas de programação do mundo real.
• LawBench - uma avaliação comparativa criada para avaliar modelos de linguagem de grande porte no domínio jurídico.
• LLMEval - tem como foco entender o desempenho desses modelos em vários cenários e analisar os resultados sob a perspectiva da interpretabilidade.
• M3CoT - uma avaliação comparativa que testa modelos de linguagem de grande porte em diversas tarefas de raciocínio multimodal, incluindo linguagem, ciências naturais e sociais, senso comum físico e social, raciocínio temporal, álgebra e geometria.
• MathEval - uma plataforma abrangente de avaliação comparativa criada para avaliar as habilidades matemáticas de modelos de grande porte em 20 áreas e quase 30 mil problemas de matemática.
• MixEval - uma avaliação comparativa dinâmica baseada em resultados de referência reais e derivada de combinações prontas de avaliações comparativas. Ela avalia LLMs com uma classificação de modelos altamente competente (correlação de 0,96 com o Chatbot Arena), com execução local e rápida (apenas 6% do tempo e do custo de execução do MMLU).
• MMedBench - uma avaliação comparativa que mede a capacidade de modelos de linguagem de grande porte de responder a perguntas médicas em vários idiomas.
• MMToM-QA - uma avaliação comparativa multimodal de perguntas e respostas criada para avaliar a capacidade cognitiva de modelos de IA de compreender crenças e objetivos humanos.
• OlympicArena - uma avaliação comparativa para avaliar modelos de IA em várias disciplinas acadêmicas, como matemática, física, química, biologia e outras.
• PubMedQA - uma avaliação biomédica comparativa de perguntas e respostas, criada para responder a perguntas de pesquisa usando resumos do PubMed.
• SciBench - uma avaliação comparativa criada para avaliar modelos de linguagem de grande porte (LLMs) na resolução de problemas científicos complexos, de nível universitário, em áreas como química, física e matemática.
• SuperBench - uma plataforma de avaliação comparativa criada para avaliar modelos de linguagem de grande porte (LLMs) em uma série de tarefas, com foco especial em aspectos como compreensão de linguagem natural, raciocínio e generalização.
• SuperLim - uma avaliação comparativa de compreensão da língua sueca que avalia modelos de processamento de linguagem natural (PLN) em várias tarefas, como análise de argumentação, similaridade semântica e inferência textual.
• TAT-DQA - um conjunto de dados de perguntas e respostas visuais sobre documentos em grande escala, criado para a compreensão de documentos complexos, especialmente relatórios financeiros.
• TAT-QA - uma avaliação comparativa de perguntas e respostas em grande escala, voltada a dados financeiros do mundo real e que combina informações tabulares e textuais.
• VisualWebArena - uma avaliação comparativa criada para medir o desempenho de agentes Web multimodais em tarefas realistas fundamentadas visualmente.
• We-Math - uma avaliação comparativa que mede a capacidade de grandes modelos multimodais (LMMs) de realizar raciocínio matemático semelhante ao humano.
• WHOOPS! - um conjunto de dados de avaliação comparativa que testa a capacidade da IA de raciocinar sobre senso comum visual por meio de imagens que desafiam as expectativas normais.

LLMs de código aberto

DeepSeek

• DeepSeek-Math-7B
• DeepSeek-Coder-1.3|6.7|7|33B
• DeepSeek-VL-1.3|7B
• DeepSeek-MoE-16B
• DeepSeek-v2-236B-MoE
• DeepSeek-Coder-v2-16|236B-MOE
• DeepSeek-V2.5
• DeepSeek-V3
• DeepSeek-R1

Alibaba

• Qwen-1.8B|7B|14B|72B
• Qwen1.5-0.5B|1.8B|4B|7B|14B|32B|72B|110B|MoE-A2.7B
• Qwen2-0.5B|1.5B|7B|57B-A14B-MoE|72B
• Qwen2.5-0.5B|1.5B|3B|7B|14B|32B|72B
• CodeQwen1.5-7B
• Qwen2.5-Coder-1.5B|7B|32B
• Qwen2-Math-1.5B|7B|72B
• Qwen2.5-Math-1.5B|7B|72B
• Qwen-VL-7B
• Qwen2-VL-2B|7B|72B
• Qwen2-Audio-7B
• Qwen2.5-VL-3|7|72B
• Qwen2.5-1M-7|14B

Meta

• Llama 3.2-1|3|11|90B
• Llama 3.1-8|70|405B
• Llama 3-8|70B
• Llama 2-7|13|70B
• Llama 1-7|13|33|65B
• OPT-1.3|6.7|13|30|66B

Mistral AI

• Codestral-7|22B
• Mistral-7B
• Mixtral-8x7B
• Mixtral-8x22B

Google

• Gemma2-9|27B
• Gemma-2|7B
• RecurrentGemma-2B
• T5

Apple

• OpenELM-1.1|3B

Microsoft

• Phi1-1.3B
• Phi2-2.7B
• Phi3-3.8|7|14B

AllenAI

• OLMo-7B

xAI

• Grok-1-314B-MoE

Cohere

• Command R-35B

01-ai

• Yi-34B
• Yi1.5-6|9|34B
• Yi-VL-6B|34B

Baichuan

• Baichuan-7|13B
• Baichuan2-7|13B

Nvidia

• Nemotron-4-340B

BLOOM

• BLOOMZ&mT0

Zhipu AI

• GLM-2|6|10|13|70B
• CogVLM2-19B

OpenBMB

• MiniCPM-2B
• OmniLLM-12B
• VisCPM-10B
• CPM-Bee-1|2|5|10B

RWKV Foundation

• RWKV-v4|5|6minicpm-2b-65d48bf958302b9fd25b698f)

ElutherAI

• Pythia-1|1.4|2.8|6.9|12B

Stability AI

• StableLM-3B
• StableLM-v2-1.6B
• StableLM-v2-12B
• StableCode-3B

BigCode

• StarCoder-1|3|7B
• StarCoder2-3|7|15B

DataBricks

• MPT-7B
• DBRX-132B-MoE

Shanghai AI Laboratory

• InternLM2-1.8|7|20B
• InternLM-Math-7B|20B
• InternLM-XComposer2-1.8|7B
• InternVL-2|6|14|26

Moonshot AI

• Moonlight-A3B
• Kimi-VL-A3B
• Kimi-K2

Dados para LLMs

Referência: LLMDataHub

• IBM data-prep-kit - Kit de ferramentas de código aberto para processamento eficiente de dados não estruturados, com módulos pré-configurados e escalabilidade do ambiente local ao cluster.
• Datatrove - Elimina o caos de scripts no processamento de dados, oferecendo blocos personalizáveis e independentes de plataforma para criar pipelines.
• Dingo - Uma ferramenta abrangente de avaliação da qualidade de dados.
• FastDatasets - Uma ferramenta poderosa para criar conjuntos de dados de treinamento de alta qualidade para modelos de linguagem de grande porte.

Avaliação de LLMs:

• lm-evaluation-harness - Uma estrutura para avaliação de modelos de linguagem com poucos exemplos.
• lighteval - um conjunto leve de ferramentas de avaliação de LLMs usado internamente pela Hugging Face.
• simple-evals - Ferramentas de avaliação da OpenAI.

outras estruturas de avaliação

• OLMO-eval - um repositório para avaliar modelos de linguagem abertos.
• MixEval - Um conjunto de avaliação confiável, pronto para uso e compatível com modelos de código aberto e proprietários, com suporte a MixEval e outras avaliações comparativas.
• HELM - Holistic Evaluation of Language Models (HELM), uma estrutura para aumentar a transparência dos modelos de linguagem.
• instruct-eval - Este repositório contém código para avaliar quantitativamente modelos ajustados para seguir instruções, como Alpaca e Flan-T5, em tarefas reservadas para teste.
• Giskard - Biblioteca de testes e avaliação para aplicações de LLMs, especialmente RAGs.
• LangSmith - uma plataforma unificada do framework LangChain para avaliação, colaboração HITL (Human In The Loop), registro e monitoramento de aplicações de LLM.
• Ragas - uma estrutura que ajuda a avaliar seus pipelines de geração aumentada por recuperação (RAG).

Estruturas de treinamento de LLMs

• Meta Lingua - uma base de código enxuta, eficiente e fácil de modificar para pesquisar LLMs.
• Litgpt - Mais de 20 LLMs de alto desempenho, com receitas para pré-treinamento, ajuste fino e implantação em escala.
• nanotron - Treinamento minimalista de modelos de linguagem de grande porte com paralelismo 3D.
• DeepSpeed - Uma biblioteca de otimização de deep learning que torna o treinamento e a inferência distribuídos simples, eficientes e eficazes.
• Megatron-LM - Pesquisa contínua sobre o treinamento de modelos Transformer em escala.
• torchtitan - Uma biblioteca nativa do PyTorch para treinamento de modelos de grande porte.

outras estruturas

• Megatron-DeepSpeed - Versão do DeepSpeed do Megatron-LM da NVIDIA, que acrescenta suporte a vários recursos, como treinamento de modelos MoE, aprendizado curricular, paralelismo 3D e outros.
• torchtune - Uma biblioteca nativa do PyTorch para ajuste fino de LLMs.
• ROLL - Uma biblioteca eficiente e fácil de usar para escalar o aprendizado por reforço com modelos de linguagem de grande porte.
• veRL - O veRL é uma estrutura de aprendizado por reforço flexível e eficiente para LLMs.
• NeMo Framework - Estrutura de IA generativa para pesquisadores e desenvolvedores PyTorch que trabalham com modelos de linguagem de grande porte (LLMs), modelos multimodais (MMs), reconhecimento automático de fala (ASR), conversão de texto em fala (TTS) e visão computacional (CV).
• Colossal-AI - Tornando modelos de IA de grande porte mais baratos, rápidos e acessíveis.
• BMTrain - Treinamento eficiente de modelos de grande porte.
• Mesh Tensorflow - Mesh TensorFlow: paralelismo de modelos simplificado.
• maxtext - Um LLM simples, eficiente e escalável em JAX!
• GPT-NeoX - Uma implementação de Transformers autorregressivos com paralelismo de modelos em GPUs, baseada na biblioteca DeepSpeed.
• Transformer Engine - Uma biblioteca para acelerar o treinamento de modelos Transformer em GPUs NVIDIA.
• OpenRLHF - Uma estrutura de RLHF fácil de usar, escalável e de alto desempenho (ajuste completo de PPO para 70B+, DPO iterativo, LoRA, RingAttention e RFT).
• TRL - TRL é uma biblioteca completa que oferece um conjunto de ferramentas para treinar modelos de linguagem Transformer com aprendizado por reforço, desde o ajuste fino supervisionado (SFT) e a modelagem de recompensas (RM) até a otimização de política proximal (PPO).
• unslothai - Uma estrutura especializada em ajuste fino eficiente. Na página do GitHub, você encontra modelos de ajuste fino prontos para vários LLMs, que facilitam o treinamento gratuito com seus próprios dados na nuvem do Google Colab.
• Axolotl - Estrutura de código aberto para ajuste fino e avaliação de LLMs. Simplifica experimentos com diferentes configurações de treinamento e facilita reproduzir e compartilhar resultados. Oferece suporte a recursos como LoRA, QLoRA, DeepSpeed, PEFT e configurações com várias GPUs.

Inferência de LLMs

Referência: llm-inference-solutions

• SGLang - O SGLang é uma estrutura rápida para disponibilizar modelos de linguagem de grande porte e modelos de linguagem visual.
• vLLM - Um mecanismo de inferência e disponibilização de LLMs com alto throughput e uso eficiente de memória.
• llama.cpp - Inferência de LLMs em C/C++.
• ollama - Comece a usar Llama 3, Mistral, Gemma e outros modelos de linguagem de grande porte.
• TGI - um conjunto de ferramentas para implantar e disponibilizar modelos de linguagem de grande porte (LLMs).
• TensorRT-LLM - Framework da Nvidia para inferência de LLMs.

outras ferramentas de implantação

• FasterTransformer - Estrutura da NVIDIA para inferência de LLMs (migrada para TensorRT-LLM).
• MInference - Para acelerar a inferência de LLMs com contexto longo, calcula a atenção esparsa de forma aproximada e dinâmica, reduzindo em até 10 vezes a latência de inferência durante o pré-preenchimento em uma A100, sem perder precisão.
• exllama - Uma reimplementação dos Transformers da HF para Llama, com uso mais eficiente da memória e compatível com pesos quantizados.
• FastChat - Um sistema distribuído para disponibilizar vários modelos de LLM, com interface Web e APIs RESTful compatíveis com OpenAI.
• mistral.rs - Inferência de LLM extremamente rápida.
• SkyPilot - Execute LLMs e tarefas em lote em qualquer nuvem. Tenha a máxima economia de custos, maior disponibilidade de GPUs e execução gerenciada — tudo em uma interface simples.
• Haystack - uma estrutura de PLN de código aberto que permite usar LLMs e modelos baseados em Transformer da Hugging Face, OpenAI e Cohere para interagir com seus próprios dados.
• OpenLLM - Ajuste fino, disponibilize, implante e monitore qualquer LLM de código aberto em produção. Usado em produção na BentoML para aplicações baseadas em LLMs.
• DeepSpeed-Mii - O MII possibilita inferência com baixa latência e alto throughput, semelhante ao vLLM, com tecnologia DeepSpeed.
• Text-Embeddings-Inference - Inferência de embeddings de texto em Rust, licença HFOIL.
• Infinity - Inferência de embeddings de texto em Python.
• LMDeploy - Uma estrutura de inferência e disponibilização de LLMs e VLs com alto throughput e baixa latência.
• Liger-Kernel - Kernels Triton eficientes para treinamento de LLMs.
• prima.cpp - Uma implementação distribuída do llama.cpp que permite executar LLMs de nível 70B em dispositivos do dia a dia.
• deploy-llms-with-ansible - Implante facilmente qualquer LLM em uma máquina virtual com configuração mínima, usando Ansible.

Aplicações de LLMs

Reference: awesome-llm-apps

• dspy - DSPy: a estrutura para programar — não criar prompts para — modelos fundamentais.
• LangChain — Uma biblioteca popular de Python/JavaScript para encadear sequências de prompts de modelos de linguagem.
• LlamaIndex — Uma biblioteca Python para ampliar aplicações de LLMs com dados.

mais aplicações

• MLflow - MLflow: uma estrutura de código aberto para todo o ciclo de vida do aprendizado de máquina, que ajuda desenvolvedores a acompanhar experimentos, avaliar modelos/prompts, implantar modelos e adicionar observabilidade com rastreamento.

• Swiss Army Llama - Um conjunto abrangente de ferramentas para trabalhar com LLMs locais em várias tarefas.

• LiteChain - Alternativa leve ao LangChain para compor LLMs.

• magentic - Integre LLMs a funções Python sem complicações.

• wechat-chatgpt - Use ChatGPT no WeChat por meio do wechaty.

• promptfoo - Teste seus prompts. Avalie e compare as respostas de LLMs, detecte regressões e melhore a qualidade dos prompts.

• Agenta - Crie, versione, avalie e implante facilmente suas aplicações com tecnologia de LLMs.

• Serge - uma interface de chat criada com llama.cpp para executar modelos Alpaca. Sem chaves de API e totalmente auto-hospedada!

• Langroid - Use LLMs com programação multiagente.

• Embedchain - Estrutura para criar bots semelhantes ao ChatGPT com base em seu conjunto de dados.

• Opik - Avalie, teste e lance aplicações de LLM com confiança usando um conjunto de ferramentas de observabilidade que calibra as respostas de modelos de linguagem ao longo de todo o ciclo de desenvolvimento e produção.

• IntelliServer - simplifica a avaliação de LLMs ao oferecer um microsserviço unificado para acessar e testar vários modelos de IA.

• Langchain-Chatchat - Anteriormente langchain-ChatGLM; aplicação local de perguntas e respostas com base em conhecimento usando LLMs como ChatGLM e LangChain.

• Search with Lepton - Crie seu próprio mecanismo de busca conversacional com menos de 500 linhas de código usando a LeptonAI.

• Robocorp - Crie, implante e opere Actions usando Python em qualquer lugar para aprimorar seus agentes e assistentes de IA. Inclui um amplo conjunto de bibliotecas, auxiliares e recursos de registro.

• Tune Studio - Ambiente de experimentação para desenvolvedores ajustarem e implantarem LLMs.

• LLocalSearch - Pesquisa na Web executada localmente usando cadeias de LLMs.

• AI Gateway — O Gateway simplifica as solicitações a mais de 100 modelos de código aberto e fechado por meio de uma API unificada. Também está pronto para produção, com suporte a cache, alternativas, novas tentativas, timeouts, balanceamento de carga e implantação na borda para latência mínima.

• talkd.ai dialog - API simples para implantar qualquer RAG ou LLM desejado, com adição de plugins.

• Wllama - Vínculo WebAssembly para llama.cpp, que permite executar inferência de LLMs no navegador.

• GPUStack - Um gerenciador de clusters de GPU de código aberto para executar LLMs.

• MNN-LLM — Uma estrutura de inferência em dispositivos, incluindo inferência de LLMs em dispositivos (celulares/PCs/IoT).

• CAMEL - A primeira estrutura multiagente de LLMs.

• QA-Pilot - Um projeto de chat interativo que usa LLMs do Ollama/OpenAI/MistralAI para compreender e navegar rapidamente por repositórios de código do GitHub ou recursos em arquivos compactados.

• Shell-Pilot - Interaja com LLMs usando modelos do Ollama (ou OpenAI, MistralAI) por meio de scripts shell puros no Linux (ou MacOS), aprimorando o gerenciamento inteligente do sistema sem dependências.

• MindSQL - Um pacote Python para conversão de texto em SQL com recursos de hospedagem própria e APIs RESTful compatíveis tanto com LLMs proprietários quanto de código aberto.

• Langfuse - Plataforma de engenharia de LLMs de código aberto 🪢 com rastreamento, avaliações, gerenciamento de prompts, avaliação e ambiente de experimentação.

• AdalFlow - AdalFlow: a biblioteca para criar e otimizar automaticamente aplicações de LLMs.

• Guidance — Uma biblioteca Python útil, desenvolvida pela Microsoft, que usa templates Handlebars para intercalar geração, criação de prompts e controle lógico.

• Evidently — Uma estrutura de código aberto para avaliar, testar e monitorar sistemas com tecnologia de ML e LLMs.

• Chainlit — Uma biblioteca Python para criar interfaces de chatbot.

• Guardrails.ai — Uma biblioteca Python para validar respostas e repetir tentativas em caso de falhas. Ainda está em alfa, então espere algumas arestas e erros.

• Semantic Kernel — Uma biblioteca Python/C#/Java da Microsoft que oferece templates de prompts, encadeamento de funções, memória vetorizada e planejamento inteligente.

• Prompttools — Ferramentas Python de código aberto para testar e avaliar modelos, bancos de dados vetoriais e prompts.

• Outlines — Uma biblioteca Python que oferece uma linguagem específica de domínio para simplificar a criação de prompts e restringir a geração.

• Promptify — Uma pequena biblioteca Python para usar modelos de linguagem em tarefas de PLN.

• Scale Spellbook — Produto pago para criar, comparar e lançar aplicações com modelos de linguagem.

• PromptPerfect — Produto pago para testar e aprimorar prompts.

• Weights & Biases — Produto pago para acompanhar experimentos de treinamento de modelos e engenharia de prompts.

• OpenAI Evals — Biblioteca de código aberto para avaliar o desempenho de tarefas de modelos de linguagem e prompts.

• Arthur Shield — Produto pago para detectar toxicidade, alucinações, injeção de prompt etc.

• LMQL — Uma linguagem de programação para interagir com LLMs, com suporte a prompts tipados, fluxo de controle, restrições e ferramentas.

• ModelFusion - Uma biblioteca TypeScript para criar aplicações com LLMs e outros modelos de ML (conversão de fala em texto, conversão de texto em fala e geração de imagens).

• OneKE — Um modelo bilíngue chinês-inglês de extração de conhecimento que usa grafos de conhecimento e tecnologias de processamento de linguagem natural.

• llm-ui - Uma biblioteca React para criar interfaces de usuário para LLMs.

• Wordware - Um ambiente de desenvolvimento integrado hospedado na Web, onde especialistas de domínio sem conhecimentos técnicos trabalham com engenheiros de IA para criar agentes de IA específicos para tarefas. Abordamos a criação de prompts como uma nova linguagem de programação, em vez de blocos low-code/no-code.

• Wallaroo.AI - Implante, gerencie e otimize qualquer modelo em escala, em qualquer ambiente, da nuvem à borda. Passe de um notebook Python à inferência em minutos.

• Dify - Uma plataforma de desenvolvimento de aplicações de LLMs de código aberto, com uma interface intuitiva que simplifica fluxos de trabalho de IA, gerenciamento de modelos e implantação em produção.

• LazyLLM - Uma aplicação de LLM de código aberto para criar aplicações multiagente de LLMs de forma simples e descomplicada, com suporte à implantação e ao ajuste fino de modelos.

• MemFree - Mecanismo de busca híbrido com IA e de código aberto. Obtenha instantaneamente respostas precisas da Internet, dos favoritos, das anotações e dos documentos. Oferece implantação com um clique.

• AutoRAG - Ferramenta AutoML de código aberto para RAG. Otimiza automaticamente a qualidade das respostas de RAG, da avaliação do conjunto de dados à implantação do pipeline otimizado.

• Epsilla - Uma plataforma completa de agentes de LLM com seus dados e conhecimentos privados, que entrega agentes de IA prontos para produção desde o primeiro dia.

• Arize-Phoenix - Ferramenta de código aberto para observabilidade de ML, executada no ambiente do seu notebook. Monitore e ajuste modelos de LLM, visão computacional e tabulares.

• LLM - Um utilitário de linha de comando e uma biblioteca Python para interagir com modelos de linguagem de grande porte, tanto por APIs remotas quanto com modelos instalados e executados na sua máquina.

• Just-Chat - Crie seu agente de LLM e converse com ele de forma simples e rápida!

• Agentic Radar - Scanner de segurança de código aberto para fluxos de trabalho agênticos. Analisa o código-fonte do fluxo, detecta vulnerabilidades e gera uma visualização interativa com um relatório de segurança detalhado. Oferece suporte a LangGraph, CrewAI, n8n, OpenAI Agents e outros.

• LangWatch - Plataforma de código aberto para observabilidade de LLMs, avaliação de prompts e otimização de prompts.

• TensorZero - O TensorZero é uma estrutura de código aberto para criar aplicações de LLM prontas para produção. Unifica gateway de LLMs, observabilidade, otimização, avaliações e experimentação.

Tutoriais e cursos sobre LLMs

• Andrej Karpathy Series - Meu favorito!
• Umar Jamil Series - vídeos educativos e de alta qualidade que você não pode perder.
• Alexander Rush Series - materiais educativos e de alta qualidade que você não pode perder.
• llm-course - Curso introdutório sobre modelos de linguagem de grande porte (LLMs), com roteiros de aprendizagem e notebooks do Colab.
• UWaterloo CS 886 - Avanços recentes em modelos fundamentais.
• CS25-Transformers United
• ChatGPT Prompt Engineering
• Princeton: Understanding Large Language Models
• CS324 - Large Language Models
• State of GPT
• A Visual Guide to Mamba and State Space Models
• Let’s build GPT: from scratch, in code, spelled out.
• minbpe - Código minimalista e limpo para o algoritmo Byte Pair Encoding (BPE), comumente usado na tokenização de LLMs.
• femtoGPT - Implementação pura em Rust de um Transformer generativo pré-treinado minimalista.
• Neurips2022-Foundational Robustness of Foundation Models
• ICML2022-Welcome to the “Big Model” Era: Techniques and Systems to Train and Serve Bigger Models
• GPT in 60 Lines of NumPy
• LLM‑RL‑Visualized (EN) | LLM‑RL‑Visualized (中文) - Mais de 100 mapas de algoritmos de LLM/RL 📚.

Livros sobre LLMs

• Generative AI with LangChain: Build large language model (LLM) apps with Python, ChatGPT, and other LLMs - Inclui um repositório no GitHub que demonstra muitas das funcionalidades.
• Build a Large Language Model (From Scratch) - Um guia para criar seu próprio LLM funcional.
• BUILD GPT: HOW AI WORKS - Explica como programar do zero um Transformer generativo pré-treinado, ou GPT.
• Hands-On Large Language Models: Language Understanding and Generation - Explore o universo dos modelos de linguagem de grande porte com mais de 275 ilustrações originais neste guia ilustrado!
• The Chinese Book for Large Language Models - Um livro introdutório sobre LLMs baseado em A Survey of Large Language Models.

Grandes reflexões sobre LLMs

• Why did all of the public reproduction of GPT-3 fail?
• A Stage Review of Instruction Tuning
• LLM Powered Autonomous Agents
• Why you should work on AI AGENTS!
• Google “We Have No Moat, And Neither Does OpenAI”
• AI competition statement
• Prompt Engineering
• Noam Chomsky: The False Promise of ChatGPT
• Is ChatGPT 175 Billion Parameters? Technical Analysis
• The Next Generation Of Large Language Models
• Large Language Model Training in 2023
• How does GPT Obtain its Ability? Tracing Emergent Abilities of Language Models to their Sources
• Open Pretrained Transformers
• Scaling, emergence, and reasoning in large language models

Diversos

• Emergent Mind - As últimas notícias sobre IA, selecionadas e explicadas pelo GPT-4.
• ShareGPT - Compartilhe suas conversas mais incríveis do ChatGPT com um clique.
• Major LLMs + Data Availability
• 500+ Best AI Tools
• Cohere Summarize Beta - Apresentando o Cohere Summarize Beta: um novo endpoint para sumarização de texto.
• chatgpt-wrapper - Um wrapper de código aberto e não oficial do ChatGPT, com API Python e CLI para interagir com o ChatGPT.
• Cursor - Escreva, edite e converse sobre seu código com uma IA poderosa.
• AutoGPT - uma aplicação experimental de código aberto que demonstra os recursos do modelo de linguagem GPT-4.
• OpenAGI - Quando LLMs encontram especialistas de domínio.
• EasyEdit - Uma estrutura fácil de usar para editar modelos de linguagem de grande porte.
• chatgpt-shroud - Uma extensão do Chrome para o ChatGPT da OpenAI que aprimora a privacidade, permitindo ocultar e reexibir facilmente o histórico de conversas. Ideal para proteger a privacidade durante o compartilhamento de tela.
• AI For Developers - Lista de ferramentas e agentes de IA para desenvolvedores.

Como contribuir

Este repositório está ativo e suas contribuições são sempre bem-vindas!

Vou manter algumas pull requests abertas quando não tiver certeza se são incríveis para LLMs; você pode votar nelas adicionando 👍.

---

Se tiver alguma dúvida sobre esta lista selecionada, entre em contato comigo pelo e-mail chengxin1998@stu.pku.edu.cn.