Plataforma de agregação de APIs de IA com endpoint LLM compatível com OpenAI para tarefas de PLN como tradução, sumarização, geração multilíngue e extração estruturada.
Uma seleção de recursos dedicados ao processamento de linguagem natural.
Esta lista abrange o processamento de linguagem natural: análise linguística, ferramentas multilíngues, métodos clássicos e neurais, conjuntos de dados e avaliação. Modelos de linguagem grandes só são incluídos quando promovem ou avaliam uma tarefa ou capacidade central de PLN (tokenização, multilinguismo, tradução automática, sumarização, reconhecimento de entidades, perguntas e respostas, factualidade, sondagem e destilação). Chatbots de uso geral, frameworks de agentes, repositórios de modelos de prompts, ferramentas de geração de código e kits iniciais de aplicações RAG estão em outras listas — consulte Veja também.
The Berkeley NLP Group - Entre suas contribuições notáveis está uma ferramenta para reconstruir idiomas extintos há muito tempo, mencionada aqui, que usa corpora de 637 idiomas falados atualmente na Ásia e no Pacífico para recriar seus descendentes.
NLP research group, Columbia University - Responsável pela criação do BOLT (tratamento interativo de erros para sistemas de tradução de fala) e de um projeto sem nome para caracterizar o riso em diálogos.
Machine Learning 101 - apresentação de um engenheiro criativo sênior do Google que explica aprendizado de máquina tanto para engenheiros quanto para executivos.
AI Playbook - um ótimo guia de IA da a16z para compartilhar com gestores ou usar como conteúdo em apresentações.
Advanced NLP with spaCy - curso on-line gratuito que aborda processamento de texto, análise de dados em larga escala, pipelines de processamento e treinamento de modelos de redes neurais para tarefas personalizadas de PLN.
Kaggle NLP Learning Guide - tutoriais para iniciantes, incluindo guias de introdução, aprendizado profundo para PLN e explicações visuais de técnicas como BERT, GloVe e TF-IDF.
Deep NLP Course da Yandex Data School, que aborda ideias importantes desde embeddings de texto até tradução automática, incluindo modelagem de sequências, modelos de linguagem e outros tópicos.
fast.ai Code-First Intro to Natural Language Processing - combina tópicos tradicionais de PLN (incluindo expressões regulares, SVD, Bayes ingênuo e tokenização) com abordagens recentes de redes neurais (incluindo RNNs, seq2seq, GRUs e Transformer), além de abordar questões éticas urgentes, como viés e desinformação. Os notebooks Jupyter estão disponíveis aqui.
Applied Natural Language Processing- série de aulas do IIT Madras que vai dos fundamentos até autoencoders e outros temas. Os notebooks GitHub do curso também estão disponíveis aqui.
DeepLearning.AI Natural Language Processing Specialization - programa de quatro cursos que aborda análise de sentimentos, embeddings de palavras, RNNs, LSTMs, mecanismos de atenção e modelos Transformer como BERT e T5 para tarefas como tradução automática e sumarização.
The Math Behind Artificial Intelligence - por Tiago Monteiro | Livro gratuito do FreeCodeCamp que ensina, em inglês simples e sob uma perspectiva de engenharia, a matemática por trás da IA. Aborda álgebra linear, cálculo, probabilidade e estatística e teoria da otimização, com analogias, aplicações reais e exemplos de código Python.
TextAttack - ataques adversariais, treinamento adversarial e aumento de dados em PLN.
TextBlob - oferece uma API consistente para tarefas comuns de processamento de linguagem natural (PLN). Apoia-se no trabalho de referência do Natural Language Toolkit (NLTK) e do Pattern, e funciona bem com ambos :+1:
spaCy - PLN de nível industrial com Python e Cython :+1:
textacy - PLN de nível mais alto, desenvolvido sobre o spaCy.
gensim - biblioteca Python para modelagem semântica não supervisionada a partir de texto simples :+1:
scattertext - biblioteca Python para gerar visualizações d3 de diferenças linguísticas entre corpora.
GluonNLP(arquivado) - kit de ferramentas de aprendizado profundo para PLN, desenvolvido com MXNet/Gluon.
AllenNLP(arquivado) - biblioteca de pesquisa em PLN, baseada em PyTorch, para desenvolver modelos de aprendizado profundo de ponta em diversas tarefas linguísticas.
PyTorch-NLP - kit de pesquisa em PLN que facilita a prototipagem rápida com carregadores de dados e vetores de palavras aprimorados, representações de camadas de redes neurais e métricas comuns de PLN, como BLEU.
Rosetta - ferramentas e wrappers de processamento de texto (por exemplo, Vowpal Wabbit).
PyNLPl - biblioteca Python de processamento de linguagem natural. Biblioteca de PLN de uso geral que também lida com formatos específicos, como modelos de linguagem ARPA, tabelas de frases Moses e alinhamentos GIZA++.
foliapy - biblioteca Python para trabalhar com FoLiA, formato XML para anotação linguística.
PySS3 - pacote Python que implementa o classificador de texto caixa-branca SS3; inclui ferramentas interativas de visualização que explicam as previsões.
jPTDP - kit para etiquetagem morfossintática (POS) e análise de dependências conjuntas. O jPTDP oferece modelos pré-treinados para mais de 40 idiomas.
BigARTM - biblioteca rápida para modelagem de tópicos.
Snips NLU - biblioteca pronta para produção para análise de intenções.
Chazutsu - biblioteca para baixar e analisar conjuntos de dados padrão de pesquisa em PLN.
Word Forms - gera com precisão todas as formas possíveis de uma palavra em inglês.
NLP Architect - biblioteca para explorar arquiteturas e técnicas de aprendizado profundo de ponta para PLN e compreensão de linguagem natural.
Flair - framework multilíngue simples e de ponta para PLN, desenvolvido com PyTorch. Inclui embeddings BERT, ELMo e Flair.
Kashgari - framework multilíngue simples de PLN, baseado em Keras, que permite criar modelos em cinco minutos para reconhecimento de entidades nomeadas (NER), etiquetagem morfossintática (PoS) e classificação de texto. Inclui embeddings BERT e word2vec.
FARM - transferência de aprendizado rápida e fácil para PLN. Leva modelos de linguagem à indústria, com foco em perguntas e respostas.
Haystack - framework Python de ponta a ponta para criar interfaces de busca em linguagem natural sobre dados. Aproveita Transformers e técnicas de PLN de ponta. Oferece suporte a DPR, Elasticsearch, Modelhub da Hugging Face e muito mais!
Rita DSL - DSL inspirada livremente em RUTA no Apache UIMA. Permite definir padrões linguísticos (PLN baseada em regras), convertidos para spaCy ou, se preferir menos recursos e algo leve, para padrões regex.
Transformers - processamento de linguagem natural para TensorFlow 2.0 e PyTorch.
Tokenizers - tokenizadores otimizados para pesquisa e produção.
fairSeq implementações de modelos seq2seq de ponta da Facebook AI Research em PyTorch.
corex_topic - modelagem hierárquica de tópicos com conhecimento mínimo do domínio.
Sockeye - kit de tradução automática neural (NMT) que alimenta o Amazon Translate.
DL Translate - biblioteca de tradução baseada em aprendizado profundo para 50 idiomas, desenvolvida com transformers e mBART Large do Facebook.
Jury - avaliação de saídas de modelos de PLN com diversas métricas automatizadas.
python-ucto - tokenizador baseado em expressões regulares, compatível com Unicode, para vários idiomas. Binding Python da biblioteca C++; oferece suporte ao formato FoLiA.
Pearmut - ferramenta de anotação humana para tarefas multilíngues de PLN, como tradução automática.
Stanza - kit Python de PLN de Stanford para tokenização, POS, lematização, análise de dependências e NER em mais de 70 idiomas.
Sentence-Transformers - embeddings de frases e documentos, busca semântica e reordenação; padrão atual para PLN voltada à recuperação.
Argilla - plataforma de código aberto para anotação de dados e coleta de feedback em conjuntos de dados de LLM e PLN.
HuggingFace Datasets - carregadores padronizados e processamento para milhares de conjuntos de dados de PLN.
sacrebleu - pontuação reproduzível BLEU/chrF/TER para tradução automática.
COMET - métricas aprendidas de tradução automática, hoje padrão de fato.
LangTest - mais de 60 tipos de testes de robustez, viés e equidade de modelos de PLN.
yasbd-lib - detector de limites de sentença (SBD) baseado em regras e de alta precisão. Adaptador substituto do pysbd, APIs de streaming, CLI e componente spaCy para mais de 39 idiomas.
CRF++ - implementação de código aberto de campos aleatórios condicionais (CRFs) para segmentar/etiquetar dados sequenciais e outras tarefas de PLN.
CRFsuite - implementação de campos aleatórios condicionais (CRFs) para etiquetar dados sequenciais.
BLLIP Parser - analisador de linguagem natural BLLIP, também conhecido como analisador Charniak-Johnson.
colibri-core - biblioteca C++, ferramentas de linha de comando e binding Python para extrair e manipular construções linguísticas básicas, como n-gramas e skipgrams, com rapidez e eficiência de memória.
ucto - tokenizador baseado em expressões regulares, compatível com Unicode, para vários idiomas. Ferramenta e biblioteca C++ com suporte ao formato FoLiA.
frog - conjunto de ferramentas de PLN baseado em memória, desenvolvido para o neerlandês: etiquetador PoS, lematizador, analisador de dependências, NER, analisador superficial e analisador morfológico.
MeTA - ModErn Text Analysis: kit de ciência de dados em C++ para mineração de grandes volumes de texto.
ReVerb extração aberta de informações em escala web.
OpenRegex linguagem e mecanismo de expressões regulares eficientes e flexíveis, baseados em tokens.
CogcompNLP - bibliotecas centrais desenvolvidas pelo Cognitive Computation Group da Universidade de Illinois.
MALLET - MAchine Learning for LanguagE Toolkit: pacote para processamento estatístico de linguagem natural, classificação e agrupamento de documentos, modelagem de tópicos, extração de informações e outras aplicações de aprendizado de máquina em texto.
RDRPOSTagger - kit robusto de etiquetagem POS, disponível em Java e Python, acompanhado de modelos pré-treinados para mais de 40 idiomas.
tm - implementação de modelagem de tópicos baseada em PLSA multilíngue regularizada.
word2vec-scala - interface Scala para o modelo word2vec; inclui operações vetoriais, como distância e analogia entre palavras.
Epic - analisador estatístico de alto desempenho escrito em Scala, acompanhado de um framework para criar modelos complexos de predição estruturada.
Spark NLP - biblioteca de processamento de linguagem natural desenvolvida sobre o Apache Spark ML, que fornece anotações de PLN simples, eficientes e precisas para pipelines de aprendizado de máquina escaláveis em ambientes distribuídos.
Amazon Comprehend - conjunto de PLN e aprendizado de máquina que abrange tarefas comuns, como NER, etiquetagem e análise de sentimentos.
Google Cloud Natural Language API - análise sintática, NER, análise de sentimentos e etiquetagem de conteúdo em pelo menos nove idiomas, incluindo inglês e chinês (simplificado e tradicional).
ParallelDots - serviço de API de análise de texto de alto nível, que vai da análise de sentimentos à análise de intenções.
Textalytic - processamento de linguagem natural no navegador com análise de sentimentos, extração de entidades nomeadas, etiquetagem POS, frequências de palavras, modelagem de tópicos, nuvens de palavras e mais.
NLP Cloud - modelos de PLN do spaCy, personalizados e pré-treinados, servidos por uma API RESTful para reconhecimento de entidades nomeadas (NER), etiquetagem POS e outros recursos.
Cloudmersive - APIs unificadas e gratuitas de PLN para tarefas como etiquetagem de fala, reformulação de texto, tradução/detecção de idiomas e análise sintática de sentenças.
GATE - General Architecture and Text Engineering tem mais de 15 anos; é gratuito e de código aberto.
Anafora é uma ferramenta gratuita, de código aberto e baseada na web para anotação de texto bruto.
brat - a ferramenta de anotação rápida brat é um ambiente on-line para anotação colaborativa de texto.
doccano - ferramenta gratuita e de código aberto com recursos de anotação para classificação de texto, etiquetagem de sequências e tarefas sequência a sequência.
INCEpTION - plataforma de anotação semântica com assistência inteligente e gestão de conhecimento.
prodigy é uma ferramenta de anotação baseada em aprendizado ativo, paga.
LightTag - ferramenta hospedada e gerenciada de anotação de texto para equipes, paga.
rstWeb - ferramenta de código aberto, local ou on-line, para anotar árvores discursivas.
GitDox - ferramenta de anotação de servidor de código aberto com controle de versão GitHub e validação de dados XML e planilhas colaborativas.
Datasaur oferece suporte a várias tarefas de PLN para indivíduos e equipes, com plano freemium.
Konfuzio - ferramenta hospedada ou local, voltada a equipes, para anotação de texto, imagens e PDFs baseada em aprendizado ativo; plano freemium e opções pagas.
UBIAI - ferramenta de anotação de texto fácil de usar para equipes, com recursos abrangentes de anotação automática. Oferece suporte a NER, relações, classificação de documentos e anotação OCR para rotulagem de faturas; paga.
Shoonya - plataforma gratuita e de código aberto para anotação de dados, com ampla variedade de recursos de gestão de organizações e espaços de trabalho. É independente de dados e permite que equipes anotem dados em escala com vários níveis de verificação.
Annotation Lab - plataforma gratuita, sem código e de ponta a ponta para anotação de texto e treinamento/ajuste de modelos de aprendizado profundo. Oferece suporte integrado a modelos Spark NLP de reconhecimento de entidades nomeadas, classificação, extração de relações e status de asserção. Suporte ilimitado a usuários, equipes, projetos e documentos. Não é FOSS.
FLAT - ambiente web de anotação linguística baseado no formato FoLiA, um formato XML avançado para anotação linguística. Gratuito e de código aberto.
Argilla - plataforma de código aberto para coletar feedback humano, criar conjuntos de dados de PLN e LLM e organizar dados de preferências.
Label Studio - plataforma multimodal de rotulagem com núcleo aberto, amplamente usada para rotulagem de PLN.
Potato - ferramenta gratuita e de código aberto que cobre mais de 21 tipos de tarefas (classificação, spans, correferência, vinculação de entidades e avaliação de rastros de agentes), com controle de qualidade MACE integrado, verificações de atenção, rotulagem assistida por IA e mais de 300 tarefas de exemplo.
Tarefas de PLN organizadas por problema linguístico. Cada subseção lista primeiro os trabalhos fundamentais/clássicos, depois as abordagens neurais e, quando pertinente, os métodos baseados em LLMs. Para pesquisas atuais específicas de modelos de linguagem (pré-treinamento, avaliação, recuperação, raciocínio etc.), consulte Modelos de linguagem para PLN.
ELMo - representações contextuais profundas de palavras.
CoVe - vetores contextuais aprendidos por tradução automática.
ULMFiT - ajuste fino de modelo de linguagem para classificação de texto.
InferSent - representações de sentenças derivadas de inferência em linguagem natural (NLI).
Embeddings modernos de frases e documentos: consulte Recuperação para PLN (Sentence-Transformers, E5, BGE-M3, Nomic, GritLM) e MTEB para ver os rankings atuais.
Byte Latent Transformer (BLT) (Meta, 2024) - segmentação dinâmica em nível de bytes que iguala modelos tokenizados com BPE em escala; retoma a abordagem sem tokenizador.
SuperBPE (2025) - tokenização de superpalavras que supera BPE em tarefas posteriores.
Over-Tokenized Transformer (ICML 2025) - separa os vocabulários de entrada e saída; mostra uma relação log-linear entre o tamanho do vocabulário de entrada e a perda de treinamento, permitindo dimensionar o vocabulário independentemente do tamanho do modelo.
Foundations of Tokenization (ICLR 2025) - primeiro framework unificado formal para modelos de tokenizadores usando teoria das categorias de mapas estocásticos; estabelece condições de consistência estatística.
The Token Tax: Systematic Bias in Multilingual Tokenization (2025) - quantifica como a fertilidade da tokenização prevê a precisão dos modelos entre idiomas, expondo penalidades estruturais de custo para idiomas morfologicamente complexos e com poucos recursos.
Reducing Tokenization Premiums for Low-Resource Languages (2026) - acréscimos posteriores ao vocabulário que agrupam sequências de caracteres divididas em vários tokens para idiomas com poucos recursos, reduzindo o custo de inferência sem retreinamento.
Etiquetagem morfossintática e análise de dependências
Generative NER in the Era of LLMs (2026) - oito LLMs abertos em quatro benchmarks de NER; PEFT com saídas estruturadas iguala o NER baseado em codificadores.
DocRED - benchmark de extração de relações em nível de documento.
LLMs for Semantic Role Labeling (2025) - LLMs generativos com RAG e autocorreção superam modelos codificador-decodificador no estilo BERT em rotulação de papéis semânticos em inglês e chinês.
Adapting LLMs for Minimal-edit GEC (2025) - LLMs somente decodificadores com um novo cronograma de adaptação da taxa de erros alcançam novo estado da arte na correção de erros gramaticais do BEA-test com edições mínimas.
GritLM (2024) - geração e embeddings unificados em um único modelo.
RAG (Retrieval-Augmented Generation) - framework original aumentado por recuperação; fundamento dos pipelines modernos de perguntas e respostas.
Gemini Embedding (2025) - embeddings densos derivados do Gemini; estado da arte no MMTEB em mais de 250 idiomas e na recuperação interlinguística (XOR-Retrieve, XTREME-UP).
Qwen3-Embedding (2025) - série de embeddings baseados em decodificador (0,6B–8B) construída sobre Qwen3; nº 1 no MTEB Multilingual e no MTEB Code, superando modelos proprietários anteriores.
Rank1 (2025) - primeiro modelo de reordenação treinado com computação em tempo de teste via destilação de rastros de raciocínio do DeepSeek-R1; estado da arte em seguimento de instruções e recuperação fora do domínio.
ReasonEmbed (2025) - modelo de embeddings para recuperação que exige raciocínio, com síntese de dados ReMixer e treinamento adaptativo Redapter; recorde de nDCG@10 de 38,1 no BRIGHT.
ColBERT-Att (2026) - amplia a recuperação de interação tardia ao integrar pesos de atenção de consultas e documentos à pontuação do ColBERT; melhora a revocação no MS-MARCO, BEIR e LoTTE.
Benchmarks de embeddings e recuperação:
MMTEB (2025) - expansão comunitária do MTEB para mais de 500 tarefas em mais de 250 idiomas.
Canary (NVIDIA, 2024) - principal modelo aberto multilíngue de ASR.
FunASR - kit de ASR de nível industrial; 170× em tempo real na GPU, mais de 50 idiomas, detecção de atividade vocal (VAD), pontuação, diarização de locutores e detecção de emoções integradas. Inclui o SenseVoice não autorregressivo e modelos Fun-ASR-Nano baseados em LLM.
Wav2Vec 2.0 - pré-treinamento autossupervisionado fundamental para fala.
HuggingFace Datasets Hub - índice central de conjuntos de dados modernos de PLN, com carregadores versionados e compatíveis com streaming.
nlp-datasets - grande coleção de conjuntos de dados de PLN.
gensim-data - repositório de dados para modelos de PLN pré-treinados e corpora de PLN.
Corpora abertos em escala de pré-treinamento:
The Pile - corpus de texto diversificado de 825 GiB.
RedPajama / RedPajama-V2 (2023-2024) - reproduções dos dados de pré-treinamento do LLaMA; a V2 contém 30 trilhões de tokens com indicadores de qualidade.
Dolma (AI2, 2023-2024) - corpus aberto de pré-treinamento com 3 trilhões de tokens e pipeline de filtragem documentado.
FineWeb / FineWeb-Edu (2024) - corpus da web limpo com 15 trilhões de tokens; FineWeb-Edu filtra por qualidade educacional.
Common Corpus (2024) - corpus multilíngue aberto sob licença livre, com 2 trilhões de tokens.
Conjuntos de dados de tarefas e instruções:
Universal Dependencies - anotação de treebanks consistente entre idiomas, com mais de 100 idiomas.
Tülu 3 SFT Mixture (2024) - dados abertos de ajuste fino por instruções usados no Tülu 3.
tiny_qa_benchmark_pp - pequenos conjuntos multilíngues de dados de PLN para perguntas e respostas, além de biblioteca para gerar cópias sintéticas próprias.
UDPipe é um pipeline treinável para tokenização, etiquetagem, lematização e análise sintática de Universal Treebanks e outros arquivos CoNLL-U. Escrito principalmente em C++, oferece uma solução rápida e confiável para processamento multilíngue de PLN.
NLP-Cube : pipeline de processamento de linguagem natural — divisão de sentenças, tokenização, lematização, etiquetagem morfossintática e análise de dependências. Plataforma nova, escrita em Python com Dynet 2.0. Oferece execução independente (CLI/bindings Python) e funcionalidade de servidor (API REST).
UralicNLP é uma biblioteca de PLN voltada principalmente a vários idiomas urálicos ameaçados, como os idiomas sami, mordvino, mari e komi. Também oferece suporte a idiomas não ameaçados, como o finlandês, e a idiomas não urálicos, como sueco e árabe. O UralicNLP realiza análise e geração morfológicas, lematização e desambiguação.
Modelos de linguagem pré-treinados e pesquisas relacionadas, delimitados a tarefas de PLN e fenômenos linguísticos. Para ferramentas de uso geral para LLMs, agentes ou kits de aplicações RAG, consulte Veja também.
Codificadores (ainda o principal recurso para tarefas clássicas de PLN):
BERT - pré-treinamento bidirecional com Transformer; fundamento da maioria dos trabalhos de PLN com codificadores desde 2018. Leia on-line com navegação por seções e a fonte ACL anexada.
RoBERTa - pré-treinamento BERT otimizado de forma robusta; baseline comum de codificador.
DeBERTa / DeBERTa-v3 - atenção dissociada; desempenho robusto em classificação, NER e NLI.
ELECTRA - pré-treinamento por detecção de tokens substituídos, eficiente em amostras.
ModernBERT (2024) - codificador modernizado com embeddings rotativos, FlashAttention e contexto de 8K; codificador de referência atual para classificação, NER e recuperação.
NeoBERT (2025) - codificador de 250 milhões de parâmetros com melhorias arquiteturais modernas (RoPE, contexto de 4K e proporção profundidade/largura otimizada); estado da arte no MTEB, superando ModernBERT e RoBERTa-large com o mesmo ajuste fino.
Codificador-decodificador e seq2seq:
T5 e FLAN-T5 - formulação texto-para-texto para tarefas de PLN; baselines robustos de codificador-decodificador ajustados por instruções.
BART - pré-treinamento seq2seq com remoção de ruído; amplamente usado para sumarização e geração.
LLMs abertos somente decodificadores (usados como base para tarefas de PLN):
Llama 3 / 3.1 / 3.3 (Meta, 2024-2025) - família de pesos abertos amplamente adotada; base padrão para ajuste fino em várias tarefas de PLN.
Qwen 2.5 / Qwen 3 (Alibaba, 2024-2025) - ampla cobertura multilíngue, especialmente do chinês; frequentemente é o melhor modelo aberto em benchmarks multilíngues.
BLOOM - modelo de linguagem multilíngue aberto com 176 bilhões de parâmetros e 46 idiomas naturais.
Aya 23 / Aya Expanse (Cohere For AI, 2024) - modelos multilíngues em larga escala, ajustados por instruções, que abrangem de 23 a 101 idiomas.
Glot500 - codificador para mais de 500 idiomas, com foco nos de poucos recursos.
NLLB-200 - No Language Left Behind: tradução automática para 200 idiomas.
MADLAD-400 - modelo de tradução automática para mais de 400 idiomas e corpus multilíngue com 3 trilhões de tokens.
SeamlessM4T / Seamless (Meta, 2023-2024) - tradução de fala e texto multilíngue e multimodal em mais de 100 idiomas.
SEA-LION / SeaLLM (2024-2025) - modelos de linguagem voltados a idiomas do Sudeste Asiático.
Babel (2025) - LLMs multilíngues abertos (9B e 83B) que abrangem os 25 idiomas com mais falantes (cerca de 90% dos falantes do mundo); supera modelos multilíngues abertos de tamanho comparável no XCOPA, XNLI, MGSM e FLORES-200.
Lugha-Llama (Princeton/Mila, 2025) - Llama-3.1-8B adaptado a idiomas africanos com poucos recursos por meio do corpus WURA selecionado; resultados de ponta entre modelos de código aberto no IrokoBench e AfriQA.
AfriqueLLM (McGill, 2026) - conjunto de LLMs abertos (4B–14B) com pré-treinamento continuado em 26 bilhões de tokens de 20 idiomas africanos e estudo empírico abrangente da mistura de dados.
TranslateGemma (Google, 2026) - modelos abertos especializados em tradução, baseados no Gemma 3, que cobrem 55 pares de idiomas por meio de SFT e RL com modelos de recompensa de qualidade.
MiLMMT-46 (Xiaomi, 2026) - tradução automática multilíngue aberta ampliada para 46 idiomas, equiparando sistemas comerciais como Google Translate e Gemini 3 Pro.
XNLI - inferência em linguagem natural interlinguística em 15 idiomas.
FLORES-200 - avaliação de tradução automática em 200 idiomas.
MTEB - Massive Text Embedding Benchmark; padrão para codificadores de frases/documentos.
BEIR - benchmark heterogêneo de recuperação de informações para modelos de recuperação.
Avaliação moderna de modelos de linguagem (2023-2026):
HELM - avaliação holística em tarefas de PLN, precisão e outros aspectos.
BIG-bench - mais de 200 tarefas que sondam as capacidades dos modelos de linguagem.
MMLU - avaliação de conhecimento multitarefa em 57 disciplinas.
MMLU-Pro (2024) - sucessor do MMLU mais difícil e discriminativo.
GPQA - perguntas e respostas de nível de pós-graduação e avaliação de raciocínio “à prova do Google”.
REFUTE (2026) - benchmark de raciocínio científico para críticas fundamentadas em evidências, detecção de alegações exageradas, recusa por falta de evidências e calibração.
IFEval - avaliação verificável de seguimento de instruções.
Chatbot Arena (LMSYS) - ranking ELO de modelos de conversa baseado em preferências humanas.
LiveBench (2024) - benchmark resistente à contaminação, atualizado mensalmente.
LM Evaluation Harness - framework unificado para avaliar modelos de linguagem em benchmarks.
MMLU-ProX (2025) - extensão multilíngue do MMLU-Pro para 29 idiomas tipologicamente diversos; revela diferença de desempenho de até 24,3% entre idiomas com muitos e poucos recursos.
MultiChallenge (2025) - benchmark conversacional com múltiplos turnos que expõe falhas simultâneas no seguimento de instruções e no raciocínio em contexto; todos os modelos de fronteira testados pontuam abaixo de 50%.
FRAMES (2025) - avaliação unificada de RAG: 824 perguntas com múltiplos saltos que exigem, em conjunto, factualidade, precisão de recuperação e raciocínio entre documentos.
RULER (2024) - tarefas sintéticas de contexto longo além da recuperação simples.
LongBench - benchmark bilíngue de contexto longo em tarefas de PLN.
LongBench v2 (2025) - 503 perguntas de múltipla escolha elaboradas por especialistas, em contextos de 8 mil a 2 milhões de palavras com raciocínio profundo de múltiplos saltos; humanos pontuam 53,7% sob pressão de tempo.
U-NIAH (2025) - amplia o needle-in-a-haystack com configurações de várias agulhas e aninhadas; mostra que o RAG atenua o problema de informação perdida no meio para LLMs menores, mas prejudica modelos de raciocínio.
s1: Simple Test-Time Scaling (2025) - receita aberta e pequena de raciocínio por meio de imposição de orçamento.
Kimi k1.5 (2025) - RL de contexto longo com otimização de política (sem MCTS nem PRM), que alcança desempenho no nível do o1; introduz destilação de CoT longo em modelos de CoT curto.
rStar-Math (2025) - modelo de política pequeno combinado com modelo de preferência de processo treinado com trajetórias MCTS; permite que LMs pequenos desenvolvam raciocínio sem destilação de modelos maiores.
DAPO (2025) - sistema aberto de treinamento RL baseado em GRPO com quatro melhorias principais (recorte desacoplado, amostragem dinâmica, perda em nível de token e bônus de entropia); reproduz e supera o raciocínio no nível do DeepSeek-R1-Zero.
VAPO (2025) - RL baseado em modelo de valor, com GAE adaptativo à extensão e recorte em nível de token; supera métodos GRPO sem valor no AIME 2024 com treinamento estável.
ThinkPRM (2025) - modelos generativos de recompensa de processo que produzem verificação em cadeia de raciocínio a cada etapa, igualando PRMs discriminativos com 1% dos rótulos de supervisão.
OpenThoughts (2025) - mais de mil experimentos controlados sobre receitas de dados para modelos abertos de raciocínio; estado da arte no AIME 2025, igualando baselines de destilação fechados.
Titans: Learning to Memorize at Test Time (2025) - módulo neural de memória de longo prazo que aprende a memorizar o contexto histórico durante o teste; escala para mais de 2 milhões de tokens e supera Transformers e modelos lineares recorrentes modernos em modelagem de linguagem e raciocínio.
MiniMax-01 (2025) - híbrido de 456 bilhões de parâmetros que combina atenção lightning (linear) e atenção softmax esparsa; iguala o desempenho de PLN do GPT-4o em contextos de inferência de até 4 milhões de tokens.
Native Sparse Attention (NSA) (2025) - atenção esparsa treinável que combina compressão de granulação grossa com seleção refinada; acelera muito em 64K sem degradar o desempenho em benchmarks de PLN.
LongRoPE2 (2025) - identifica subtreinamento de dimensões RoPE de alta frequência e aplica redimensionamento por busca evolutiva; estende LLaMA3-8B para 128K com 80 vezes menos tokens de treinamento que a receita da Meta.
Characterizing SSM and Hybrid LM Long-Context Performance (2025) - primeira análise abrangente de memória e velocidade de modelos Transformer, SSM e híbridos até 220 mil tokens; SSMs são até quatro vezes mais rápidos e híbridos equilibram recuperação e eficiência.
HalluLens (2025) - benchmark de alucinações com taxonomia extrínseca/intrínseca e regeneração dinâmica do conjunto de teste para resistir ao vazamento de dados.
Atomic Calibration (2025) - análise de calibração em nível de alegação para geração longa; modelos são muito menos bem calibrados em saídas extensas do que em alegações isoladas.
FRANQ (2025) - quantificação de incerteza ciente de fidelidade para verificação factual com RAG; separa formalmente fidelidade de factualidade.
MUCH (2025) - benchmark multilíngue de alucinação em alegações para inglês, francês, espanhol e alemão, com logits por token publicados para avaliação fundamentada de quantificação de incerteza.
HalluHard (2026) - benchmark difícil de alucinações em múltiplos turnos para respostas que exigem citações; cerca de 30% de alucinações persistem mesmo com busca na web.
CURE: Think Through Uncertainty (2026) - treina modelos para raciocinar sobre incerteza em nível de alegação antes de gerar respostas; grandes ganhos na factualidade de biografias e na AUROC do FactBench.
Circuit Tracing: Revealing Computational Graphs in Language Models (Anthropic, 2025) - introduz transcodificadores entre camadas e grafos de atribuição para construir um modelo substituto interpretável; permite rastrear circuitos em nível de prompt e interações causais entre características.
On the Biology of a Large Language Model (Anthropic, 2025) - aplica grafos de atribuição ao Claude 3.5 Haiku em estudos de caso de raciocínio com múltiplos saltos, planejamento de rimas e jailbreaks.
Transcoders Beat Sparse Autoencoders for Interpretability (2025) - mostra que transcodificadores (que reconstroem saídas de camadas a partir de entradas) produzem características mais interpretáveis que SAEs; introduz transcodificadores com conexões residuais.
DistilBERT e MiniLM - codificadores destilados para PLN em produção.
Phi-3 / Phi-4 (Microsoft, 2024) - modelos pequenos treinados com dados selecionados, competitivos com modelos muito maiores em benchmarks de PLN.
SmolLM2 (HuggingFace, 2025) - família totalmente aberta de modelos de linguagem pequenos, com dados de treinamento reproduzíveis.
SmolLM3 (HuggingFace, 2025) - decodificador totalmente aberto de 3B, pré-treinado em 11,2 trilhões de tokens com NoPE e YaRN para contexto de 128K; competitivo com modelos da classe 4B.
Gemma 3 Technical Report (Google, 2025) - modelos abertos de 1B a 27B com alta proporção de atenção local/global para manter o cache KV viável em contextos de 128K.
Qwen3 Technical Report (Alibaba, 2025) - modelos densos e MoE de 0,6B a 235B, com modos unificados de raciocínio e sem raciocínio; o MoE 30B-A3B iguala modelos densos maiores ativando apenas 3B parâmetros.
Apple Intelligence Foundation Language Models (Apple, 2025) - modelo de 3B executado no dispositivo que usa compartilhamento de cache KV e QAT de 2 bits para reduzir em 37,5% a memória do cache sem perda de precisão.
KVTuner (ICML 2025) - quantização de precisão mista do cache KV, camada a camada e ciente da sensibilidade; melhora a taxa de transferência em até 21% em relação ao KV8 uniforme.
Tülu 3 (AI2, 2024) - receita totalmente aberta de pós-treinamento com resultados de ponta entre modelos abertos.
LIMA - “menos é mais para alinhamento”; poucos dados SFT de alta qualidade podem render muito.
TRL - biblioteca de referência para SFT, DPO, GRPO e RLHF.
Magpie (2024-2025) - sintetiza pares de instrução-resposta de alta qualidade ao solicitar LMs alinhados sem contexto; o SFT no subconjunto filtrado iguala o Llama-3-Instruct oficial.
WildGuard (2024) - modelo aberto de moderação de segurança e benchmark.
Emergent Misalignment (2025) - ajuste fino em uma tarefa restrita (código inseguro) produz, inesperadamente, falhas amplas de alinhamento em domínios não relacionados.
SafeDialBench (2025) - benchmark multilíngue de segurança (chinês/inglês) com mais de 4.000 diálogos de vários turnos em 22 cenários e sete estratégias de jailbreak.
TeleAI-Safety (2025) - framework modular de avaliação de jailbreak que integra 19 ataques, 29 defesas e 19 métodos de avaliação em 14 modelos e 12 categorias de risco.
IndicSafe (2026) - benchmark multilíngue de segurança em 12 idiomas índicos; revela concordância interlinguística de 12,8%, com excesso de recusas em escritas de poucos recursos.
VLAF: Value-Conflict Alignment Faking (2026) - falsificação de alinhamento ocorre em 37% dos casos em modelos de apenas 7B quando a política conflita com valores internalizados; a mitigação com vetor de direção reduz isso em 94%.
NusaCrowd / Cendol (2023-2024) - conjuntos de dados comunitários em larga escala e LMs Cendol ajustados por instruções para indonésio e idiomas regionais.
Sailor - LMs abertos do Sudeste Asiático que incluem indonésio.
SEA-LION (2024) - LM aberto da Singapore AI para o Sudeste Asiático, com bom desempenho em indonésio.
Bijankhan Corpus - corpus etiquetado adequado à pesquisa de PLN em persa (farsi), com cerca de 2,6 milhões de palavras etiquetadas manualmente em 40 categorias POS.
Uppsala Persian Corpus (UPC) - grande corpus persa de acesso gratuito, com 2,7 milhões de tokens anotados com 31 categorias POS.
Large-Scale Colloquial Persian - LSCP: 120 milhões de sentenças de 27 milhões de tweets coloquiais em persa, com anotações de dependência, POS e sentimentos.
ArmanPersoNERCorpus - 250 mil tokens e 7.682 sentenças com rótulos NER no formato IOB.
SOAS English-Uzbek RAG Evaluation - benchmark bilíngue de avaliação de recuperação para RAG fundamentado culturalmente. 400 linhas, EN+UZ, MIT/CC-BY-4.0.
ViText2SQL - conjunto de dados vietnamita de análise semântica Texto-para-SQL (EMNLP-2020 Findings).
EVB Corpus - 20 milhões de palavras em 15 livros bilíngues, 100 textos paralelos inglês-vietnamita, 250 textos jurídicos paralelos, 5 mil notícias e 2 mil legendas de filmes.
O HagiCode é um ambiente de programação com agentes. Interações de interface ricas e práticas tornam o planejamento, a execução de agentes e o trabalho em projetos mais acessíveis e fáceis de acompanhar, criando uma experiência de desenvolvimento envolvente.
Uma experiência de desenvolvimento envolvente, com interações de interface ricas e práticas.
InteligenteOs fluxos de trabalho do OpenSpec transformam a intenção em um caminho executável, da proposta ao design, às tarefas e à entrega.
EficienteA execução multiagente mantém pesquisa, implementação e revisão em andamento em paralelo, em vários repositórios e com os Agent CLI que você já usa.
InteressanteInterações de interface ricas e práticas tornam o planejamento, a execução de agentes e o trabalho em projetos mais acessíveis e fáceis de acompanhar.
O HagiCode torna o planejamento, a execução de agentes e o trabalho em projetos mais acessíveis por meio de interações de interface ricas e práticas: https://www.hagicode.com/
Transforme ideias em software entregue.
O HagiCode é um ambiente de programação com agentes: os fluxos de trabalho do OpenSpec planejam a mudança, a execução multiagente a realiza e o Hero Scenario torna o longo percurso visível, para transformar ideias em software entregue.
