NLP

Source: https://github.com/keon/awesome-nlp at ab3dbd7d8160
License: CC0-1.0
Read the English original

This edition is an AI-assisted translation.

awesome-nlp

Atlas Cloud 후원

OpenAI 호환 LLM 엔드포인트를 제공하는 AI API 통합 플랫폼으로, 번역, 요약, 다국어 생성 및 구조화된 추출 등의 NLP 작업을 지원합니다.

자연어 처리 관련 리소스를 엄선한 목록입니다.

기여하기 전에 기여 가이드라인을 읽어 주세요. 좋아하는 NLP 리소스는 풀 리퀘스트로 추가해 주세요.

범위

이 목록은 언어 분석, 다국어 도구, 고전적·신경망 방법, 데이터셋 및 평가 등 자연어 처리를 다룹니다. 대규모 언어 모델은 토큰화, 다국어성, 기계 번역, 요약, 개체명 인식, 질의응답, 사실성, 프로빙, 증류 등 핵심 NLP 작업이나 역량을 발전시키거나 평가하는 경우에만 포함합니다. 범용 챗봇, 에이전트 프레임워크, 프롬프트 템플릿 저장소, 코드 생성 도구 및 RAG 애플리케이션 스타터 키트는 다른 목록에 있습니다. 관련 항목을 참조하세요.

연구 요약 및 동향

최신 NLP 연구를 확인할 수 있는 곳:

ACL Anthology - ACL, EMNLP, NAACL, EACL, COLING 및 관련 학회 논문을 모은 정식 아카이브입니다.
NLP-Progress - 일반적인 NLP 작업과 데이터셋 전반의 최신 성능을 추적합니다.
Papers With Code: NLP - NLP 작업 관련 논문, 벤치마크 및 순위표를 제공합니다.
Sebastian Ruder’s newsletter - NLP 연구와 동향을 정기적으로 정리해 소개합니다.
ACL Rolling Review - ACL 계열 학회에 논문을 공급하는 상시 심사 절차입니다.
The Gradient - 머신러닝과 NLP 연구에 관한 장문의 에세이를 제공합니다.
Visual NLP Paper Summaries - 최신 논문을 시각적으로 설명한 요약입니다.

주요 역사적 성과

NLP’s ImageNet moment has arrived - 사전 학습 언어 모델의 부상을 다룬 2018년 에세이입니다.
Survey of the State of the Art in Natural Language Generation - 2017년 자연어 생성(NLG) 개관 논문입니다.
The Illustrated Transformer and The Illustrated BERT, ELMo, and co. - 대표적인 시각적 설명 자료입니다.

주요 NLP 연구소

맨 위로

The Berkeley NLP Group - 주요 성과로는 오래전에 사라진 언어를 복원하는 도구가 있습니다. 여기에 소개된 이 도구는 현재 아시아와 태평양에서 사용되는 637개 언어의 말뭉치를 바탕으로 그 후손 언어를 재구성합니다.
Language Technologies Institute, Carnegie Mellon University - 주요 프로젝트로는 케추아어와 아이마라어 같은 위기 언어를 위한 구문 기반 기계 번역 시스템인 Avenue Project와, 아랍어 NLP 도구 개선을 위해 Noah’s Ark가 만든 AQMAR가 있습니다.
NLP research group, Columbia University - 음성 번역 시스템의 대화형 오류 처리를 위한 BOLT와 대화에서 웃음의 특성을 규명하는 이름 없는 프로젝트를 만들었습니다.
The Center or Language and Speech Processing, John Hopkins University - 파킨슨병 진단 검사를 개발하는 데 쓰이는 음성 인식 소프트웨어 개발로 최근 주목받았습니다. 여기를 참조하세요.
Computational Linguistics and Information Processing Group, University of Maryland - 주요 성과로는 Human-Computer Cooperation or Word-by-Word Question Answering과 음성 표상의 발달 모델링이 있습니다.
Penn Natural Language Processing, University of Pennsylvania - Penn Treebank와 Penn Discourse Treebank를 만든 것으로 유명합니다.
The Stanford Nautral Language Processing Group- 세계 최고 수준의 NLP 연구소 중 하나로, Stanford CoreNLP와 상호 참조 해결 시스템을 만든 것으로 유명합니다.

튜토리얼

맨 위로

읽을거리

일반적인 머신러닝

Machine Learning 101 - Google의 선임 크리에이티브 엔지니어가 엔지니어와 경영진 모두를 위해 머신러닝을 설명합니다.
AI Playbook - a16z의 AI 플레이북은 관리자에게 전달하거나 발표 자료에 활용하기 좋은 자료입니다.
Sebastian Ruder’s Newsletter - 뛰어난 NLP 연구에 대한 해설을 제공합니다.
How To Label Data - 대규모 언어 주석 프로젝트를 관리하는 방법을 안내합니다.
Depends on the Definition - 다양한 NLP 주제를 상세한 구현과 함께 다루는 블로그 글 모음입니다.

NLP 입문 및 가이드

Understand & Implement Natural Language Processing
NLP in Python - GitHub 노트북 모음입니다.
Natural Language Processing: An Introduction - Oxford에서 제공하는 자료입니다.
NLP from Scratch with PyTorch
Hands-On NLTK Tutorial - NLTK 튜토리얼과 Jupyter 노트북입니다.
Natural Language Processing with Python – Analyzing Text with the Natural Language Toolkit - NLTK를 사용해 NLP 개념을 소개하는 온라인 및 인쇄용 책입니다. 저자들은 NLTK 라이브러리도 개발했습니다.
Train a new language model from scratch - Hugging Face 🤗에서 제공하는 자료입니다.
Advanced NLP with spaCy - 텍스트 처리, 대규모 데이터 분석, 처리 파이프라인, 맞춤형 NLP 작업을 위한 신경망 모델 학습을 다루는 무료 온라인 강좌입니다.
Kaggle NLP Learning Guide - 시작 안내, NLP 딥러닝, BERT, GloVe, TF-IDF 같은 기법의 시각적 설명을 포함한 초보자용 튜토리얼입니다.

블로그 및 뉴스레터

동영상 및 온라인 강좌

맨 위로

Advanced Natural Language Processing - UMass Amherst 컴퓨터과학과의 CS 685 강좌입니다.
Deep Natural Language Processing - Oxford의 강의 시리즈입니다.
Deep Learning for Natural Language Processing (cs224-n) - Richard Socher와 Christopher Manning이 진행하는 Stanford 강좌입니다.
Neural Networks for NLP - Carnegie Mellon 언어기술연구소의 강좌입니다.
Deep NLP Course - Yandex Data School 강좌로, 텍스트 임베딩부터 기계 번역까지 시퀀스 모델링과 언어 모델 등을 포함한 핵심 개념을 다룹니다.
fast.ai Code-First Intro to Natural Language Processing - 정규식, SVD, 나이브 베이즈, 토큰화 같은 전통적 NLP 주제와 RNN, seq2seq, GRU, Transformer 같은 최신 신경망 접근법을 함께 다루며, 편향과 허위 정보 등 시급한 윤리 문제도 살펴봅니다. Jupyter 노트북은 여기에서 확인할 수 있습니다.
Machine Learning University - Accelerated Natural Language Processing - NLP와 텍스트 처리 입문에서 순환 신경망과 Transformer까지 다루는 강의입니다. 강의 자료는 여기에서 확인할 수 있습니다.
Applied Natural Language Processing- IIT Madras의 강의 시리즈로, 기초부터 오토인코더 등 다양한 주제를 다룹니다. 강좌용 GitHub 노트북도 여기에서 확인할 수 있습니다.
DeepLearning.AI Natural Language Processing Specialization - 감성 분석, 단어 임베딩, RNN, LSTM, 어텐션 메커니즘과 BERT 및 T5 같은 Transformer 모델을 4개 강좌로 다루며 기계 번역과 요약 등의 작업을 살펴봅니다.
Stanford CS336: Language Modeling from Scratch - 데이터, 토큰화, 학습 및 평가를 포함해 언어 모델을 처음부터 구축하는 전 과정을 다루는 강좌입니다.
Stanford CS25: Transformers United - 최신 Transformer 및 NLP 연구 논문 저자들이 초청 강연을 하는 세미나 시리즈입니다.
Cohere LLM University - LLM, 임베딩, 시맨틱 검색 및 NLP 애플리케이션을 다루는 무료 강좌입니다.
Hugging Face NLP Course - Transformers, Datasets, Tokenizers 라이브러리를 활용하는 실습형 NLP 강좌입니다.
NLP Demystified - Python/Jupyter 노트북과 함께 NLP 기초부터 Transformer까지 다루는 초보자용 무료 강좌입니다.

도서

Speech and Language Processing - Dan Jurafsky 교수의 무료 도서입니다.
Natural Language Processing - Georgia Tech의 Jacob Eisenstein 박사가 작성한 무료 NLP 강의 노트입니다.
NLP with PyTorch - Brian과 Delip Rao가 저술했습니다.
Text Mining in R
Natural Language Processing with Python
Practical Natural Language Processing
Natural Language Processing with Spark NLP
Deep Learning for Natural Language Processing - Stephan Raaijmakers 저
Real-World Natural Language Processing - Masato Hagiwara 저
Natural Language Processing in Action, Second Edition - Hobson Lane과 Maria Dyshel 저
Transformers in Action - Nicole Koenigstein 저
The Math Behind Artificial Intelligence - Tiago Monteiro 저 | 공학 관점에서 쉬운 영어로 AI의 수학적 원리를 설명하는 FreeCodeCamp 무료 도서입니다. 선형대수, 미적분, 확률과 통계, 최적화 이론을 비유, 실제 응용 사례, Python 코드 예제로 다룹니다.

라이브러리

맨 위로

Node.js and Javascript - Node.js용 NLP 라이브러리 | 맨 위로
- Twitter-text - Twitter 텍스트 처리 라이브러리를 JavaScript로 구현한 버전입니다.
- Knwl.js - JS로 작성된 자연어 처리기입니다.
- Retext - 자연어를 분석하고 조작하는 확장 가능한 시스템입니다.
- NLP Compromise - 브라우저에서 자연어 처리를 수행합니다.
- Natural - Node용 범용 자연어 처리 기능을 제공합니다.
- Poplar - 자연어 처리(NLP)를 위한 웹 기반 주석 도구입니다.
- NLP.js - 봇 구축을 위한 NLP 라이브러리입니다.
- node-question-answering - Node.js에서 DistilBERT를 사용해 빠르게 운영 환경에 적용할 수 있는 질의응답을 제공합니다.
Python - Python NLP 라이브러리 | 맨 위로
- sentimental-onix - ONNX를 사용한 spaCy 감성 분석 모델입니다.
- TextAttack - NLP의 적대적 공격, 적대적 학습 및 데이터 증강을 지원합니다.
- TextBlob - 일반적인 자연어 처리(NLP) 작업에 사용할 일관된 API를 제공합니다. Natural Language Toolkit (NLTK)와 Pattern의 기반을 활용하며, 두 라이브러리와도 잘 연동됩니다 :+1:
- spaCy - Python과 Cython을 사용하는 산업용 수준의 NLP입니다 :+1:
  - textacy - spaCy를 기반으로 한 고수준 NLP 도구입니다.
- gensim - 일반 텍스트에서 비지도 의미 모델링을 수행하는 Python 라이브러리입니다 :+1:
- scattertext - 말뭉치 간 언어 차이를 d3 시각화로 표현하는 Python 라이브러리입니다.
- GluonNLP (보관됨) - MXNet/Gluon 기반 NLP 딥러닝 도구 모음입니다.
- AllenNLP (보관됨) - PyTorch 기반의 NLP 연구 라이브러리로, 다양한 언어 작업에서 최첨단 딥러닝 모델을 개발할 수 있습니다.
- PyTorch-NLP - 데이터 및 단어 벡터 로더, 신경망 계층 표현, BLEU 같은 일반 NLP 지표를 제공해 신속한 프로토타이핑을 지원하는 NLP 연구 도구 모음입니다.
- Rosetta - 텍스트 처리 도구와 래퍼를 제공합니다(예: Vowpal Wabbit).
- PyNLPl - Python용 범용 NLP 라이브러리입니다. ARPA 언어 모델, Moses 구문 테이블, GIZA++ 정렬과 같은 특정 형식도 처리합니다.
- foliapy - 언어 주석을 위한 XML 형식인 FoLiA를 다루는 Python 라이브러리입니다.
- PySS3 - SS3 화이트박스 텍스트 분류기를 구현한 Python 패키지로, 예측을 설명하는 대화형 시각화 도구가 포함되어 있습니다.
- jPTDP - 품사(POS) 태깅과 의존 구문 분석을 공동으로 수행하는 도구 모음입니다. 40개 이상의 언어를 위한 사전 학습 모델을 제공합니다.
- BigARTM - 빠른 토픽 모델링 라이브러리입니다.
- Snips NLU - 운영 환경에서 사용할 수 있는 의도 파싱 라이브러리입니다.
- Chazutsu - 표준 NLP 연구 데이터셋을 다운로드하고 파싱하는 라이브러리입니다.
- Word Forms - 영어 단어의 가능한 모든 형태를 정확하게 생성합니다.
- Multilingual Latent Dirichlet Allocation (LDA) - 다국어를 지원하고 확장 가능한 문서 클러스터링 파이프라인입니다.
- Natural Language Toolkit (NLTK) - 50개가 넘는 말뭉치를 지원하며 다양한 NLP 기능을 제공하는 라이브러리입니다.
- NLP Architect - NLP 및 NLU를 위한 최신 딥러닝 구조와 기법을 탐색하는 라이브러리입니다.
- Flair - PyTorch 기반의 간단한 최첨단 다국어 NLP 프레임워크입니다. BERT, ELMo, Flair 임베딩을 포함합니다.
- Kashgari - Keras 기반의 간편한 다국어 NLP 프레임워크로, 개체명 인식(NER), 품사(PoS) 태깅 및 텍스트 분류 모델을 5분 만에 구축할 수 있습니다. BERT와 word2vec 임베딩을 포함합니다.
- FARM - NLP 전이 학습을 빠르고 쉽게 수행합니다. 산업용 언어 모델을 활용하며 질의응답에 중점을 둡니다.
- Haystack - 데이터에 대한 자연어 검색 인터페이스를 구축하는 종단 간 Python 프레임워크입니다. Transformers와 최신 NLP 기술을 활용하며 DPR, Elasticsearch, HuggingFace Modelhub 등을 지원합니다.
- Rita DSL - Apache UIMA의 RUTA에 느슨하게 기반한 DSL입니다. 언어 패턴(규칙 기반 NLP)을 정의하고 이를 spaCy나, 기능을 줄인 경량 버전을 원할 경우 정규식 패턴으로 변환할 수 있습니다.
- Transformers - TensorFlow 2.0 및 PyTorch용 자연어 처리 도구입니다.
- Tokenizers - 연구 및 운영 환경에 최적화된 토크나이저입니다.
- fairSeq - Facebook AI Research가 구현한 PyTorch용 최신 seq2seq 모델입니다.
- corex_topic - 도메인 지식이 거의 필요 없는 계층적 토픽 모델링 도구입니다.
- Sockeye - Amazon Translate를 지원하는 신경망 기계 번역(NMT) 도구 모음입니다.
- DL Translate - transformers와 Facebook의 mBART Large를 기반으로 만든 50개 언어용 딥러닝 번역 라이브러리입니다.
- Jury - 다양한 자동 평가 지표를 제공하는 NLP 모델 출력 평가 도구입니다.
- python-ucto - 여러 언어를 위한 유니코드 인식 정규식 기반 토크나이저입니다. C++ 라이브러리의 Python 바인딩이며 FoLiA 형식을 지원합니다.
- Pearmut - 기계 번역과 같은 다국어 NLP 작업을 위한 사람 주석 도구입니다.
- Stanza - 70개 이상의 언어에서 토큰화, 품사, 표제어, 의존 구문 분석 및 NER을 수행하는 Stanford NLP의 Python 도구 모음입니다.
- Sentence-Transformers - 문장/문서 임베딩, 시맨틱 검색 및 재순위를 지원하며, 검색형 NLP의 현재 표준입니다.
- Argilla - LLM 및 NLP 데이터셋을 위한 오픈 소스 데이터 주석 및 피드백 수집 플랫폼입니다.
- HuggingFace Datasets - 수천 개의 NLP 데이터셋을 위한 표준화된 로더와 처리 기능을 제공합니다.
- HuggingFace Evaluate - NLP 지표의 기준 구현을 제공합니다.
- sacrebleu - 기계 번역을 위한 재현 가능한 BLEU/chrF/TER 점수 계산을 제공합니다.
- COMET - 학습 기반 기계 번역 지표로, 사실상의 현재 표준입니다.
- LangTest - NLP 모델의 견고성, 편향 및 공정성을 위한 60가지 이상의 테스트 유형을 제공합니다.
- yasbd-lib - 정확도가 높은 규칙 기반 문장 경계 탐지기(SBD)입니다. pysbd 어댑터, 스트리밍 API, CLI, 39개 이상의 언어를 지원하는 spaCy 구성 요소를 제공합니다.

C++ - C++ 라이브러리 | 맨 위로
- InsNet - 패딩 없는 동적 배칭을 사용해 인스턴스별 NLP 모델을 구축하는 신경망 라이브러리입니다.
- MIT Information Extraction Toolkit - 개체명 인식 및 관계 추출을 위한 C, C++, Python 도구입니다.
- CRF++ - 순차 데이터 분할/레이블링 및 기타 NLP 작업을 위한 조건부 무작위장(CRF)의 오픈 소스 구현입니다.
- CRFsuite - 순차 데이터 레이블링을 위한 조건부 무작위장(CRF) 구현입니다.
- BLLIP Parser - Charniak-Johnson 파서라고도 하는 BLLIP 자연어 파서입니다.
- colibri-core - n-그램과 스킵그램 같은 기본 언어 구성을 빠르고 메모리 효율적으로 추출하고 다루는 C++ 라이브러리, 명령줄 도구 및 Python 바인딩입니다.
- ucto - 여러 언어를 위한 유니코드 인식 정규식 기반 토크나이저입니다. 도구와 C++ 라이브러리로 제공되며 FoLiA 형식을 지원합니다.
- libfolia - FoLiA 형식을 위한 C++ 라이브러리입니다.
- frog - 네덜란드어용 메모리 기반 NLP 제품군입니다. 품사 태거, 표제어 추출기, 의존 구문 분석기, NER, 청크 파서 및 형태소 분석기를 포함합니다.
- MeTA - 대규모 텍스트 데이터 마이닝을 위한 C++ 데이터 과학 도구 모음인 ModErn Text Analysis입니다.
- Mecab (Japanese)
- Moses
- StarSpace - 단어, 단락, 문서 수준 임베딩 생성과 텍스트 분류를 지원하는 Facebook 라이브러리입니다.
- QSMM - 적응형 확률적 하향식 및 상향식 파서입니다.
Java - Java NLP 라이브러리 | 맨 위로
- Stanford NLP
- OpenNLP
- NLP4J
- Word2vec in Java
- ReVerb 웹 규모의 개방형 정보 추출 도구입니다.
- OpenRegex 효율적이고 유연한 토큰 기반 정규식 언어 및 엔진입니다.
- CogcompNLP - University of Illinois 인지 컴퓨팅 그룹이 개발한 핵심 라이브러리입니다.
- MALLET - 통계적 자연어 처리, 문서 분류, 클러스터링, 토픽 모델링, 정보 추출 및 텍스트의 기타 머신러닝 응용을 위한 기계 학습 도구 모음입니다.
- RDRPOSTagger - Java와 Python으로 제공되는 견고한 품사 태깅 도구 모음이며, 40개 이상의 언어를 위한 사전 학습 모델을 포함합니다.
Kotlin - Kotlin NLP 라이브러리 | 맨 위로
- Lingua 긴 텍스트와 짧은 텍스트 모두에 적합한 Kotlin 및 Java용 언어 감지 라이브러리입니다.
- Kotidgy — Kotlin으로 작성된 인덱스 기반 텍스트 데이터 생성기입니다.
Scala - Scala NLP 라이브러리 | 맨 위로
- Saul - SRL, POS 등의 내장 모듈을 포함해 NLP 시스템을 개발하는 라이브러리입니다.
- ATR4S - 최신 자동 용어 인식 방법을 제공하는 도구 모음입니다.
- tm - 정규화된 다국어 PLSA에 기반한 토픽 모델링 구현입니다.
- word2vec-scala - word2vec 모델용 Scala 인터페이스로, 단어 거리와 단어 유추 같은 벡터 연산을 포함합니다.
- Epic - Scala로 작성된 고성능 통계 파서이자 복잡한 구조 예측 모델을 구축하는 프레임워크입니다.
- Spark NLP - Apache Spark ML 기반의 자연어 처리 라이브러리입니다. 분산 환경에서 쉽게 확장되는 머신러닝 파이프라인을 위해 간편하고 빠르며 정확한 NLP 주석을 제공합니다.
R - R NLP 라이브러리 | 맨 위로
- text2vec - R에서 빠른 벡터화, 토픽 모델링, 거리 계산 및 GloVe 단어 임베딩을 지원합니다.
- wordVectors - word2vec 및 기타 단어 임베딩 모델을 생성하고 탐색하는 R 패키지입니다.
- RMallet - Java 머신러닝 도구 MALLET과 연동하는 R 패키지입니다.
- dfr-browser - 웹 브라우저에서 텍스트 토픽 모델을 살펴볼 수 있는 d3 시각화를 생성합니다.
- dfrtopics - 텍스트 토픽 모델을 탐색하는 R 패키지입니다.
- sentiment_classifier - 단어 의미 중의성 해소와 WordNet Reader를 사용한 감성 분류입니다.
- jProcessing - 일본어 감성 분류 기능을 포함하는 일본어 자연어 처리 라이브러리입니다.
- corporaexplorer - 텍스트 모음을 동적으로 탐색하는 R 패키지입니다.
- tidytext - tidy 도구를 사용한 텍스트 마이닝입니다.
- spacyr - spaCy NLP용 R 래퍼입니다.
- CRAN Task View: Natural Language Processing
Clojure | Back to Top
- Clojure-openNLP - Clojure에서 자연어 처리를 수행합니다(opennlp).
- Infections-clj - Clojure 및 ClojureScript용 Rails 스타일 굴절형 처리 라이브러리입니다.
- postagga - Clojure 및 ClojureScript에서 자연어를 파싱하는 라이브러리입니다.
Go | Back to Top
- prose - 토큰화, 품사 태깅 및 개체명 추출을 지원하는 텍스트 처리 라이브러리입니다.
- gojieba - jieba 중국어 단어 분할 알고리즘의 Go 구현입니다.
- kagome - 순수 Go로 작성된 일본어 형태소 분석기입니다.
- go-propisyu - 문법적 성과 명사의 격변화를 올바르게 적용해 숫자를 러시아어 단어로 변환합니다.
Ruby | Back to Top
- Kevin Dias의 A collection of Natural Language Processing (NLP) Ruby libraries, tools and software
- Practical Natural Language Processing done in Ruby
Rust | Back to Top
- whatlang — 트라이그램 기반 자연어 인식 라이브러리입니다.
- rust-bert - 바로 사용할 수 있는 NLP 파이프라인 및 Transformer 기반 모델입니다.
- snips-nlu-rs (보관됨 — Snips는 중단됨) - 운영 환경에서 사용할 수 있는 의도 파싱 라이브러리입니다.
NLP++ - NLP++ 언어 | 맨 위로
- VSCode Language Extension - VSCode용 NLP++ 언어 확장 프로그램입니다.
- nlp-engine - 완전한 영어 파서를 포함해 Linux에서 NLP++ 코드를 실행하는 NLP++ 엔진입니다.
- VisualText - NLP++ 언어의 홈페이지입니다.
- NLP++ Wiki - NLP++ 언어에 관한 위키 항목입니다.
Julia | Back to Top
- CorpusLoaders - 다양한 NLP 말뭉치를 위한 여러 로더를 제공합니다.
- Languages - 인간 언어를 다루는 패키지입니다.
- TextAnalysis - 텍스트 분석을 위한 Julia 패키지입니다.
- TextModels - 자연어 처리를 위한 신경망 기반 모델입니다.
- WordTokenizers - 자연어 처리 및 관련 작업을 위한 고성능 토크나이저입니다.
- Word2Vec - word2vec용 Julia 인터페이스입니다.

서비스

NER, 토픽 태깅 등의 고수준 기능을 API로 제공하는 NLP 서비스 | 맨 위로

Wit-ai - 앱과 기기를 위한 자연어 인터페이스입니다.
IBM Watson’s Natural Language Understanding - API 및 GitHub 데모입니다.
Amazon Comprehend - NER, 태깅, 감성 분석과 같은 일반적인 작업을 포함하는 NLP 및 ML 도구 모음입니다.
Google Cloud Natural Language API - 영어와 중국어(간체 및 번체)를 포함해 9개 이상의 언어에서 구문 분석, NER, 감성 분석 및 콘텐츠 태깅을 수행합니다.
ParallelDots - 감성 분석부터 의도 분석까지 제공하는 고수준 텍스트 분석 API 서비스입니다.
Microsoft Cognitive Service
TextRazor
Rosette
Textalytic - 감성 분석, 개체명 추출, 품사 태깅, 단어 빈도, 토픽 모델링, 워드 클라우드 등을 브라우저에서 수행하는 자연어 처리 도구입니다.
NLP Cloud - 사용자 지정 및 사전 학습 spaCy NLP 모델을 RESTful API로 제공하며, 개체명 인식(NER), 품사 태깅 등을 지원합니다.
Cloudmersive - 음성 태깅, 텍스트 바꿔쓰기, 언어 번역/감지, 문장 파싱 등을 수행하는 통합 무료 NLP API입니다.

주석 도구

GATE - 15년 이상 개발된 무료 오픈 소스 General Architecture and Text Engineering입니다.
Anafora - 무료 오픈 소스 웹 기반 원문 주석 도구입니다.
brat - 공동 텍스트 주석 작업을 위한 온라인 환경인 brat 신속 주석 도구입니다.
doccano - 무료 오픈 소스 도구로, 텍스트 분류, 시퀀스 레이블링 및 시퀀스 간 변환 주석 기능을 제공합니다.
INCEpTION - 지능형 지원과 지식 관리를 제공하는 의미 주석 플랫폼입니다.
prodigy - 능동 학습 기반 주석 도구이며 유료입니다($).
LightTag - 팀을 위한 호스팅·관리형 텍스트 주석 도구이며 유료입니다($).
rstWeb - 담화 트리 주석을 위한 오픈 소스 로컬 또는 온라인 도구입니다.
GitDox - XML 데이터와 공동 스프레드시트 그리드의 GitHub 버전 제어 및 검증을 지원하는 오픈 소스 서버 주석 도구입니다.
Datasaur - 개인 및 팀을 위한 다양한 NLP 작업을 지원하며 프리미엄 모델입니다.
Konfuzio - 능동 학습 기반의 팀 중심 호스팅 및 온프레미스 텍스트·이미지·PDF 주석 도구로, 프리미엄 모델이며 유료입니다($).
UBIAI - 팀이 쉽게 사용할 수 있는 텍스트 주석 도구로, 포괄적인 자동 주석 기능을 제공합니다. NER, 관계 및 문서 분류, 송장 레이블링용 OCR 주석을 지원하며 유료입니다($).
Shoonya - 조직 및 작업 공간 수준의 다양한 관리 기능을 갖춘 무료 오픈 소스 데이터 주석 플랫폼입니다. 데이터 유형에 구애받지 않으며 여러 검증 단계를 거쳐 대규모로 데이터를 주석 처리할 수 있습니다.
Annotation Lab - 텍스트 주석 및 딥러닝 모델 학습/튜닝을 위한 무료 종단 간 노코드 플랫폼입니다. NER, 분류, 관계 추출, Assertion Status용 Spark NLP 모델을 즉시 지원합니다. 사용자, 팀, 프로젝트, 문서 수에 제한이 없으며 FOSS는 아닙니다.
FLAT - 풍부한 XML 기반 언어 주석 형식인 FoLiA 형식을 기반으로 하는 웹 기반 언어 주석 환경입니다. 무료 오픈 소스입니다.
Argilla - 사람의 피드백을 수집하고 NLP 및 LLM 데이터셋을 구축하며 선호도 데이터를 선별하는 오픈 소스 플랫폼입니다.
Label Studio - 오픈 코어 멀티모달 레이블링 플랫폼으로 NLP 레이블링에 널리 사용됩니다.
Potato - 분류, 스팬, 상호 참조, 개체 연결, 에이전트 추적 평가 등 21개 이상의 작업 유형을 지원하는 무료 오픈 소스 주석 도구입니다. MACE 품질 관리, 주의력 검사, AI 지원 레이블링 및 300개 이상의 예제 작업이 내장되어 있습니다.

작업 및 방법

언어 문제에 따라 NLP 작업을 구성했습니다. 각 하위 절에는 기반이 되는 고전 연구를 먼저, 이어서 신경망 접근법을, 해당되는 경우 LLM 기반 방법을 나열합니다. 사전 학습, 평가, 검색, 추론 등 현대 언어 모델 전용 연구는 NLP 언어 모델을 참조하세요.

텍스트 임베딩

맨 위로

정적 단어 임베딩(기초):

word2vec - 구현 - 설명 블로그
GloVe - 설명 블로그
fastText - 구현; 서브워드 n-그램이 OOV를 잘 처리하므로 저자원 언어에도 여전히 유용합니다.
sense2vec - 단어 의미 중의성 해소입니다.
Paragraph Vectors / doc2vec

문맥 임베딩:

ELMo - 심층 문맥화 단어 표상입니다.
CoVe - 기계 번역에서 학습한 문맥 벡터입니다.
ULMFiT - 텍스트 분류를 위한 언어 모델 미세 조정 방법입니다.
InferSent - 자연어 추론(NLI)에서 얻은 문장 표상입니다.

최신 문장 및 문서 임베딩은 NLP 검색(Sentence-Transformers, E5, BGE-M3, Nomic, GritLM)과 최신 순위표를 제공하는 MTEB를 참조하세요.

토큰화, 형태론 및 분할

맨 위로

SentencePiece - 언어에 구애받지 않는 서브워드 토큰화입니다.
BPE 및 Unigram LM - 널리 쓰이는 두 가지 서브워드 방식입니다.
Stanza - 70개 이상의 언어에서 토큰화, 표제어 추출 및 형태론을 지원합니다.
UDPipe - Universal Dependencies를 위한 토큰화, 태깅, 표제어 추출 및 파싱을 수행합니다.
Morfessor - 비지도 형태소 분할 도구입니다. 토크나이저 연구 및 아키텍처는 언어 모델도 참조하세요.
Byte-Pair Encoding (Sennrich et al.) - 신경망 기계 번역을 위한 서브워드 단위로, 현대 토크나이저의 기반입니다.
SentencePiece - 언어에 구애받지 않는 서브워드 토큰화(BPE 및 Unigram)입니다.
Tokenizers - BPE, WordPiece, Unigram의 빠른 Rust 구현입니다.
ByT5 - 토크나이저를 사용하지 않는 바이트 수준 모델입니다.
CANINE - 유니코드 문자에서 직접 작동하는 토큰화 없는 인코더입니다.
How Good is Your Tokenizer? - 언어별 토크나이저의 공정성을 다룹니다.
Byte Latent Transformer (BLT) (Meta, 2024) - 대규모에서 BPE 토큰화 모델에 필적하는 동적 바이트 수준 패칭을 수행해 토크나이저 없는 방향을 되살립니다.
SuperBPE (2025) - 다운스트림 작업에서 BPE보다 성능을 높이는 슈퍼워드 토큰화입니다.
Over-Tokenized Transformer (ICML 2025) - 입력 및 출력 어휘를 분리합니다. 입력 어휘 크기와 학습 손실 사이의 로그-선형 관계를 보이며, 모델 크기와 독립적으로 어휘를 확장합니다.
Foundations of Tokenization (ICLR 2025) - 확률 사상 범주론을 사용한 토크나이저 모델의 최초 형식적 통합 프레임워크로, 통계적 일관성 조건을 정립합니다.
The Token Tax: Systematic Bias in Multilingual Tokenization (2025) - 토큰화 분절도가 여러 언어에서 모델 정확도를 어떻게 예측하는지 정량화하고, 형태론적으로 복잡하거나 저자원인 언어에 부과되는 구조적 비용을 드러냅니다.
Reducing Tokenization Premiums for Low-Resource Languages (2026) - 저자원 언어의 여러 토큰으로 된 문자 시퀀스를 결합하는 어휘를 사후 추가해 재학습 없이 추론 비용을 낮춥니다.

품사 태깅 및 의존 구문 분석

맨 위로

Universal Dependencies - 100개 이상의 언어를 포괄하는 언어 간 일관된 트리뱅크입니다.
spaCy 및 Stanza - 여러 언어에서 운영 환경에 사용할 수 있는 파서를 제공합니다.
Deep Biaffine Attention for Neural Dependency Parsing - 신경망 구문 분석의 기반이 된 아키텍처입니다.
Trankit - 경량 Transformer 기반 다국어 NLP 도구 모음입니다.
Self-Attentive Constituency Parsing (Kitaev & Klein) - 성능이 뛰어난 신경망 구구조 파서입니다.

개체명 인식 및 정보 추출

맨 위로

기반 연구 및 신경망 방법:

CoNLL-2003 NER - 대표적인 영어 NER 벤치마크입니다.
Neural Architectures for NER (Lample et al.) - 오랫동안 널리 사용된 NER 아키텍처인 BiLSTM-CRF입니다.
Flair - 문맥 문자열 임베딩을 사용하며 여러 언어에서 뛰어난 NER 성능을 보입니다.
spaCy NER - 운영 환경에 바로 사용할 수 있습니다.

개방형 및 지시 따르기 정보 추출:

Universal NER - 여러 언어에서 개방형 NER을 수행하도록 지시 튜닝된 언어 모델입니다.
GLiNER (2023) - 추론 시 임의의 개체 유형을 처리하는 소형 범용 NER 모델입니다.
GoLLIE - 언어 모델을 사용해 지침을 따르는 정보 추출을 수행합니다.
REBEL - seq2seq 방식의 종단 간 관계 추출입니다.

LLM 기반:

GPT-NER - 개체명 인식을 위한 LLM입니다.
Can LLMs Replace Sentence-Level NER? (2024) - 비용과 품질 간의 절충을 다룹니다.
Generative NER in the Era of LLMs (2026) - 4개 NER 벤치마크에서 8개의 오픈 LLM을 평가합니다. 구조화된 출력을 사용하는 PEFT가 인코더 기반 NER과 대등한 성능을 보입니다.

상호 참조 해결

맨 위로

End-to-End Neural Coreference (Lee et al.) - 현대 신경망 상호 참조 해결의 기반입니다.
SpanBERT - 스팬 기반 사전 학습으로, 강력한 상호 참조 기준 모델입니다.
coref-hoi - 고차 추론 기반 상호 참조 해결입니다.
maverick-coref (2024) - 최고 성능의 대형 시스템에 필적하는 효율적인 상호 참조 해결입니다.
LingMess - 언어학적 동기에 기반한 범주별 상호 참조 점수화입니다. LLM 기반:
LLMs for Coreference Resolution - 상호 참조 해결을 위한 프롬프트 및 미세 조정입니다.
Multilingual Coreference Shared Task: Can LLMs Dethrone Traditional Approaches? (2025) - LLM 기반 4개와 전통적 접근법 5개 등 총 9개 시스템을 비교합니다. 전통적 방법이 여전히 앞서지만 LLM이 격차를 좁히고 있습니다.

텍스트 분류 및 감성 분석

맨 위로

fastText classifier - 강력하고 빠른 선형 기준 모델입니다.
Sentiment Treebank (SST) - 대표적인 세분화 감성 데이터셋입니다.
SetFit - 프롬프트 없이 소수 예제로 텍스트를 분류합니다.
FastFit - 다중 클래스 환경을 위한 빠른 소수 예제 학습입니다.
SST / IMDB / AG News with DeBERTa-v3 - 현재 인코더 미세 조정 기준 모델입니다.
PySS3 - 해석 가능한 화이트박스 텍스트 분류기입니다.
LLMs as Annotators - 주의할 점을 고려해 텍스트 분류 레이블링에 LLM을 사용합니다.

토픽 모델링

맨 위로

Latent Dirichlet Allocation (Blei et al.) - 토픽 모델링의 기반이 된 방법입니다.
gensim - Python에서 LDA, LSI, HDP를 지원합니다.
BigARTM - 빠른 정규화 토픽 모델링 도구입니다.
BERTopic - 문맥 임베딩을 기반으로 클러스터링을 수행하는 토픽 모델링으로, 현대의 일반적인 기본 선택입니다.
Top2Vec - 토픽 벡터와 문서 벡터를 함께 학습합니다.
CorEx Topic - 앵커 단어를 사용한 계층적 토픽 모델링입니다.

요약

맨 위로

TextRank - 그래프 기반 추출 요약입니다.
Pointer-Generator Networks (See et al.) - 신경망 추상 요약의 기반이 된 방법입니다.
PEGASUS - 요약을 위한 갭 문장 사전 학습입니다.
BART - 널리 사용되는 노이즈 제거 seq2seq 기준 모델입니다.
BookSum 및 SCROLLS - 장문서 요약 벤치마크입니다. LLM 기반:
Benchmarking LLMs for News Summarization - LLM과 미세 조정 요약 모델을 비교합니다.
Element-Aware Summarization with LLMs - 요약을 위한 구조화된 프롬프트입니다.
Understanding LLM Reasoning for Abstractive Summarization (2025) - 명시적 추론은 유창성을 높이지만 사실적 근거성을 약화시키며, 추론 예산이 길수록 충실도가 저하될 수 있습니다.

기계 번역

맨 위로

통계적 방법 및 신경망 기반 연구:

Moses - 대표적인 통계적 기계 번역 시스템입니다.
Attention Is All You Need - 분야를 재편한 Transformer 논문입니다.
Marian NMT - 효율적인 C++ 신경망 기계 번역 프레임워크입니다.
Fairseq - PyTorch 시퀀스 모델링 도구 모음입니다.

대규모 다국어:

NLLB-200 - 200개 언어를 지원하는 기계 번역입니다.
MADLAD-400 - 400개 이상의 언어를 지원하는 기계 번역입니다.
SeamlessM4T - 100개 이상의 언어에서 음성 및 텍스트 번역을 지원합니다.

평가:

COMET - 학습 기반 기계 번역 지표로, chrF와 함께 사실상의 현재 표준입니다.
sacrebleu - 재현 가능한 BLEU/chrF/TER 점수 계산을 제공합니다.
BERTScore - 유사도 기반 생성 평가 지표입니다.

LLM 기반:

Is ChatGPT a Good Translator? - 기계 번역 시스템으로서 LLM을 평가합니다.
Adapting LLMs for Document-Level MT (2024) - 문맥 인식 번역을 위한 LLM 적응입니다.
GPT-4 vs Human Translators - 전문 기계 번역에서 품질을 비교합니다.
Multilingual MT with Open LLMs at Practical Scale (2025) - 28개 언어 기계 번역에서 100억 미만 규모 오픈 LLM을 벤치마크하며 GPT-4-turbo 및 Google Translate에 필적하는 성능을 보입니다.
Bridging the Linguistic Divide: Survey on LLMs for MT (2025) - 지시 따르기, 문맥 내 학습, 선호도 정렬이 기계 번역 방법론을 어떻게 재구성했는지 조사합니다.

질의응답 및 독해

맨 위로

데이터셋 및 기반 시스템:

SQuAD / SQuAD 2.0 - 추출형 독해 데이터셋입니다.
Natural Questions - Wikipedia를 대상으로 한 실제 사용자 질문입니다.
HotpotQA - 다중 단계 추론 데이터셋입니다.
TriviaQA - 원격 감독 방식의 질의응답 데이터셋입니다.
DrQA - Wikipedia를 대상으로 하는 오픈 도메인 질의응답입니다.
Document-QA - 여러 단락을 대상으로 하는 독해 데이터셋입니다.

현대 오픈 도메인 질의응답:

DPR 및 FiD - 검색 후 읽기 방식으로, LLM 이전 오픈 도메인 질의응답의 표준 파이프라인입니다.
Atlas - 소수 예제 질의응답을 위한 검색 증강 언어 모델입니다.
NLP 검색도 참조하세요.

LLM 시대:

GPT-4 with retrieval on TriviaQA / NQ
Self-RAG (2023) - 검색, 생성 및 자기 비평을 수행합니다.
GAIA - 다단계 질의응답을 포함하는 범용 AI 어시스턴트 벤치마크입니다.

개체명 인식 그 이상의 정보 추출

맨 위로

OpenIE 6 - 스키마가 필요 없는 개방형 정보 추출입니다.
Template-Based Information Extraction without the Templates
Privee: An Architecture for Automatically Analyzing Web Privacy Policies
REBEL - 종단 간 관계 추출입니다.
DocRED - 문서 수준 관계 추출 벤치마크입니다.
LLMs for Semantic Role Labeling (2025) - RAG와 자기 교정을 활용하는 생성형 LLM이 영어 및 중국어 의미역 레이블링(SRL)에서 인코더-디코더 BERT형 모델을 능가합니다.
Adapting LLMs for Minimal-edit GEC (2025) - 새로운 오류율 적응 일정을 적용한 디코더 전용 LLM이 BEA-test 문법 오류 교정에서 새로운 최고 성능을 달성합니다.

검색 및 임베딩

맨 위로

질의응답과 정보 검색(IR)의 기반으로 점점 더 널리 쓰이는 밀집 및 지연 상호작용 검색:

DPR (Dense Passage Retrieval) - 이중 인코더 검색의 기준 모델입니다.
ColBERT 및 ColBERTv2 - 지연 상호작용 검색 방식으로, 도메인 외 데이터에서 강력한 성능을 보입니다.
E5 및 E5-Mistral - 널리 사용되는 밀집 임베딩 계열입니다.
BGE 및 BGE-M3 (2024) - 다국어 및 다기능 임베딩으로, 여러 언어의 MTEB에서 최상위 성능을 보입니다.
Nomic Embed (2024) - 완전히 공개되어 재현할 수 있는 임베딩 모델입니다.
Matryoshka Representation Learning - 추론 시 차원을 다양하게 선택할 수 있는 중첩 임베딩입니다.
GritLM (2024) - 하나의 모델에서 생성과 임베딩을 통합합니다.
RAG (Retrieval-Augmented Generation) - 원조 검색 증강 프레임워크로, 현대 질의응답 파이프라인의 기반입니다.
Gemini Embedding (2025) - Gemini에서 파생된 밀집 임베딩으로, 250개 이상의 언어에 걸친 MMTEB 및 교차 언어 검색(XOR-Retrieve, XTREME-UP)에서 최고 성능을 보입니다.
Qwen3-Embedding (2025) - Qwen3 기반의 디코더형 임베딩 계열(0.6B~8B)로, 기존 독점 모델을 능가해 MTEB Multilingual 및 MTEB Code에서 1위를 차지했습니다.
Rank1 (2025) - DeepSeek-R1 추론 추적 증류를 통해 테스트 시점 연산을 사용해 학습한 최초의 재순위 모델입니다. 지시 따르기와 OOD 검색에서 최고 성능을 기록합니다.
ReasonEmbed (2025) - ReMixer 데이터 합성과 Redapter 적응 학습을 활용한 추론 중심 검색용 임베딩 모델로, BRIGHT에서 nDCG@10 38.1의 최고 기록을 달성했습니다.
ColBERT-Att (2026) - 질의 및 문서 어텐션 가중치를 ColBERT 점수화에 통합해 지연 상호작용 검색을 확장합니다. MS-MARCO, BEIR, LoTTE에서 재현율을 높입니다. 임베딩 및 검색 벤치마크:
MMTEB (2025) - MTEB를 확장해 250개 이상의 언어에서 500개 이상의 작업을 포함하는 커뮤니티 벤치마크입니다.

음성 및 텍스트

맨 위로

인접 분야와 겹치는 영역이므로 관련 자료를 간략히 소개합니다.

Whisper - 다국어 ASR을 지원하는 현대적 오픈 기본 모델입니다.
SeamlessM4T - 음성 및 텍스트 번역을 통합합니다.
Canary (NVIDIA, 2024) - 최고 수준의 오픈 다국어 ASR 모델입니다.
FunASR - 산업용 ASR 도구 모음입니다. GPU에서 실시간보다 170배 빠르고, 50개 이상의 언어와 내장 VAD, 구두점 처리, 화자 분할, 감정 감지를 지원합니다. 비자기회귀 SenseVoice 및 LLM 기반 Fun-ASR-Nano 모델을 포함합니다.
Wav2Vec 2.0 - 자기 지도 음성 사전 학습의 기반이 된 방법입니다.
Coqui TTS 및 VieNeu-TTS - 오픈 TTS 시스템입니다.

데이터셋

맨 위로

데이터셋 허브 및 목록:

HuggingFace Datasets Hub - 버전 관리 및 스트리밍 로더를 제공하는 최신 NLP 데이터셋의 중앙 색인입니다.
nlp-datasets - 다양한 NLP 데이터셋 모음입니다.
gensim-data - 사전 학습 NLP 모델 및 NLP 말뭉치 데이터 저장소입니다.

사전 학습 규모 말뭉치(공개):

The Pile - 825 GiB 규모의 다양한 텍스트 말뭉치입니다.
RedPajama / RedPajama-V2 (2023-2024) - LLaMA 사전 학습 데이터를 재현한 것으로, V2는 품질 신호가 포함된 30조 토큰 규모입니다.
Dolma (AI2, 2023-2024) - 문서화된 필터링 파이프라인을 갖춘 3조 토큰 규모의 공개 사전 학습 말뭉치입니다.
FineWeb / FineWeb-Edu (2024) - 정제된 15조 토큰 규모의 웹 말뭉치입니다. FineWeb-Edu는 교육적 품질을 기준으로 필터링합니다.
CulturaX - 167개 언어에 걸친 6.3조 토큰을 포함합니다.
Common Corpus (2024) - 공개 라이선스의 2조 토큰 규모 다국어 말뭉치입니다.

작업 및 지시 데이터셋:

Universal Dependencies - 100개 이상의 언어에서 언어 간 일관성을 갖춘 트리뱅크 주석입니다.
Tülu 3 SFT Mixture (2024) - Tülu 3의 기반이 된 공개 지시 튜닝 데이터입니다.
tiny_qa_benchmark_pp - 소규모 다국어 NLP 질의응답 데이터셋과 자체 합성 데이터를 생성하는 라이브러리입니다.

다국어 NLP 프레임워크

맨 위로

UDPipe - Universal Treebank 및 기타 CoNLL-U 파일을 토큰화, 태깅, 표제어 추출, 파싱하는 학습 가능한 파이프라인입니다. 주로 C++로 작성되었으며 다국어 NLP 처리를 위한 빠르고 신뢰할 수 있는 솔루션입니다.
NLP-Cube : 자연어 처리 파이프라인으로 문장 분할, 토큰화, 표제어 추출, 품사 태깅 및 의존 구문 분석을 수행합니다. Dynet 2.0을 사용하는 Python 기반의 새 플랫폼으로, 독립 실행형(CLI/Python 바인딩) 및 서버 기능(REST API)을 제공합니다.
UralicNLP - 사미어, 모르드바어, 마리어, 코미어 등 여러 위기 우랄어를 주로 지원하는 NLP 라이브러리입니다. 핀란드어 같은 일부 비위기 언어와 스웨덴어 및 아랍어 같은 비우랄어도 지원합니다. 형태소 분석, 생성, 표제어 추출 및 중의성 해소를 수행할 수 있습니다.

NLP 언어 모델

맨 위로

NLP 작업 및 언어 현상에 한정한 사전 학습 언어 모델과 관련 연구입니다. 범용 LLM 도구, 에이전트 또는 RAG 애플리케이션 키트는 관련 항목을 참조하세요.

사전 학습 및 적응

인코더(고전적 NLP 작업에서 여전히 핵심 역할을 합니다):

BERT - 양방향 Transformer 사전 학습으로, 2018년 이후 대부분의 인코더 기반 NLP 연구의 토대입니다. 섹션 탐색 기능과 ACL 원문이 첨부된 온라인 자료도 있습니다.
RoBERTa - 견고하게 최적화된 BERT 사전 학습으로, 일반적인 인코더 기준 모델입니다.
DeBERTa / DeBERTa-v3 - 분리된 어텐션을 사용하며 분류, NER, NLI에서 강력한 성능을 보입니다.
ELECTRA - 샘플 효율성이 높은 대체 토큰 탐지 사전 학습입니다.
ModernBERT (2024) - 회전 임베딩, FlashAttention, 8K 컨텍스트를 갖춘 현대화된 인코더로, 분류, NER, 검색에 널리 선택되는 최신 모델입니다.
NeoBERT (2025) - RoPE, 4K 컨텍스트, 최적화된 깊이 대 너비 비율을 통합한 2억 5천만 매개변수 인코더입니다. MTEB에서 최신 성능을 달성하고 동일한 미세 조정 조건에서 ModernBERT와 RoBERTa-large를 능가합니다.

인코더-디코더 및 seq2seq:

T5 및 FLAN-T5 - NLP 작업을 텍스트 입력-텍스트 출력으로 구성하며, 강력한 지시 튜닝 인코더-디코더 기준 모델입니다.
BART - 요약 및 생성에 널리 사용되는 노이즈 제거 seq2seq 사전 학습입니다.

NLP 작업의 기반으로 사용되는 공개 디코더 전용 언어 모델:

Llama 3 / 3.1 / 3.3 (Meta, 2024-2025) - 널리 채택된 공개 가중치 모델 계열로, 다양한 NLP 작업의 미세 조정을 위한 기본 모델입니다.
Qwen 2.5 / Qwen 3 (Alibaba, 2024-2025) - 특히 중국어를 포함한 다국어 범위가 넓으며 다국어 벤치마크에서 공개 모델 중 최상위권을 차지하는 경우가 많습니다.
DeepSeek-V3 (2024) - 효율적인 MoE 사전 학습을 사용한 경쟁력 있는 공개 기본 모델입니다.
OLMo 2 (AI2, 2025) - 가중치, 학습 데이터, 코드를 모두 공개해 재현성의 기준이 되는 모델입니다.
Gemma 2 / Gemma 3 (Google, 2024-2025) - NLP 작업에서 높은 성능을 보이는 공개 소형/중형 모델입니다.
Mistral / Mixtral - 효율적인 밀집형 및 희소 MoE 공개 모델입니다.
What Language Model Architecture and Pretraining Objective Work Best for Zero-Shot Generalization? - NLP 전이를 위해 인코더, 디코더, 인코더-디코더 중 어느 구조가 효과적인지 비교합니다.

다국어 및 언어 간 모델

XLM-R - CommonCrawl로 학습한 100개 언어 교차 언어 마스크 언어 모델입니다.
mT5 - 101개 언어를 포괄하는 다국어 T5입니다.
BLOOM - 46개 자연어를 지원하는 1,760억 매개변수 공개 다국어 언어 모델입니다.
Aya 23 / Aya Expanse (Cohere For AI, 2024) - 23~101개 언어를 포괄하는 대규모 다국어 지시 튜닝 모델입니다.
Glot500 - 저자원 언어에 초점을 둔 500개 이상 언어용 인코더입니다.
NLLB-200 - No Language Left Behind 프로젝트의 200개 언어 기계 번역 모델입니다.
MADLAD-400 - 400개 이상의 언어를 위한 기계 번역 모델 및 3조 토큰 다국어 말뭉치입니다.
SeamlessM4T / Seamless (Meta, 2023-2024) - 100개 이상의 언어에서 다국어·멀티모달 음성-텍스트 번역을 지원합니다.
SEA-LION / SeaLLM (2024-2025) - 동남아시아 언어를 대상으로 하는 언어 모델입니다.
Babel (2025) - 화자 수 기준 상위 25개 언어(전 세계 화자의 약 90%)를 포괄하는 공개 다국어 LLM(9B 및 83B)입니다. XCOPA, XNLI, MGSM, FLORES-200에서 비슷한 규모의 공개 다국어 모델을 능가합니다.
Lugha-Llama (Princeton/Mila, 2025) - 선별된 WURA 말뭉치를 사용해 저자원 아프리카 언어에 맞게 조정한 Llama-3.1-8B이며, IrokoBench와 AfriQA에서 오픈 소스 최고 성능을 기록합니다.
AfriqueLLM (McGill, 2026) - 20개 아프리카 언어의 260억 토큰으로 추가 사전 학습한 공개 LLM(4B~14B) 제품군으로, 데이터 혼합에 대한 포괄적 실증 연구를 포함합니다.
TranslateGemma (Google, 2026) - Gemma 3 기반 공개 번역 특화 모델로, 품질 보상 모델을 사용하는 SFT 및 RL을 통해 55개 언어 쌍을 지원합니다.
MiLMMT-46 (Xiaomi, 2026) - 46개 언어로 확장한 공개 다국어 기계 번역으로, Google Translate 및 Gemini 3 Pro 같은 상용 시스템에 필적합니다.

평가 및 벤치마크

NLU 및 교차 언어:

GLUE 및 SuperGLUE - 영어 NLU 벤치마크입니다.
XTREME 및 XGLUE - 교차 언어 NLU 벤치마크입니다.
XNLI - 15개 언어의 교차 언어 자연어 추론 데이터셋입니다.
FLORES-200 - 200개 언어의 기계 번역 평가입니다.
MTEB - 대규모 텍스트 임베딩 벤치마크로, 문장/문서 인코더의 표준입니다.
BEIR - 검색 모델을 위한 이질적 정보 검색(IR) 벤치마크입니다.

현대 언어 모델 평가(2023-2026):

HELM - 정확도를 비롯한 여러 측면에서 NLP 작업 전반을 포괄적으로 평가합니다.
BIG-bench - 언어 모델 역량을 탐색하는 200개 이상의 작업을 제공합니다.
MMLU - 57개 과목에 걸쳐 다중 작업 지식을 평가합니다.
MMLU-Pro (2024) - MMLU를 계승한 더 어렵고 판별력 높은 벤치마크입니다.
GPQA - 대학원 수준 질의응답을 이용한, “Google로 답을 찾기 어려운” 추론 평가입니다.
REFUTE (2026) - 근거에 기반한 비평, 과장 주장 탐지, 근거 누락 시 답변 거부 및 보정을 평가하는 과학적 추론 벤치마크입니다.
IFEval - 검증 가능한 지시 따르기 평가입니다.
Chatbot Arena (LMSYS) - 채팅 모델의 인간 선호도 ELO 순위표입니다.
LiveBench (2024) - 데이터 오염에 강하고 매월 갱신되는 벤치마크입니다.
LM Evaluation Harness - 언어 모델 벤치마크 평가를 위한 통합 프레임워크입니다.
MMLU-ProX (2025) - 유형론적으로 다양한 29개 언어로 MMLU-Pro를 확장했으며, 고자원 언어와 저자원 언어 사이에 최대 24.3%의 성능 격차가 있음을 보여줍니다.
MultiChallenge (2025) - 여러 차례의 대화에서 지시 따르기와 문맥 내 추론 실패가 동시에 나타나는 벤치마크로, 평가된 모든 최전선 모델이 50% 미만의 점수를 기록합니다.
FRAMES (2025) - 사실성, 검색 정확도, 문서 간 추론을 함께 요구하는 824개 다중 단계 질문으로 RAG를 통합 평가합니다.

긴 컨텍스트 평가:

Needle in a Haystack - 긴 컨텍스트 창에서 검색 능력을 확인하는 테스트입니다.
RULER (2024) - 단순 검색을 넘어서는 합성 긴 컨텍스트 작업입니다.
LongBench - 다양한 NLP 작업을 포괄하는 이중 언어 긴 컨텍스트 벤치마크입니다.
LongBench v2 (2025) - 8천~200만 단어 컨텍스트에서 심층 다중 단계 추론을 요구하는 전문가 작성 객관식 질문 503개를 포함합니다. 시간 제한 아래 인간은 53.7%를 기록합니다.
U-NIAH (2025) - 다중 바늘 및 중첩 구성을 추가해 needle-in-a-haystack을 확장합니다. RAG가 소형 LLM의 중간 정보 손실을 완화하지만 추론 모델의 성능은 저하시킴을 보여줍니다.

추론 및 테스트 시점 연산

2024~2026년의 주요 흐름은 명시적 추론 과정을 생성하고 추가 추론 연산의 이점을 얻는 모델입니다.

Chain-of-Thought Prompting - 중간 추론 단계를 통해 성능이 향상됨을 보인 기반 연구입니다.
Self-Consistency - 샘플링한 CoT 체인에서 다수결을 적용합니다.
Tree of Thoughts - 추론 트리에서 탐색합니다.
Self-Refine 및 Reflexion - 추론 시점에 자기 교정을 수행합니다.
Large Language Models are Zero-Shot Reasoners - NLP 추론 작업에 연쇄 사고를 적용합니다.
Let’s Verify Step by Step - 추론을 위한 과정 감독 보상 모델입니다.
DeepSeek-R1 (2025) - 순수 RL로 학습한 공개 추론 모델로, o1 스타일 동작을 공개 방식으로 재현했습니다.
OpenAI o1 / o3 (2024-2025) - 테스트 시점 연산을 사용하는 추론 시스템입니다.
Scaling LLM Test-Time Compute Optimally (2024) - 추론 시점 연산 절충을 체계적으로 연구합니다.
s1: Simple Test-Time Scaling (2025) - 예산 강제 기법을 이용한 소형 공개 추론 모델 학습 방법입니다.
Kimi k1.5 (2025) - 정책 최적화를 활용한 긴 컨텍스트 RL(MCTS 및 PRM 없음)로 o1 수준에 도달했으며, 장문 CoT를 단문 CoT 모델로 증류하는 방법을 도입합니다.
rStar-Math (2025) - MCTS 롤아웃으로 학습한 과정 선호도 모델과 소형 정책 모델을 결합합니다. 대형 모델에서 증류하지 않고도 소형 언어 모델이 추론 능력을 부트스트랩할 수 있습니다.
DAPO (2025) - 클리핑 분리, 동적 샘플링, 토큰 수준 손실, 엔트로피 보너스의 네 가지 개선을 적용한 공개 GRPO 기반 RL 학습 시스템입니다. DeepSeek-R1-Zero 수준의 추론을 재현하고 능가합니다.
VAPO (2025) - 길이에 적응하는 GAE와 토큰 수준 클리핑을 사용하는 가치 모델 기반 RL입니다. 안정적인 학습으로 AIME 2024에서 가치 함수가 없는 GRPO 방법을 능가합니다.
ThinkPRM (2025) - 단계별 연쇄 사고 검증을 생성하는 생성형 과정 보상 모델로, 감독 레이블 1%만으로 판별형 PRM에 필적합니다.
OpenThoughts (2025) - 공개 추론 모델의 데이터 구성 방법을 1,000회 이상 통제 실험으로 연구했으며, AIME 2025에서 비공개 증류 기준 모델에 필적하는 최신 성능을 보입니다.

긴 컨텍스트 및 대안 아키텍처

Mamba 및 Mamba-2 - 어텐션을 대체하는 선형 시간의 긴 컨텍스트 처리를 위한 선택적 상태 공간 모델입니다.
RWKV - 대규모 매개변수로 확장되는 RNN-Transformer 하이브리드입니다.
Jamba (2024) - Mamba, Transformer, MoE를 결합한 하이브리드 아키텍처입니다.
RoPE 및 YaRN - 회전 위치 임베딩 및 컨텍스트 길이 확장 기법입니다.
Position Interpolation - 최소한의 미세 조정으로 컨텍스트 창을 확장합니다.
Lost in the Middle - NLP 작업에서 긴 컨텍스트가 저하되는 패턴을 다룹니다.
RAG vs Long-Context LLMs (2024) - 긴 입력에 대한 질의응답에서 두 방법의 절충점을 비교합니다.
Titans: Learning to Memorize at Test Time (2025) - 테스트 시점에 과거 문맥을 기억하도록 학습하는 신경망 장기 기억 모듈입니다. 200만 토큰 이상으로 확장되며 언어 모델링과 추론에서 Transformer 및 최신 선형 순환 모델을 능가합니다.
MiniMax-01 (2025) - 선형 번개 어텐션과 희소 softmax 어텐션을 결합한 4,560억 매개변수 하이브리드입니다. 최대 400만 토큰 추론 컨텍스트에서 GPT-4o 수준의 NLP 성능을 냅니다.
Native Sparse Attention (NSA) (2025) - 거친 압축과 세밀한 선택을 결합한 학습 가능한 희소 어텐션입니다. 64K에서 NLP 벤치마크 성능 저하 없이 큰 속도 향상을 보입니다.
LongRoPE2 (2025) - 고주파 RoPE 차원의 학습 부족을 확인하고 진화 탐색 재조정을 적용합니다. Meta의 방법보다 학습 토큰을 80배 적게 사용해 LLaMA3-8B의 컨텍스트를 128K까지 확장합니다.
Characterizing SSM and Hybrid LM Long-Context Performance (2025) - 최대 220K 토큰에서 Transformer, SSM, 하이브리드 모델의 메모리와 속도를 처음으로 종합 분석합니다. SSM은 최대 4배 빠르고 하이브리드는 재현율과 효율의 균형을 이룹니다.

사실성, 환각 및 보정

Survey of Hallucination in Natural Language Generation - 분류 체계와 완화 전략을 다룹니다.
TruthfulQA - 질의응답의 진실성을 측정하는 벤치마크입니다.
FActScore - 장문 생성에서 세밀한 사실 정확도를 측정합니다.
LongFact / SAFE (2024) - 장문 사실성 벤치마크이자 검색 증강 평가기입니다.
SelfCheckGPT - 샘플링 기반 환각 탐지입니다.
RAGAS - RAG 및 질의응답 파이프라인을 위한 참조 자료 없는 평가입니다.
Lookback Lens (2024) - 어텐션 패턴 기반 긴 컨텍스트 생성 환각 탐지입니다.
Calibration of LLMs on Multiple Choice (2024) - 형식 효과에 따른 보정 분석입니다.
HalluLens (2025) - 내재적/외재적 분류 체계와 데이터 누출 방지를 위한 동적 테스트 세트 재생성을 적용한 환각 벤치마크입니다.
Atomic Calibration (2025) - 장문 생성에서 주장 단위 보정을 분석하며, 모델은 단일 주장보다 긴 출력에서 보정 성능이 크게 낮습니다.
FRANQ (2025) - RAG 사실 확인을 위한 충실도 인식 불확실성 정량화 방법으로, 충실도와 사실성을 형식적으로 구분합니다.
MUCH (2025) - 영어, 프랑스어, 스페인어, 독일어의 다국어 주장 환각 벤치마크이며, 원칙적인 불확실성 정량화 평가를 위해 토큰 수준 로짓을 공개합니다.
HalluHard (2026) - 인용이 필요한 응답을 위한 어려운 다중 턴 환각 벤치마크입니다. 웹 검색을 사용해도 환각률은 약 30%에 머뭅니다.
CURE: Think Through Uncertainty (2026) - 생성 전에 주장 단위 불확실성을 추론하도록 모델을 학습시키며, 전기적 사실성과 FactBench AUROC에서 큰 개선을 보입니다.

프로빙 및 해석 가능성

A Primer in BERTology - BERT가 언어에 관해 학습하는 내용을 다룹니다.
Probing Classifiers (Belinkov) - 방법론, 한계 및 대안을 설명합니다.
Locating and Editing Factual Associations in GPT (ROME) - 사실 회상의 인과 추적 방법입니다.
The Pyramid of NLP Probes - 언어 지식을 위한 구조적 프로빙입니다.
Toy Models of Superposition - Transformer 표상에 대한 희소 특징 관점의 기반입니다.
Towards Monosemanticity / Scaling Monosemanticity (Anthropic, 2024) - 운영 규모 언어 모델에서 해석 가능한 특징을 추출하는 희소 오토인코더입니다.
Sparse Autoencoders Find Highly Interpretable Features - 언어 모델 해석 가능성을 위한 SAE 방법론입니다.
Neuronpedia - 여러 모델의 SAE 특징을 살펴보는 공개 플랫폼입니다.
Influence Functions Scale to LLMs (2023) - 모델 동작을 좌우하는 학습 예제를 식별합니다.
Circuit Tracing: Revealing Computational Graphs in Language Models (Anthropic, 2025) - 계층 간 트랜스코더와 기여도 그래프를 도입해 해석 가능한 대체 모델을 구성하고, 프롬프트 수준에서 특징 간 인과 상호작용을 추적합니다.
On the Biology of a Large Language Model (Anthropic, 2025) - Claude 3.5 Haiku에 기여도 그래프를 적용해 다중 단계 추론, 운율 계획, 탈옥 사례를 연구합니다.
Transcoders Beat Sparse Autoencoders for Interpretability (2025) - 입력에서 계층 출력을 재구성하는 트랜스코더가 SAE보다 해석 가능한 특징을 제공함을 보이고, 스킵 트랜스코더를 소개합니다.
Survey on Sparse Autoencoders for LLM Interpretability (EMNLP 2025) - SAE 아키텍처, 학습 전략, 특징 설명 및 평가에 관한 주요 개관 논문입니다.
Finding Highly Interpretable Prompt-Specific Circuits (2026) - 작업별이 아닌 프롬프트별 회로를 식별하고 프롬프트 계열에 따른 메커니즘 군집을 드러냅니다.

효율적인 소형 언어 모델

증류 및 소형 모델:

DistilBERT 및 MiniLM - 운영 환경의 NLP에 적합한 증류 인코더입니다.
Phi-3 / Phi-4 (Microsoft, 2024) - 선별된 데이터로 학습한 소형 모델로, NLP 벤치마크에서 훨씬 큰 모델에 필적합니다.
SmolLM2 (HuggingFace, 2025) - 재현 가능한 학습 데이터를 갖춘 완전 공개 소형 언어 모델 계열입니다.
SmolLM3 (HuggingFace, 2025) - 128K 컨텍스트를 위해 NoPE 및 YaRN을 적용하고 11.2조 토큰으로 사전 학습한 30억 매개변수 완전 공개 디코더로, 40억 매개변수급 모델에 필적합니다.
Gemma 3 Technical Report (Google, 2025) - 128K 컨텍스트에서 KV 캐시를 감당할 수 있도록 높은 로컬 대 전역 어텐션 비율을 사용하는 10억~270억 매개변수 공개 모델입니다.
Qwen3 Technical Report (Alibaba, 2025) - 0.6B~235B의 밀집형 및 MoE 모델에 사고/비사고 모드를 통합했습니다. 30B-A3B MoE는 30억 매개변수만 활성화하면서 더 큰 밀집 모델에 필적합니다.
Apple Intelligence Foundation Language Models (Apple, 2025) - KV 캐시 공유와 2비트 QAT를 사용해 정확도 손실 없이 캐시 메모리를 37.5% 줄인 온디바이스 30억 매개변수 모델입니다.
Sentence-Transformers - 샴 BERT를 사용한 문장 및 단락 임베딩입니다.
SetFit - 프롬프트 없이 소수 예제로 텍스트를 분류합니다.
FastFit - 다중 클래스 환경을 위한 빠른 소수 예제 분류입니다.
GTE, BGE, 및 Stella - MTEB 최상위권에 근접한 소형 텍스트 임베딩 모델입니다.

양자화 및 서빙(대규모로 NLP 모델을 배포할 때 유용):

GPTQ - Transformer를 위한 사후 학습 양자화입니다.
AWQ - 활성화 인식 가중치 양자화입니다.
KVTuner (ICML 2025) - 민감도를 고려한 계층별 혼합 정밀도 KV 캐시 양자화로, 균일한 KV8보다 처리량을 최대 21% 높입니다.
GGUF / llama.cpp - 이식 가능한 양자화 추론입니다.
vLLM - PagedAttention 기반 고처리량 언어 모델 서빙입니다.
SGLang - 구조화된 생성과 효율적인 서빙을 제공합니다.
Text Generation Inference (TGI) - Hugging Face의 운영 환경용 언어 모델 서빙 도구입니다.

매개변수 효율적 미세 조정:

LoRA 및 QLoRA - 저랭크 어댑터와 양자화 미세 조정으로, 제한된 하드웨어에서 NLP 작업에 맞게 언어 모델을 조정하는 표준 방법입니다.
DoRA (2024) - 가중치 분해 저랭크 적응입니다.
PEFT - LoRA, prefix tuning, IA3 등을 묶은 Hugging Face 라이브러리입니다.

명령어 튜닝 및 선호도 최적화

FLAN - 제로샷 학습자로 활용하는 미세 조정 언어 모델입니다.
InstructGPT - 사람의 피드백을 바탕으로 지시를 따르도록 언어 모델을 학습합니다.
Self-Instruct - 언어 모델을 이용해 지시 데이터를 부트스트랩합니다.
Super-NaturalInstructions - 지침이 포함된 1,600개 이상의 NLP 작업입니다.
Constitutional AI - 문서화된 헌법에 따라 AI가 생성한 피드백으로 언어 모델을 학습합니다.
Direct Preference Optimization - RLHF의 더 간단한 대안으로 널리 채택되었습니다.
Tülu 3 (AI2, 2024) - 공개 모델 중 최첨단 성능을 달성하는 완전 공개 후속 학습 방법입니다.
LIMA - “정렬에는 적을수록 더 좋다”는 접근으로, 작지만 품질 높은 SFT 데이터만으로도 큰 효과를 냅니다.
TRL - SFT, DPO, GRPO, RLHF를 위한 기준 라이브러리입니다.
Magpie (2024-2025) - 정렬된 언어 모델에 아무 내용도 주지 않고 프롬프트를 입력해 고품질 지시-응답 쌍을 합성합니다. 필터링된 데이터의 SFT는 공식 Llama-3-Instruct에 필적합니다.

NLP의 편향, 공정성 및 안전성

StereoSet - 사전 학습 언어 모델의 고정관념 편향을 측정합니다.
CrowS-Pairs - 마스크 언어 모델의 사회적 편향을 측정합니다.
WinoBias - 상호 참조 해결에서의 성별 편향을 다룹니다.
HolisticBias - 다양한 인구통계 축에 걸친 편향을 측정합니다.
RealToxicityPrompts - 언어 모델 생성의 유해성을 측정합니다.
Sycophancy in Language Models - 사용자의 신념에 맞춰 답변을 조정하는 모델을 다룹니다.
Alignment Faking in Large Language Models (Anthropic, 2024) - 학습 중 전략적으로 지시에 따르는 척하는 모델을 다룹니다.
WildGuard (2024) - 공개 안전성 조정 모델 및 벤치마크입니다.
Emergent Misalignment (2025) - 안전하지 않은 코드와 같은 좁은 작업으로 미세 조정했을 때 관련 없는 여러 영역에서 예상치 못한 광범위한 정렬 실패가 발생합니다.
SafeDialBench (2025) - 22개 시나리오와 7개 탈옥 전략을 다루는 4,000개 이상의 다중 턴 대화를 포함한 중국어/영어 다국어 안전성 벤치마크입니다.
TeleAI-Safety (2025) - 14개 모델과 12개 위험 범주에 걸쳐 19개 공격, 29개 방어, 19개 평가 방법을 통합한 모듈형 탈옥 평가 프레임워크입니다.
IndicSafe (2026) - 12개 인도계 언어의 다국어 안전성 벤치마크입니다. 언어 간 일치율이 12.8%에 불과하고 저자원 문자 체계에서 과도한 거부가 나타남을 보입니다.
VLAF: Value-Conflict Alignment Faking (2026) - 정책이 내재화된 가치와 충돌할 때 70억 매개변수 모델에서도 37%의 경우 정렬 속임이 발생하며, 조향 벡터 완화로 이를 94% 줄입니다.

언어별 NLP

맨 위로

사람이 사용하는 언어별로 리소스를 정리했습니다. 섹션을 눌러 펼치세요.

아랍어 NLP

맨 위로

라이브러리

CAMeL Tools - 방언 식별, 형태론, NER을 포함하는 아랍어 NLP용 Python 도구 모음입니다.
goarabic - 아랍어 텍스트 처리를 위한 Go 패키지입니다.
jsastem - JavaScript 아랍어 어간 추출기입니다.
PyArabic - 아랍어용 Python 라이브러리입니다.
RFTokenizer - 아랍어, 히브리어 및 콥트어용 학습 가능한 분할기입니다.
Farasa - QCRI의 아랍어 분할, 품사 태깅 및 NER 도구입니다.

모델 및 임베딩

AraBERT - 아랍어 BERT 계열입니다.
CAMeLBERT - 현대 표준 아랍어(MSA), 방언 및 고전 아랍어용 BERT 모델입니다.
AraELECTRA - 효율적인 아랍어 사전 학습 모델이며 AraBERT와 함께 공개되었습니다.
Jais (2023-2024) - 아랍어와 영어를 지원하는 공개 이중 언어 모델 계열입니다.
ALLaM (SDAIA, 2024) - 아랍어 우선 기반 모델입니다.

데이터셋

Multidomain Datasets - 현재 이용 가능한 최대 규모의 다중 도메인 아랍어 감성 분석 자료입니다.
LABR - 대규모 아랍어 도서 리뷰 데이터셋입니다.
Arabic Stopwords - 여러 자료를 통합한 아랍어 불용어 목록입니다.
ArabicMMLU (2024) - 아랍어 MMLU 벤치마크입니다.

중국어 NLP

맨 위로

라이브러리

jieba - 중국어 단어 분할을 위한 Python 패키지입니다.
SnowNLP - 중국어 NLP용 Python 패키지입니다.
FudanNLP - 중국어 텍스트 처리를 위한 Java 라이브러리입니다.
HanLP - 중국어 지원이 강력한 다국어 NLP 라이브러리입니다.
LTP - HIT 언어 기술 플랫폼으로, 분할, 품사 태깅, NER 및 파싱을 제공합니다.

모델 및 임베딩

Chinese-BERT-wwm - 중국어용 전체 단어 마스킹 BERT입니다.
MacBERT - MLM을 교정으로 활용하는 사전 학습을 적용한 개선된 중국어 BERT입니다.
Qwen 2.5 / Qwen 3 - 중국어 성능이 뛰어난 Alibaba의 공개 언어 모델 계열입니다.
ChatGLM3 / GLM-4 - Tsinghua의 중국어-영어 이중 언어 언어 모델입니다.
Baichuan 2 - 공개 중국어 언어 모델입니다.
Yi - 01.AI의 공개 이중 언어 모델입니다.
DeepSeek-V3 - 중국어 성능이 뛰어난 효율적인 공개 MoE 모델입니다.

논문집

funNLP - 중국어 NLP 도구와 자료의 대규모 모음입니다.

덴마크어 NLP

맨 위로

Named Entity Recognition for Danish
DaNLP - 덴마크어 NLP 자료입니다.
Awesome Danish - 덴마크어 언어 기술 자료를 엄선한 목록입니다.

네덜란드어 NLP

맨 위로

python-frog - 품사 태깅, 표제어 추출, 의존 구문 분석, NER을 지원하는 네덜란드어 NLP 제품군 Frog의 Python 바인딩입니다.
SimpleNLG_NL - SimpleNLG 구현에 기반한 네덜란드어 자연어 생성 표층 실현기입니다.
Alpino - 네덜란드어 의존 구문 분석기이며 품사 태깅과 표제어 추출도 수행합니다.
Kaldi NL - Kaldi 기반 네덜란드어 음성 인식 모델입니다.
spaCy Dutch model - 네덜란드어 파이프라인을 갖춘 산업용 NLP 모델입니다.

독일어 NLP

맨 위로

German-NLP - 독일어에 중점을 두고 개발된 오픈 액세스, 오픈 소스 및 즉시 사용 가능한 자료와 도구를 엄선한 목록입니다.

헝가리어 NLP

맨 위로

awesome-hungarian-nlp - 헝가리어 NLP 무료 자료를 엄선한 목록입니다.

인도계 언어 NLP

맨 위로

데이터, 코퍼스 및 트리뱅크

Hindi Dependency Treebank - 힌디어와 우르두어를 위한 다중 표상·다층 트리뱅크입니다.
Universal Dependencies Treebank in Hindi
- Parallel Universal Dependencies Treebank in Hindi - 위 트리뱅크의 소규모 하위 집합입니다.
ISI FIRE Stopwords List (Hindi and Bangla)
Peter Graham’s Stopwords List
NLTK Corpus 벵골어, 힌디어, 마라티어, 텔루구어의 품사 태그가 지정된 6만 단어입니다.
Hindi Movie Reviews Dataset 약 1,000개 샘플과 3개 극성 클래스입니다.
BBC News Hindi Dataset 4,300개 샘플과 14개 클래스입니다.
IIT Patna Hindi ABSA Dataset 5,400개 샘플, 12개 도메인, 4,000개 측면 용어를 포함하며 측면 및 문장 수준 극성을 4개 클래스로 분류합니다.
Bangla ABSA 5,500개 샘플, 2개 도메인, 10개 측면 용어입니다.
IIT Patna Movie Review Sentiment Dataset 2,000개 샘플과 3개 극성 레이블입니다.

로그인/접근 권한이 필요한 코퍼스/데이터셋은 이메일로 신청할 수 있습니다

SAIL 2015 힌디어, 벵골어, 타밀어, 텔루구어의 Twitter 및 Facebook 감성 레이블 샘플입니다.
IIT Bombay CFILT Resources - Sentiwordnet, 병렬 레이블 말뭉치, 의미 주석 말뭉치 및 마라티어 극성 레이블 말뭉치입니다.
TDIL-IC는 유용한 자료를 다수 통합하고 일반적으로 접근이 제한된 데이터셋에 대한 접근을 제공합니다

언어 모델 및 단어 임베딩

Hindi2Vec 및 nlp-for-hindi ULMFiT 스타일 언어 모델입니다.
IIT Patna Bilingual Word Embeddings Hi-En
Common Crawl에서 학습한 다양한 언어의 FastText 단어 임베딩
Hindi and Bengali Word2Vec
Hindi and Urdu Elmo Model
Sanskrit Albert 산스크리트어 Wikipedia 및 OSCAR 말뭉치로 학습했습니다.

라이브러리 및 도구

Multi-Task Deep Morphological Analyzer - 힌디어와 우르두어용 심층 형태소 분석기입니다.
Indic NLP Library - 18개 인도계 언어에서 토큰화, 음역 및 기계 번역 보조 기능을 제공합니다.
SivaReddy’s Dependency Parser (Python3 port) - 칸나다어, 힌디어, 텔루구어의 의존 구문 분석 및 품사 태깅을 수행합니다.
iNLTK - PyTorch/Fastai 기반 인도계 언어 NLP 도구 모음입니다.
AI4Bharat IndicNLP Suite - 22개 인도계 언어의 도구, 데이터셋 및 모델입니다.

모델 및 임베딩

IndicBERT v2 (2022-2024) - 23개 인도계 언어용 다국어 BERT입니다.
IndicTrans2 (2023-2024) - 22개 인도계 언어의 고품질 기계 번역입니다.
OpenHathi (Sarvam AI, 2023) - 힌디어-영어 이중 언어 LLaMA 연속 사전 학습 모델입니다.
Airavata (2024) - 지시 튜닝된 힌디어 LLM입니다.
Sarvam-1 (2024) - 10개 인도계 언어로 처음부터 학습한 다국어 언어 모델입니다.
BharatGPT / Krutrim (2024) - 인도계 언어 중심 기반 모델입니다.

인도네시아어 NLP

맨 위로

라이브러리 및 임베딩

bahasa - 인도네시아어 자연어 처리 도구 모음입니다.
Indonesian Word Embedding
Indonesian fastText Wikipedia로 학습한 모델입니다.
PySastrawi - Sastrawi 어간 추출 알고리즘에 기반한 인도네시아어용 Python 어간 추출기입니다.

모델

IndoBERT (IndoNLU) - IndoNLU 벤치마크 제품군과 함께 제공되는 사전 학습 인도네시아어 언어 모델입니다.
IndoBERT (IndoLEM) - IndoLEM 벤치마크를 사용하는 또 다른 IndoBERT입니다.
NusaCrowd / Cendol (2023-2024) - 인도네시아어 및 지역 언어를 위한 대규모 커뮤니티 데이터셋과 Cendol 지시 튜닝 언어 모델입니다.
Sailor - 인도네시아어를 포함하는 공개 동남아시아 언어 모델입니다.
SEA-LION (2024) - 인도네시아어 성능이 뛰어난 Singapore AI의 공개 동남아시아 언어 모델입니다.

데이터셋

Kompas 및 Tempo 모음은 ILPS에서 제공됩니다.
PANL10N for PoS tagging: 3만 9천 문장과 90만 단어 토큰입니다.
IDN for PoS tagging: 1만 문장과 25만 단어 토큰입니다.
Indonesian Treebank and Universal Dependencies-Indonesian
IndoSum - 텍스트 요약 및 분류 데이터셋입니다.
Wordnet-Bahasa - 대규모 무료 의미 사전입니다.
SEACrowd - 동남아시아 NLP를 위한 표준화된 데이터셋과 벤치마크를 제공하는 다국어·멀티모달 데이터 허브입니다(EMNLP 2024).

한국어 NLP

맨 위로

라이브러리

KoNLPy - 한국어 자연어 처리를 위한 Python 패키지입니다.
Mecab (Korean) - 한국어 NLP용 C++ 라이브러리입니다.
KoalaNLP - 한국어 NLP용 Scala 라이브러리입니다.
KoNLP - 한국어 NLP용 R 패키지입니다.
kss - 한국어 문장 분리기입니다.
Kiwi - 빠른 한국어 형태소 분석기입니다.
Garu - WebAssembly를 통해 클라이언트 측에서 완전히 실행되는 브라우저 내장 한국어 형태소 분석기입니다(1MB 모델, 오프라인, MIT 라이선스).

모델 및 임베딩

KoBERT - SKT의 한국어 BERT입니다.
KLUE-RoBERTa - KLUE 벤치마크로 학습한 모델입니다.
Polyglot-Ko - 공개 한국어 언어 모델입니다.
EXAONE 3.5 (LG, 2024) - 한국어-영어 이중 언어 공개 언어 모델 계열입니다.
HyperCLOVA X - Naver의 한국어 기반 모델입니다.

블로그 및 튜토리얼

데이터셋

KAIST Corpus - 한국과학기술원에서 제공하는 한국어 말뭉치입니다.
Naver Sentiment Movie Corpus in Korean
Chosun Ilbo archive - 한국의 주요 신문에서 제공하는 한국어 데이터셋입니다.
Chat data - 한국어 챗봇 데이터입니다.
Petitions - 청와대 국민청원 사이트의 종료된 청원 데이터입니다.
Korean Parallel corpora - 한국어-프랑스어 및 한국어-영어 신경망 기계 번역 데이터셋입니다.
KorQuAD - 위키 HTML 원문을 포함하는 한국어 SQuAD 데이터셋(v1.0 및 v2.1)입니다.

페르시아어 NLP

맨 위로

라이브러리

Hazm - 페르시아어 NLP 도구 모음입니다.
Parsivar - 페르시아어 처리 도구 모음입니다.
Perke - 페르시아어 핵심 구 추출 도구입니다.
Perstem - 페르시아어 어간 추출기, 형태소 분석기 및 부분 품사 태거입니다.
ParsiAnalyzer - Elasticsearch용 페르시아어 분석기입니다.
virastar - 페르시아어 텍스트 정리 도구입니다.

모델

ParsBERT - 페르시아어 BERT입니다.
PersianMind (2023-2024) - 지시 튜닝된 페르시아어 언어 모델입니다.
Dorna (Part AI, 2024) - Llama 3 기반 페르시아어 지시 모델입니다.

데이터셋

Bijankhan Corpus - 페르시아어 NLP 연구에 적합한 태그 말뭉치로, 40개 품사 태그에 걸친 수작업 태깅 단어 약 260만 개를 포함합니다.
Uppsala Persian Corpus (UPC) - 품사 태그 31개가 주석된 270만 토큰 규모의 대규모 무료 페르시아어 말뭉치입니다.
Large-Scale Colloquial Persian - LSCP: 2,700만 개의 일상 페르시아어 트윗에서 추출한 1억 2천만 문장에 의존 구문, 품사 및 감성 주석을 포함합니다.
ArmanPersoNERCorpus - IOB 형식의 NER 태그가 포함된 7,682개 문장, 25만 토큰입니다.
FarsiYar PersianNER - Persian Wikipedia Corpus에서 추출한 페르시아어 문장 약 100만 개, 토큰 약 2,500만 개입니다.
PERLEX - 관계 추출을 위한 최초의 페르시아어 데이터셋입니다(SemEval-2010 Task 8 번역본).
Persian Syntactic Dependency Treebank - 페르시아어 결합가 사전의 동사 대부분을 포괄하는 주석 문장 29,982개입니다.
Uppsala Persian Dependency Treebank (UPDT) - 의존 구문 기반으로 주석된 말뭉치입니다.
Hamshahri - CLEF 2008~2009에서 사용된 표준적이고 신뢰할 수 있는 페르시아어 텍스트 모음입니다.

폴란드어 NLP

맨 위로

Polish-NLP - 모델, 도구 및 데이터셋 등 폴란드어 NLP 자료를 엄선한 목록입니다.

포르투갈어 NLP

맨 위로

Portuguese-nlp - 포르투갈어 NLP 자료와 도구를 엄선한 목록입니다.

모델

BERTimbau - 브라질 포르투갈어용 BERT입니다.
Sabiá (Maritaca AI, 2023-2024) - 포르투갈어 중심 공개 언어 모델입니다.
Albertina (PORTULAN, 2023-2024) - 유럽 포르투갈어(PT-PT)와 브라질 포르투갈어(PT-BR)를 모두 지원하는 인코더 전용 언어 모델입니다.

스페인어 NLP

맨 위로

라이브러리

spanlp - 스페인어 욕설, 혐오 발언 및 괴롭힘을 탐지·검열·정리하는 Python 라이브러리로, 스페인어 사용 21개국의 데이터를 사용합니다.

데이터

모델 및 임베딩

BETO - 스페인어용 BERT입니다.
RoBERTa-bne - 스페인 국립도서관 말뭉치로 학습한 스페인어 RoBERTa입니다.
Latxa (2024) - 스페인어도 지원하는 바스크어용 공개 기반 언어 모델입니다.
Salamandra (BSC, 2024) - Barcelona Supercomputing Center의 다국어 언어 모델로, 스페인어 지원이 강력합니다.
RigoChat (2024) - 스페인어 지시 튜닝 공개 모델입니다.
Spanish Word Embeddings (multiple methods/corpora)
Spanish fastText Embeddings
Spanish sent2vec Sentence Embeddings

태국어 NLP

맨 위로

라이브러리

PyThaiNLP - Python용 태국어 NLP입니다.
JTCC - Java 문자 클러스터 라이브러리입니다.
CutKum - TensorFlow 딥러닝을 사용한 단어 분할 도구입니다.
Thai Language Toolkit - 토큰화 및 품사 태깅을 제공합니다.
SynThai - 딥러닝을 사용한 단어 분할 및 품사 태깅입니다.

모델

WangchanBERTa - 사전 학습 태국어 언어 모델입니다.
Typhoon (SCB 10X, 2024) - 공개 태국어 LLM 계열입니다.
OpenThaiGPT (2023-2024) - 공개 태국어 지시 튜닝 모델입니다.
Sailor - 태국어를 포괄하는 공개 동남아시아 언어 모델 계열입니다.

데이터

Inter-BEST - 500만 단어와 단어 분할 정보를 포함하는 텍스트 말뭉치입니다.
Prime Minister 29 - 태국 현 총리의 연설 데이터셋입니다.

우크라이나어 NLP

맨 위로

awesome-ukrainian-nlp - 우크라이나어 NLP 데이터셋, 모델 등을 엄선한 목록입니다.
UkrainianLT - 기계 번역과 음성 처리에 중점을 둔 엄선 목록입니다.

우르두어 NLP

맨 위로

라이브러리

urduhack - 우르두어 NLP 라이브러리입니다.

데이터셋

우르두어 데이터셋 모음 - 품사 태깅, NER 및 기타 NLP 작업을 위한 자료입니다.

우즈베크어 NLP

맨 위로

데이터셋

SOAS English-Uzbek RAG Evaluation - 문화적 맥락을 반영한 RAG를 위한 이중 언어 검색 평가 벤치마크입니다. 400개 행, 영어+우즈베크어, MIT/CC-BY-4.0 라이선스입니다.

베트남어 NLP

맨 위로

라이브러리

underthesea - 베트남어 NLP 도구 모음입니다.
vn.vitk - 베트남어 텍스트 처리 도구 모음입니다.
VnCoreNLP - 베트남어 NLP 도구 모음입니다.
pyvi - 핵심 베트남어 NLP 기능을 제공하는 Python 도구 모음입니다.
VieNeu-TTS - 음성 복제를 지원하는 온디바이스 베트남어 텍스트 음성 변환입니다.

모델 및 임베딩

PhoBERT - 베트남어 사전 학습 언어 모델입니다.
BARTpho - 베트남어 seq2seq 사전 학습 모델입니다.
PhoGPT (VinAI, 2023-2024) - 베트남어 공개 생성형 언어 모델입니다.
Vistral (2024) - Mistral 기반 베트남어 채팅 모델입니다.
Sailor (2024) - 베트남어, 태국어, 인도네시아어 및 기타 동남아시아 언어를 포괄하는 공개 다국어 언어 모델 계열입니다.

데이터

Vietnamese Treebank - 구구조 분석 작업을 위한 1만 문장입니다.
BKTreeBank - 베트남어 의존 구문 트리뱅크입니다.
UD_Vietnamese - 베트남어 Universal Dependencies 트리뱅크입니다.
VIVOS - 15시간 녹음 음성을 포함하는 무료 베트남어 음성 말뭉치(HCMUS AILab)입니다.
VNTQcorpus(big).txt - 뉴스 문장 175만 개입니다.
ViText2SQL - 베트남어 Text-to-SQL 의미 파싱 데이터셋(EMNLP-2020 Findings)입니다.
EVB Corpus - 이중 언어 도서 15권의 2,000만 단어, 영어-베트남어 병렬 텍스트 100개, 병렬 법률 텍스트 250개, 뉴스 기사 5,000개, 영화 자막 2,000개를 포함합니다.

기타 언어

러시아어: pymorphy2 - 러시아어 품사 태거로 유용합니다.
아시아 언어: 태국어, 라오어, 중국어, 일본어 및 한국어를 위한 ElasticSearch의 ICU Tokenizer 구현입니다.
고대 언어: CLTK - Classical Language Toolkit은 고대 언어 NLP용 Python 라이브러리이자 텍스트 모음입니다.
히브리어: NLPH_Resources - 히브리어 NLP 논문, 말뭉치 및 언어 자료 모음입니다.

맨 위로

인용

이 저장소가 유용하다면 이 목록을 인용해 주세요:

@misc{awesome-nlp,
  title  = {Awesome NLP},
  author = {Kim, Keon Woo},
  year   = {2018},
  url    = {https://github.com/keon/awesome-nlp},
  note   = {GitHub repository}
}

라이선스

라이선스 - CC0

HagiCode

HagiCode는 에이전트 코딩 작업 공간입니다. 풍부하고 편리한 UI 상호작용으로 계획 수립, 에이전트 실행, 프로젝트 작업을 쉽게 시작하고 따라가며 개발을 더 흥미로운 경험으로 만듭니다.

풍부하고 편리한 UI 상호작용으로 계획부터 프로젝트 작업까지 쉽게 따라갈 수 있습니다.

HagiCode 방문 문서 읽기

스마트OpenSpec 워크플로는 의도를 제안, 설계, 작업을 거쳐 배포까지 이어지는 실행 가능한 경로로 바꿉니다.
효율적다중 에이전트 실행으로 조사, 구현, 검토를 병렬로 진행하며 여러 저장소와 익숙한 Agent CLI를 지원합니다.
흥미로운풍부하고 편리한 UI 상호작용으로 계획 수립, 에이전트 실행, 프로젝트 작업을 쉽게 시작하고 따라갈 수 있습니다.

Windows용 다운로드

Microsoft Store에서 받기

모든 다운로드

HagiCode는 풍부하고 편리한 UI 상호작용으로 계획 수립, 에이전트 실행, 프로젝트 작업을 쉽게 시작하고 따라갈 수 있게 합니다: https://www.hagicode.com/

아이디어를 실제로 배포되는 소프트웨어로.

HagiCode는 에이전트 코딩 작업 공간입니다. OpenSpec 워크플로로 변경을 계획하고, 다중 에이전트 실행으로 진행하며, Hero Scenario로 긴 작업의 진행 상황을 한눈에 보여 아이디어를 실제로 배포되는 소프트웨어로 만듭니다.

HagiCode 다운로드 제품 문서

스마트: OpenSpec 워크플로는 의도를 제안부터 배포까지 이어지는 실행 가능한 경로로 바꿉니다.
효율적: 다중 에이전트 실행으로 조사, 구현, 검토를 병렬로 진행합니다.
즐거운: 편리한 UI 상호작용으로 계획, 에이전트 실행, 프로젝트 작업을 쉽게 따라갈 수 있습니다.

NLP

awesome-nlp

범위

목차

연구 요약 및 동향

주요 역사적 성과

주요 NLP 연구소

튜토리얼

읽을거리

동영상 및 온라인 강좌

도서

라이브러리

서비스

주석 도구

작업 및 방법

텍스트 임베딩

토큰화, 형태론 및 분할

품사 태깅 및 의존 구문 분석

개체명 인식 및 정보 추출

상호 참조 해결

텍스트 분류 및 감성 분석

토픽 모델링

요약

기계 번역

질의응답 및 독해

개체명 인식 그 이상의 정보 추출

검색 및 임베딩

음성 및 텍스트

데이터셋

다국어 NLP 프레임워크

NLP 언어 모델

사전 학습 및 적응

다국어 및 언어 간 모델

평가 및 벤치마크

추론 및 테스트 시점 연산

긴 컨텍스트 및 대안 아키텍처

사실성, 환각 및 보정

프로빙 및 해석 가능성

효율적인 소형 언어 모델

명령어 튜닝 및 선호도 최적화

NLP의 편향, 공정성 및 안전성

언어별 NLP

아랍어 NLP

라이브러리

모델 및 임베딩

데이터셋

중국어 NLP

라이브러리

모델 및 임베딩

논문집

덴마크어 NLP

네덜란드어 NLP

독일어 NLP

헝가리어 NLP

인도계 언어 NLP

데이터, 코퍼스 및 트리뱅크

로그인/접근 권한이 필요한 코퍼스/데이터셋은 이메일로 신청할 수 있습니다

언어 모델 및 단어 임베딩

라이브러리 및 도구

모델 및 임베딩

인도네시아어 NLP

라이브러리 및 임베딩

모델

데이터셋

한국어 NLP

라이브러리

모델 및 임베딩

블로그 및 튜토리얼

데이터셋

페르시아어 NLP

라이브러리

모델

데이터셋

폴란드어 NLP

포르투갈어 NLP

모델

스페인어 NLP

라이브러리

데이터

모델 및 임베딩