콘텐츠로 이동

언어 선택

현재 언어: 한국어

AutoML Papers

Source: https://github.com/hibayesian/awesome-automl-papers at 0317821496b4
License: Apache-2.0
Read the English original

This edition is an AI-assisted translation.

Awesome-AutoML-Papers는 자동 머신러닝 분야의 논문, 기사, 튜토리얼, 슬라이드 및 프로젝트를 엄선해 모은 목록입니다. 이 저장소에 Star를 눌러 빠르게 발전하는 연구 분야의 최신 동향을 확인하세요. 프로젝트에 기여해 주신 모든 분께 감사드립니다. 함께 참여해 기여해 주세요.

자동 머신러닝(AutoML)은 머신러닝 비전문가도 머신러닝을 활용하고 효율성을 높이며 머신러닝 연구를 가속할 수 있도록 방법과 프로세스를 제공합니다.

머신러닝(ML)은 최근 상당한 성과를 거두었고 점점 더 많은 분야가 이를 활용합니다. 그러나 이러한 성과는 다음 작업을 수행하는 머신러닝 전문가에게 크게 의존합니다.

  • 데이터를 전처리합니다,
  • 적절한 특성을 선택합니다,
  • 적절한 모델 계열을 선택합니다,
  • 모델 하이퍼파라미터를 최적화합니다,
  • 머신러닝 모델을 후처리합니다,
  • 결과를 비판적으로 분석합니다,

이 작업들은 ML 비전문가에게 복잡한 경우가 많습니다. 머신러닝 애플리케이션이 빠르게 늘면서 전문 지식 없이도 쉽게 사용할 수 있는 기성 머신러닝 방법에 대한 수요가 생겼습니다. 머신러닝의 점진적 자동화를 목표로 하는 연구 분야를 AutoML이라 합니다. 머신러닝의 새로운 하위 분야인 AutoML은 머신러닝뿐 아니라 컴퓨터 비전, 자연어 처리, 그래프 컴퓨팅 분야에서도 주목받고 있습니다.

AutoML의 공식적인 정의는 없습니다. 대부분 논문의 설명을 바탕으로 하면 AutoML의 기본 절차는 다음과 같습니다.

AutoML 접근법은 머신러닝 전문가와 경쟁하고 때로는 능가할 만큼 성숙했습니다. 간단히 말해 머신러닝 전문가는 찾기 어렵고 비용도 많이 들기 때문에 AutoML은 성능을 높이는 동시에 상당한 시간과 비용을 절약할 수 있습니다. 그 결과 최근 AutoML에 대한 상업적 관심이 크게 늘었고, 여러 대형 기술 기업과 스타트업이 자체 AutoML 시스템을 개발하고 있습니다. 아래 표는 그중 일부를 개괄적으로 비교합니다.

기업AutoFEHPONAS
4paradigm√√×
Alibaba×√×
Baidu××√
Determined AI×√√
Google√√√
DataCanvas√√√
H2O.ai√√×
Microsoft×√√
MLJAR√√√
RapidMiner√√×
Tencent×√×

Awesome-AutoML-Papers는 AutoML에 필요한 핵심 기법을 최신 내용으로 개괄합니다.

  • 자동 데이터 정제(Auto Clean)
  • 자동 특성 엔지니어링(Auto FE)
  • 하이퍼파라미터 최적화(HPO)
  • 메타 학습
  • 신경망 아키텍처 탐색(NAS)
  • 2019 | AutoML: A Survey of the State-of-the-Art | Xin He, et al. | arXiv | PDF
  • 2019 | Survey on Automated Machine Learning | Marc Zoeller, Marco F. Huber | arXiv | PDF
  • 2019 | Automated Machine Learning: State-of-The-Art and Open Challenges | Radwa Elshawi, et al. | arXiv | PDF
  • 2018 | Taking Human out of Learning Applications: A Survey on Automated Machine Learning | Quanming Yao, et al. | arXiv | PDF
  • 2020 | On Hyperparameter Optimization of Machine Learning Algorithms: Theory and Practice | Li Yang, et al. | Neurocomputing | PDF
  • 2020 | Automated Machine Learning—a brief review at the end of the early years | Escalante, H. J. | arXiv | PDF
  • 2022 | IoT Data Analytics in Dynamic Environments: From An Automated Machine Learning Perspective | Li Yang, et al. | arXiv | PDF
  • 2024 | Automated machine learning: past, present and future | Baratchi. M, et al. | Artificial Intelligence Review | Springer
  • 2022 | BERT-Sort: A Zero-shot MLM Semantic Encoder on Ordinal Features for AutoML | Mehdi Bahrami, et al. | AutoML | PDF
  • 2017 | AutoLearn — Automated Feature Generation and Selection | Ambika Kaul, et al. | ICDM | PDF
  • 2017 | One button machine for automating feature engineering in relational databases | Hoang Thanh Lam, et al. | arXiv | PDF
  • 2016 | Automating Feature Engineering | Udayan Khurana, et al. | NIPS | PDF
  • 2016 | ExploreKit: Automatic Feature Generation and Selection | Gilad Katz, et al. | ICDM | PDF
  • 2015 | Deep Feature Synthesis: Towards Automating Data Science Endeavors | James Max Kanter, Kalyan Veeramachaneni | DSAA | PDF
    • 2016 | Cognito: Automated Feature Engineering for Supervised Learning | Udayan Khurana, et al. | ICDMW | PDF
    • 2020 | AutoML Pipeline Selection: Efficiently Navigating the Combinatorial Space | Chengrun Yang, et al. | KDD | PDF
    • 2017 | Learning Feature Engineering for Classification | Fatemeh Nargesian, et al. | IJCAI | PDF
    • 2017 | Feature Engineering for Predictive Modeling using Reinforcement Learning | Udayan Khurana, et al. | arXiv | PDF
    • 2010 | Feature Selection as a One-Player Game | Romaric Gaudel, Michele Sebag | ICML | PDF
    • 2019 | Evolutionary Neural AutoML for Deep Learning | Jason Liang, et al. | GECCO | PDF
    • 2017 | Large-Scale Evolution of Image Classifiers | Esteban Real, et al. | PMLR | PDF
    • 2002 | Evolving Neural Networks through Augmenting Topologies | Kenneth O.Stanley, Risto Miikkulainen | Evolutionary Computation | PDF
    • 2017 | Simple and Efficient Architecture Search for Convolutional Neural Networks | Thomoas Elsken, et al. | ICLR | PDF
    • 2016 | Learning to Optimize | Ke Li, Jitendra Malik | arXiv | PDF
    • 2018 | AMC: AutoML for Model Compression and Acceleration on Mobile Devices | Yihui He, et al. | ECCV | PDF
    • 2018 | Efficient Neural Architecture Search via Parameter Sharing | Hieu Pham, et al. | arXiv | PDF
    • 2017 | Neural Architecture Search with Reinforcement Learning | Barret Zoph, Quoc V. Le | ICLR | PDF
    • 2017 | Learning Transferable Architectures for Scalable Image Recognition | Barret Zoph, et al. | arXiv | PDF
    • 2019 | Auto-Keras: An Efficient Neural Architecture Search System | Haifeng Jin, et al. | KDD | PDF
    • 2018 | Neural Architecture Optimization | Renqian Luo, et al. | arXiv | PDF
    • 2019 | DARTS: Differentiable Architecture Search | Hanxiao Liu, et al. | ICLR | PDF
    • 2021 | SEDONA: Search for Decoupled Neural Networks toward Greedy Block-wise Learning | Pyeon, et al. | ICLR | PDF
  • 2019 | Auptimizer — an Extensible, Open-Source Framework for Hyperparameter Tuning | Jiayi Liu, et al. | IEEE Big Data | PDF
  • 2019 | Towards modular and programmable architecture search | Renato Negrinho, et al. | NeurIPS | PDF
  • 2019 | Evolutionary Neural AutoML for Deep Learning | Jason Liang, et al. | arXiv | PDF
  • 2017 | ATM: A Distributed, Collaborative, Scalable System for Automated Machine Learning | T. Swearingen, et al. | IEEE | PDF
  • 2017 | Google Vizier: A Service for Black-Box Optimization | Daniel Golovin, et al. | KDD |PDF
  • 2015 | AutoCompete: A Framework for Machine Learning Competitions | Abhishek Thakur, et al. | ICML | PDF
    • 2020 | Bayesian Optimization of Risk Measures | NeurIPS | PDF
    • 2020 | BOTORCH: A Framework for Efficient Monte-Carlo Bayesian Optimization | NeurIPS | PDF
    • 2020 | Tuning Hyperparameters without Grad Students: Scalable and Robust Bayesian Optimisation with Dragonfly | JMLR | PDF
    • 2019 | Bayesian Optimization with Unknown Search Space | NeurIPS | PDF
    • 2019 | Constrained Bayesian optimization with noisy experiments | PDF
    • 2019 | Learning search spaces for Bayesian optimization: Another view of hyperparameter transfer learning | NeurIPS | PDF
    • 2019 | Practical Two-Step Lookahead Bayesian Optimization | NeurIPS | PDF
    • 2019 | Predictive entropy search for multi-objective bayesian optimization with constraints | PDF
    • 2018 | BOCK: Bayesian optimization with cylindrical kernels | ICML | PDF
    • 2018 | Efficient High Dimensional Bayesian Optimization with Additivity and Quadrature Fourier Features | Mojmír Mutný, et al. | NeurIPS | PDF
    • 2018 | High-Dimensional Bayesian Optimization via Additive Models with Overlapping Groups. | PMLR | PDF
    • 2018 | Maximizing acquisition functions for Bayesian optimization | NeurIPS | PDF
    • 2018 | Scalable hyperparameter transfer learning | NeurIPS | PDF
    • 2016 | Bayesian Optimization with Robust Bayesian Neural Networks | Jost Tobias Springenberg, et al. | NIPS | PDF
    • 2016 | Scalable Hyperparameter Optimization with Products of Gaussian Process Experts | Nicolas Schilling, et al. | PKDD | PDF
    • 2016 | Taking the Human Out of the Loop: A Review of Bayesian Optimization | Bobak Shahriari, et al. | IEEE | PDF
    • 2016 | Towards Automatically-Tuned Neural Networks | Hector Mendoza, et al. | JMLR | PDF
    • 2016 | Two-Stage Transfer Surrogate Model for Automatic Hyperparameter Optimization | Martin Wistuba, et al. | PKDD | PDF
    • 2015 | Efficient and Robust Automated Machine Learning | PDF
    • 2015 | Hyperparameter Optimization with Factorized Multilayer Perceptrons | Nicolas Schilling, et al. | PKDD | PDF
    • 2015 | Hyperparameter Search Space Pruning - A New Component for Sequential Model-Based Hyperparameter Optimization | Martin Wistua, et al. | PDF
    • 2015 | Joint Model Choice and Hyperparameter Optimization with Factorized Multilayer Perceptrons | Nicolas Schilling, et al. | ICTAI | PDF
    • 2015 | Learning Hyperparameter Optimization Initializations | Martin Wistuba, et al. | DSAA | PDF
    • 2015 | Scalable Bayesian optimization using deep neural networks | Jasper Snoek, et al. | ACM | PDF
    • 2015 | Sequential Model-free Hyperparameter Tuning | Martin Wistuba, et al. | ICDM | PDF
    • 2013 | Auto-WEKA: Combined Selection and Hyperparameter Optimization of Classification Algorithms | PDF
    • 2013 | Making a Science of Model Search: Hyperparameter Optimization in Hundreds of Dimensions for Vision Architectures | J. Bergstra | JMLR | PDF
    • 2012 | Practical Bayesian Optimization of Machine Learning Algorithms | PDF
    • 2011 | Sequential Model-Based Optimization for General Algorithm Configuration(extended version) | PDF
    • 2020 | Delta-STN: Efficient Bilevel Optimization for Neural Networks using Structured Response Jacobians | Juhan Bae, Roger Grosse | Neurips | PDF
    • 2018 | Autostacker: A Compositional Evolutionary Learning System | Boyuan Chen, et al. | arXiv | PDF
    • 2017 | Large-Scale Evolution of Image Classifiers | Esteban Real, et al. | PMLR | PDF
    • 2016 | Automating biomedical data science through tree-based pipeline optimization | Randal S. Olson, et al. | ECAL | PDF
    • 2016 | Evaluation of a tree-based pipeline optimization tool for automating data science | Randal S. Olson, et al. | GECCO | PDF
    • 2017 | Global Optimization of Lipschitz functions | C´edric Malherbe, Nicolas Vayatis | arXiv | PDF
    • 2009 | ParamILS: An Automatic Algorithm Configuration Framework | Frank Hutter, et al. | JAIR | PDF
    • 2019 | OBOE: Collaborative Filtering for AutoML Model Selection | Chengrun Yang, et al. | KDD | PDF
    • 2019 | SMARTML: A Meta Learning-Based Framework for Automated Selection and Hyperparameter Tuning for Machine Learning Algorithms | PDF
    • 2008 | Cross-Disciplinary Perspectives on Meta-Learning for Algorithm Selection | PDF
    • 2017 | Particle Swarm Optimization for Hyper-parameter Selection in Deep Neural Networks | Pablo Ribalta Lorenzo, et al. | GECCO | PDF
    • 2008 | Particle Swarm Optimization for Parameter Determination and Feature Selection of Support Vector Machines | Shih-Wei Lin, et al. | Expert Systems with Applications | PDF
    • 2016 | Hyperband: A Novel Bandit-Based Approach to Hyperparameter Optimization | Lisha Li, et al. | arXiv | PDF
    • 2012 | Random Search for Hyper-Parameter Optimization | James Bergstra, Yoshua Bengio | JMLR | PDF
    • 2011 | Algorithms for Hyper-parameter Optimization | James Bergstra, et al. | NIPS | PDF
    • 2016 | Efficient Transfer Learning Method for Automatic Hyperparameter Tuning | Dani Yogatama, Gideon Mann | JMLR | PDF
    • 2016 | Flexible Transfer Learning Framework for Bayesian Optimisation | Tinu Theckel Joy, et al. | PAKDD | PDF
    • 2016 | Hyperparameter Optimization Machines | Martin Wistuba, et al. | DSAA | PDF
    • 2013 | Collaborative Hyperparameter Tuning | R´emi Bardenet, et al. | ICML | PDF
  • 2020 | Automated Machine Learning Techniques for Data Streams | Alexandru-Ionut Imbrea | PDF
  • 2018 | Accelerating Neural Architecture Search using Performance Prediction | Bowen Baker, et al. | ICLR | PDF
  • 2017 | Automatic Frankensteining: Creating Complex Ensembles Autonomously | Martin Wistuba, et al. | SIAM | PDF
  • 2018 | Characterizing classification datasets: A study of meta-features for meta-learning | Rivolli, Adriano, et al. | arXiv | PDF
  • 2020 | Putting the Human Back in the AutoML Loop | Xanthopoulos, Iordanis, et al. | EDBT/ICDT | PDF
  • 2018 | A Tutorial on Bayesian Optimization. | PDF
  • 2010 | A Tutorial on Bayesian Optimization of Expensive Cost Functions, with Application to Active User Modeling and Hierarchical Reinforcement Learning | PDF
  • 2008 | Metalearning - A Tutorial | PDF
유형블로그 제목링크
HPOBayesian Optimization for Hyperparameter TuningLink
Meta-LearningLearning to learnLink
Meta-LearningWhy Meta-learning is Crucial for Further Advances of Artificial Intelligence?Link
출판 연도유형도서 제목저자출판사링크
2009Meta-LearningMetalearning - Applications to Data MiningBrazdil, P., Giraud Carrier, C., Soares, C., Vilalta, R.SpringerDownload
2019HPO, Meta-Learning, NASAutoML: Methods, Systems, ChallengesFrank Hutter, Lars Kotthoff, Joaquin VanschorenDownload
2021LearningAutomated Machine Learning in ActionQinquan Song, Haifeng Jin, Xia HuManning PublicationsDownload

| 제목 | 저자 | 링크 | | AutoML Basics: Automated Machine Learning in Action | Qinquan Song, Haifeng Jin, Xia Hu | (https://www.youtube.com/watch?v=9KpieG0B7VM) |

프로젝트유형언어라이선스링크
AdaNetNASPythonApache-2.0Github
AdvisorHPOPythonApache-2.0Github
AMLAHPO, NASPythonApache-2.0Github
ATMHPOPythonMITGithub
AugerHPOPythonCommercialHomepage
auptimizerHPO, NASPython (support R script)GPL-3.0Github
Auto-KerasNASPythonLicenseGithub
AutoML VisionNASPythonCommercialHomepage
AutoML Video IntelligenceNASPythonCommercialHomepage
AutoML Natural LanguageNASPythonCommercialHomepage
AutoML TranslationNASPythonCommercialHomepage
AutoML TablesAutoFE, HPOPythonCommercialHomepage
AutoPyTorchHPO, NASPythonApache-2.0Github
HyperGBMHPOPythonPythonGithub
HyperKerasNASPythonPythonGithub
HypernetsHPO, NASPythonPythonGithub
auto-sklearnHPOPythonLicenseGithub
auto_mlHPOPythonMITGithub
BayesianOptimizationHPOPythonMITGithub
BayesOptHPOC++AGPL-3.0Github
cometHPOPythonCommercialHomepage
DataRobotHPOPythonCommercialHomepage
DEvolNASPythonMITGithub
DeepArchitectNASPythonMITGithub
DeterminedHPO, NASPythonApache-2.0Github
Driverless AIAutoFEPythonCommercialHomepage
FAR-HOHPOPythonMITGithub
H2O AutoMLHPOPython, R, Java, ScalaApache-2.0Github
HpBandSterHPOPythonBSD-3-ClauseGithub
HyperBandHPOPythonLicenseGithub
HyperoptHPOPythonLicenseGithub
Hyperopt-sklearnHPOPythonLicenseGithub
Hyperparameter HunterHPOPythonMITGithub
KatibHPOPythonApache-2.0Github
MateLabsHPOPythonCommercialGithub
MilanoHPOPythonApache-2.0Github
MLJARAutoFE, HPO, NASPythonMITGithub
mlr3automlHPORLGPL-3.0GitHub
nasbotNASPythonMITGithub
neptuneHPOPythonCommercialHomepage
NNIHPO, NASPythonMITGithub
OboeHPOPythonBSD-3-ClauseGithub
OptunityHPOPythonLicenseGithub
R2.aiHPOCommercialHomepage
RBFOptHPOPythonLicenseGithub
RoBOHPOPythonBSD-3-ClauseGithub
Scikit-OptimizeHPOPythonLicenseGithub
SigOptHPOPythonCommercialHomepage
SMAC3HPOPythonLicenseGithub
TPOTAutoFE, HPOPythonLGPL-3.0Github
TransmogrifAIHPOScalaBSD-3-ClauseGithub
TuneHPOPythonApache-2.0Github
XcessivHPOPythonApache-2.0Github
SmartMLHPORGPL-3.0Github
MLBoxAutoFE, HPOPythonBSD-3 LicenseGithub
AutoAI WatsonAutoFE, HPOCommercialHomepage
AUtoMLAutoMLPythonMITGithub
OptunaHPOPythonMITGithub
유형슬라이드 제목저자링크
AutoFEAutomated Feature Engineering for Predictive ModelingUdyan Khurana, etc al.Download
HPOA Tutorial on Bayesian Optimization for Machine LearningRyan P. AdamsDownload
HPOBayesian OptimisationGilles LouppeDownload

이 프로젝트에 기여해 주신 모든 분께 진심으로 감사드립니다.

이름소개
Alexander Robles브라질 UNICAMP 박사과정 학생
derekflint
endymecyTencent 선임 연구원
Eric
Erin LeDellH2O.ai 최고 머신러닝 과학자
fwcore
Gaurav Mittal
Hernan Ceferino Vazquez박사, MercadoLibre 데이터 과학 전문가
Kaustubh Damania
Lilian BessonCentraleSupélec 박사과정 학생
罗磊
Marc
Mohamed Maher
Neil ConwayDetermined AI 최고기술책임자
Richard LiawUC Berkeley 박사과정 학생
Randy OlsonLifeEGX 수석 데이터 과학자
Slava KurilyakProduvia 창립자 겸 CEO
Saket MaheshwaryAI 연구원
shaido987
sophia-wright-blue
tengben0905
xuehui@Microsoft
Yihui He카네기멜런대학교 대학원생

제안(누락되거나 새로운 논문, 주요 연구자, 오탈자 등)이 있으면 풀 리퀘스트를 보내 주세요. 다음 주소로 이메일을 보내셔도 됩니다.

Awesome-AutoML-Papers는 Apache License 2.0에 따라 제공됩니다.

HagiCode

HagiCode는 에이전트 코딩 작업 공간입니다. 풍부하고 편리한 UI 상호작용으로 계획 수립, 에이전트 실행, 프로젝트 작업을 쉽게 시작하고 따라가며 개발을 더 흥미로운 경험으로 만듭니다.

풍부하고 편리한 UI 상호작용으로 계획부터 프로젝트 작업까지 쉽게 따라갈 수 있습니다.

HagiCode 방문문서 읽기
  • 스마트OpenSpec 워크플로는 의도를 제안, 설계, 작업을 거쳐 배포까지 이어지는 실행 가능한 경로로 바꿉니다.
  • 효율적다중 에이전트 실행으로 조사, 구현, 검토를 병렬로 진행하며 여러 저장소와 익숙한 Agent CLI를 지원합니다.
  • 흥미로운풍부하고 편리한 UI 상호작용으로 계획 수립, 에이전트 실행, 프로젝트 작업을 쉽게 시작하고 따라갈 수 있습니다.

Windows용 다운로드

Microsoft Store에서 받기모든 다운로드

아이디어를 실제로 배포되는 소프트웨어로.

HagiCode는 에이전트 코딩 작업 공간입니다. OpenSpec 워크플로로 변경을 계획하고, 다중 에이전트 실행으로 진행하며, Hero Scenario로 긴 작업의 진행 상황을 한눈에 보여 아이디어를 실제로 배포되는 소프트웨어로 만듭니다.

스마트
OpenSpec 워크플로는 의도를 제안부터 배포까지 이어지는 실행 가능한 경로로 바꿉니다.
효율적
다중 에이전트 실행으로 조사, 구현, 검토를 병렬로 진행합니다.
즐거운
편리한 UI 상호작용으로 계획, 에이전트 실행, 프로젝트 작업을 쉽게 따라갈 수 있습니다.

Awesome Site를 떠나시겠어요?

외부 웹사이트로 이동하려고 합니다. 해당 사이트의 콘텐츠와 개인정보 처리 방식을 관리하지 않습니다.

목적지

웹사이트로 계속하기