AutoML Papers

Source: https://github.com/hibayesian/awesome-automl-papers at 0317821496b4
License: Apache-2.0
Read the English original

This edition is an AI-assisted translation.

Awesome-AutoML-Papers

Awesome-AutoML-Papers — это подборка научных работ, статей, учебных материалов, презентаций и проектов по автоматизированному машинному обучению. Поставьте этому репозиторию звезду, чтобы следить за новейшими достижениями этой быстро развивающейся области исследований. Благодарим всех, кто внес вклад в проект. Присоединяйтесь и тоже участвуйте.

Что такое AutoML?

Автоматизированное машинное обучение (AutoML) предлагает методы и процессы, которые помогают неспециалистам применять машинное обучение, повышать его эффективность и ускорять исследования в этой области.

В последние годы машинное обучение (ML) добилось значительных успехов, и на него опирается все больше дисциплин. Однако эти успехи во многом зависят от экспертов по машинному обучению, выполняющих следующие задачи:

• Предварительно обработать данные,
• Выбрать подходящие признаки,
• Выбрать подходящее семейство моделей,
• Оптимизировать гиперпараметры модели,
• Выполнить постобработку моделей машинного обучения,
• Критически проанализировать полученные результаты,

Эти задачи часто слишком сложны для неспециалистов по ML. Быстрый рост числа приложений машинного обучения привел к спросу на готовые методы, которыми легко пользоваться без специальных знаний. Область исследований, нацеленную на постепенную автоматизацию машинного обучения, мы называем AutoML. Как новое направление машинного обучения, AutoML привлекает внимание не только в ML, но и в компьютерном зрении, обработке естественного языка и вычислениях на графах.

Формального определения AutoML не существует. Судя по описаниям большинства работ, базовый процесс AutoML можно представить следующим образом.

Методы AutoML уже достаточно развиты, чтобы конкурировать с экспертами по ML, а иногда и превосходить их. Проще говоря, AutoML повышает качество результатов и экономит значительное время и деньги, поскольку экспертов по машинному обучению трудно найти, и их услуги дороги. Поэтому в последние годы коммерческий интерес к AutoML резко вырос, а крупные технологические компании и стартапы разрабатывают собственные системы. В таблице ниже приведено общее сравнение некоторых из них.

Компания	AutoFE	HPO	NAS
4paradigm	√	√	×
Alibaba	×	√	×
Baidu	×	×	√
Determined AI	×	√	√
Google	√	√	√
DataCanvas	√	√	√
H2O.ai	√	√	×
Microsoft	×	√	√
MLJAR	√	√	√
RapidMiner	√	√	×
Tencent	×	√	×

Awesome-AutoML-Papers содержит актуальные обзоры ключевых методов, необходимых для AutoML:

• Автоматическая очистка данных (Auto Clean)
• Автоматизированное конструирование признаков (Auto FE)
• Оптимизация гиперпараметров (HPO)
• Метаобучение
• Поиск нейронной архитектуры (NAS)

Содержание

• Научные работы
  • Обзоры
  • Автоматизированное конструирование признаков
    • Расширение и сокращение
    • Иерархическая организация преобразований
    • Метаобучение
    • Обучение с подкреплением
  • Поиск архитектуры
    • Эволюционные алгоритмы
    • Локальный поиск
    • Метаобучение
    • Обучение с подкреплением
    • Перенос обучения
    • Морфизм сети
    • Непрерывная оптимизация
  • Оптимизация гиперпараметров
    • Байесовская оптимизация
    • Эволюционные алгоритмы
    • Липшицевы функции
    • Локальный поиск
    • Метаобучение
    • Оптимизация роем частиц
    • Случайный поиск
    • Перенос обучения
  • Прогнозирование качества
    • Прогнозирование качества
  • Фреймворки
  • Разное
• Учебные материалы
  • Байесовская оптимизация
  • Метаобучение
• Статьи
  • Байесовская оптимизация
  • Метаобучение
• Презентации
  • Байесовская оптимизация
• Книги
  • Метаобучение
• Проекты
• Известные исследователи

Научные работы

Обзоры

• 2019 | AutoML: A Survey of the State-of-the-Art | Xin He, et al. | arXiv | PDF
• 2019 | Survey on Automated Machine Learning | Marc Zoeller, Marco F. Huber | arXiv | PDF
• 2019 | Automated Machine Learning: State-of-The-Art and Open Challenges | Radwa Elshawi, et al. | arXiv | PDF
• 2018 | Taking Human out of Learning Applications: A Survey on Automated Machine Learning | Quanming Yao, et al. | arXiv | PDF
• 2020 | On Hyperparameter Optimization of Machine Learning Algorithms: Theory and Practice | Li Yang, et al. | Neurocomputing | PDF
• 2020 | Automated Machine Learning—a brief review at the end of the early years | Escalante, H. J. | arXiv | PDF
• 2022 | IoT Data Analytics in Dynamic Environments: From An Automated Machine Learning Perspective | Li Yang, et al. | arXiv | PDF
• 2024 | Automated machine learning: past, present and future | Baratchi. M, et al. | Artificial Intelligence Review | Springer

Автоматизированное конструирование признаков

• Расширение и сокращение

• 2022 | BERT-Sort: A Zero-shot MLM Semantic Encoder on Ordinal Features for AutoML | Mehdi Bahrami, et al. | AutoML | PDF
• 2017 | AutoLearn — Automated Feature Generation and Selection | Ambika Kaul, et al. | ICDM | PDF
• 2017 | One button machine for automating feature engineering in relational databases | Hoang Thanh Lam, et al. | arXiv | PDF
• 2016 | Automating Feature Engineering | Udayan Khurana, et al. | NIPS | PDF
• 2016 | ExploreKit: Automatic Feature Generation and Selection | Gilad Katz, et al. | ICDM | PDF
• 2015 | Deep Feature Synthesis: Towards Automating Data Science Endeavors | James Max Kanter, Kalyan Veeramachaneni | DSAA | PDF

• Иерархическая организация преобразований

  • 2016 | Cognito: Automated Feature Engineering for Supervised Learning | Udayan Khurana, et al. | ICDMW | PDF

• Метаобучение

  • 2020 | AutoML Pipeline Selection: Efficiently Navigating the Combinatorial Space | Chengrun Yang, et al. | KDD | PDF
  • 2017 | Learning Feature Engineering for Classification | Fatemeh Nargesian, et al. | IJCAI | PDF

• Обучение с подкреплением

  • 2017 | Feature Engineering for Predictive Modeling using Reinforcement Learning | Udayan Khurana, et al. | arXiv | PDF
  • 2010 | Feature Selection as a One-Player Game | Romaric Gaudel, Michele Sebag | ICML | PDF

Поиск архитектуры

• Эволюционные алгоритмы

  • 2019 | Evolutionary Neural AutoML for Deep Learning | Jason Liang, et al. | GECCO | PDF
  • 2017 | Large-Scale Evolution of Image Classifiers | Esteban Real, et al. | PMLR | PDF
  • 2002 | Evolving Neural Networks through Augmenting Topologies | Kenneth O.Stanley, Risto Miikkulainen | Evolutionary Computation | PDF

• Локальный поиск

  • 2017 | Simple and Efficient Architecture Search for Convolutional Neural Networks | Thomoas Elsken, et al. | ICLR | PDF

• Метаобучение

  • 2016 | Learning to Optimize | Ke Li, Jitendra Malik | arXiv | PDF

• Обучение с подкреплением

  • 2018 | AMC: AutoML for Model Compression and Acceleration on Mobile Devices | Yihui He, et al. | ECCV | PDF
  • 2018 | Efficient Neural Architecture Search via Parameter Sharing | Hieu Pham, et al. | arXiv | PDF
  • 2017 | Neural Architecture Search with Reinforcement Learning | Barret Zoph, Quoc V. Le | ICLR | PDF

• Перенос обучения

  • 2017 | Learning Transferable Architectures for Scalable Image Recognition | Barret Zoph, et al. | arXiv | PDF

• Морфизм сети

  • 2019 | Auto-Keras: An Efficient Neural Architecture Search System | Haifeng Jin, et al. | KDD | PDF

• Непрерывная оптимизация

  • 2018 | Neural Architecture Optimization | Renqian Luo, et al. | arXiv | PDF
  • 2019 | DARTS: Differentiable Architecture Search | Hanxiao Liu, et al. | ICLR | PDF
  • 2021 | SEDONA: Search for Decoupled Neural Networks toward Greedy Block-wise Learning | Pyeon, et al. | ICLR | PDF

Фреймворки

• 2019 | Auptimizer — an Extensible, Open-Source Framework for Hyperparameter Tuning | Jiayi Liu, et al. | IEEE Big Data | PDF
• 2019 | Towards modular and programmable architecture search | Renato Negrinho, et al. | NeurIPS | PDF
• 2019 | Evolutionary Neural AutoML for Deep Learning | Jason Liang, et al. | arXiv | PDF
• 2017 | ATM: A Distributed, Collaborative, Scalable System for Automated Machine Learning | T. Swearingen, et al. | IEEE | PDF
• 2017 | Google Vizier: A Service for Black-Box Optimization | Daniel Golovin, et al. | KDD |PDF
• 2015 | AutoCompete: A Framework for Machine Learning Competitions | Abhishek Thakur, et al. | ICML | PDF

Оптимизация гиперпараметров

• Байесовская оптимизация

  • 2020 | Bayesian Optimization of Risk Measures | NeurIPS | PDF
  • 2020 | BOTORCH: A Framework for Efficient Monte-Carlo Bayesian Optimization | NeurIPS | PDF
  • 2020 | Tuning Hyperparameters without Grad Students: Scalable and Robust Bayesian Optimisation with Dragonfly | JMLR | PDF
  • 2019 | Bayesian Optimization with Unknown Search Space | NeurIPS | PDF
  • 2019 | Constrained Bayesian optimization with noisy experiments | PDF
  • 2019 | Learning search spaces for Bayesian optimization: Another view of hyperparameter transfer learning | NeurIPS | PDF
  • 2019 | Practical Two-Step Lookahead Bayesian Optimization | NeurIPS | PDF
  • 2019 | Predictive entropy search for multi-objective bayesian optimization with constraints | PDF
  • 2018 | BOCK: Bayesian optimization with cylindrical kernels | ICML | PDF
  • 2018 | Efficient High Dimensional Bayesian Optimization with Additivity and Quadrature Fourier Features | Mojmír Mutný, et al. | NeurIPS | PDF
  • 2018 | High-Dimensional Bayesian Optimization via Additive Models with Overlapping Groups. | PMLR | PDF
  • 2018 | Maximizing acquisition functions for Bayesian optimization | NeurIPS | PDF
  • 2018 | Scalable hyperparameter transfer learning | NeurIPS | PDF
  • 2016 | Bayesian Optimization with Robust Bayesian Neural Networks | Jost Tobias Springenberg， et al. | NIPS | PDF
  • 2016 | Scalable Hyperparameter Optimization with Products of Gaussian Process Experts | Nicolas Schilling, et al. | PKDD | PDF
  • 2016 | Taking the Human Out of the Loop: A Review of Bayesian Optimization | Bobak Shahriari, et al. | IEEE | PDF
  • 2016 | Towards Automatically-Tuned Neural Networks | Hector Mendoza, et al. | JMLR | PDF
  • 2016 | Two-Stage Transfer Surrogate Model for Automatic Hyperparameter Optimization | Martin Wistuba, et al. | PKDD | PDF
  • 2015 | Efficient and Robust Automated Machine Learning | PDF
  • 2015 | Hyperparameter Optimization with Factorized Multilayer Perceptrons | Nicolas Schilling, et al. | PKDD | PDF
  • 2015 | Hyperparameter Search Space Pruning - A New Component for Sequential Model-Based Hyperparameter Optimization | Martin Wistua, et al. | PDF
  • 2015 | Joint Model Choice and Hyperparameter Optimization with Factorized Multilayer Perceptrons | Nicolas Schilling, et al. | ICTAI | PDF
  • 2015 | Learning Hyperparameter Optimization Initializations | Martin Wistuba, et al. | DSAA | PDF
  • 2015 | Scalable Bayesian optimization using deep neural networks | Jasper Snoek, et al. | ACM | PDF
  • 2015 | Sequential Model-free Hyperparameter Tuning | Martin Wistuba, et al. | ICDM | PDF
  • 2013 | Auto-WEKA: Combined Selection and Hyperparameter Optimization of Classification Algorithms | PDF
  • 2013 | Making a Science of Model Search: Hyperparameter Optimization in Hundreds of Dimensions for Vision Architectures | J. Bergstra | JMLR | PDF
  • 2012 | Practical Bayesian Optimization of Machine Learning Algorithms | PDF
  • 2011 | Sequential Model-Based Optimization for General Algorithm Configuration(extended version) | PDF

• Эволюционные алгоритмы

  • 2020 | Delta-STN: Efficient Bilevel Optimization for Neural Networks using Structured Response Jacobians | Juhan Bae, Roger Grosse | Neurips | PDF
  • 2018 | Autostacker: A Compositional Evolutionary Learning System | Boyuan Chen, et al. | arXiv | PDF
  • 2017 | Large-Scale Evolution of Image Classifiers | Esteban Real, et al. | PMLR | PDF
  • 2016 | Automating biomedical data science through tree-based pipeline optimization | Randal S. Olson, et al. | ECAL | PDF
  • 2016 | Evaluation of a tree-based pipeline optimization tool for automating data science | Randal S. Olson, et al. | GECCO | PDF

• Lipschitz Functions

  • 2017 | Global Optimization of Lipschitz functions | C´edric Malherbe, Nicolas Vayatis | arXiv | PDF

• Локальный поиск

  • 2009 | ParamILS: An Automatic Algorithm Configuration Framework | Frank Hutter, et al. | JAIR | PDF

• Метаобучение

  • 2019 | OBOE: Collaborative Filtering for AutoML Model Selection | Chengrun Yang, et al. | KDD | PDF
  • 2019 | SMARTML: A Meta Learning-Based Framework for Automated Selection and Hyperparameter Tuning for Machine Learning Algorithms | PDF
  • 2008 | Cross-Disciplinary Perspectives on Meta-Learning for Algorithm Selection | PDF

• Оптимизация роем частиц

  • 2017 | Particle Swarm Optimization for Hyper-parameter Selection in Deep Neural Networks | Pablo Ribalta Lorenzo, et al. | GECCO | PDF
  • 2008 | Particle Swarm Optimization for Parameter Determination and Feature Selection of Support Vector Machines | Shih-Wei Lin, et al. | Expert Systems with Applications | PDF

• Случайный поиск

  • 2016 | Hyperband: A Novel Bandit-Based Approach to Hyperparameter Optimization | Lisha Li, et al. | arXiv | PDF
  • 2012 | Random Search for Hyper-Parameter Optimization | James Bergstra, Yoshua Bengio | JMLR | PDF
  • 2011 | Algorithms for Hyper-parameter Optimization | James Bergstra, et al. | NIPS | PDF

• Перенос обучения

  • 2016 | Efficient Transfer Learning Method for Automatic Hyperparameter Tuning | Dani Yogatama, Gideon Mann | JMLR | PDF
  • 2016 | Flexible Transfer Learning Framework for Bayesian Optimisation | Tinu Theckel Joy, et al. | PAKDD | PDF
  • 2016 | Hyperparameter Optimization Machines | Martin Wistuba, et al. | DSAA | PDF
  • 2013 | Collaborative Hyperparameter Tuning | R´emi Bardenet, et al. | ICML | PDF

Разное

• 2020 | Automated Machine Learning Techniques for Data Streams | Alexandru-Ionut Imbrea | PDF
• 2018 | Accelerating Neural Architecture Search using Performance Prediction | Bowen Baker, et al. | ICLR | PDF
• 2017 | Automatic Frankensteining: Creating Complex Ensembles Autonomously | Martin Wistuba, et al. | SIAM | PDF
• 2018 | Characterizing classification datasets: A study of meta-features for meta-learning | Rivolli, Adriano, et al. | arXiv | PDF
• 2020 | Putting the Human Back in the AutoML Loop | Xanthopoulos, Iordanis, et al. | EDBT/ICDT | PDF

Учебные материалы

Байесовская оптимизация

• 2018 | A Tutorial on Bayesian Optimization. | PDF
• 2010 | A Tutorial on Bayesian Optimization of Expensive Cost Functions, with Application to Active User Modeling and Hierarchical Reinforcement Learning | PDF

Метаобучение

• 2008 | Metalearning - A Tutorial | PDF

Блог

Тип	Название блога	Ссылка
HPO	Bayesian Optimization for Hyperparameter Tuning	Link
Meta-Learning	Learning to learn	Link
Meta-Learning	Why Meta-learning is Crucial for Further Advances of Artificial Intelligence?	Link

Книги

Год издания	Тип	Название книги	Авторы	Издательство	Ссылка
2009	Meta-Learning	Metalearning - Applications to Data Mining	Brazdil, P., Giraud Carrier, C., Soares, C., Vilalta, R.	Springer	Download
2019	HPO, Meta-Learning, NAS	AutoML: Methods, Systems, Challenges	Frank Hutter, Lars Kotthoff, Joaquin Vanschoren		Download
2021	Learning	Automated Machine Learning in Action	Qinquan Song, Haifeng Jin, Xia Hu	Manning Publications	Download

Видео

| Название | Автор | Ссылка | | AutoML Basics: Automated Machine Learning in Action | Qinquan Song, Haifeng Jin, Xia Hu | (https://www.youtube.com/watch?v=9KpieG0B7VM) |

Проекты

Проект	Тип	Язык	Лицензия	Ссылка
AdaNet	NAS	Python	Apache-2.0	Github
Advisor	HPO	Python	Apache-2.0	Github
AMLA	HPO, NAS	Python	Apache-2.0	Github
ATM	HPO	Python	MIT	Github
Auger	HPO	Python	Commercial	Homepage
auptimizer	HPO, NAS	Python (support R script)	GPL-3.0	Github
Auto-Keras	NAS	Python	License	Github
AutoML Vision	NAS	Python	Commercial	Homepage
AutoML Video Intelligence	NAS	Python	Commercial	Homepage
AutoML Natural Language	NAS	Python	Commercial	Homepage
AutoML Translation	NAS	Python	Commercial	Homepage
AutoML Tables	AutoFE, HPO	Python	Commercial	Homepage
AutoPyTorch	HPO, NAS	Python	Apache-2.0	Github
HyperGBM	HPO	Python	Python	Github
HyperKeras	NAS	Python	Python	Github
Hypernets	HPO, NAS	Python	Python	Github
auto-sklearn	HPO	Python	License	Github
auto_ml	HPO	Python	MIT	Github
BayesianOptimization	HPO	Python	MIT	Github
BayesOpt	HPO	C++	AGPL-3.0	Github
comet	HPO	Python	Commercial	Homepage
DataRobot	HPO	Python	Commercial	Homepage
DEvol	NAS	Python	MIT	Github
DeepArchitect	NAS	Python	MIT	Github
Determined	HPO, NAS	Python	Apache-2.0	Github
Driverless AI	AutoFE	Python	Commercial	Homepage
FAR-HO	HPO	Python	MIT	Github
H2O AutoML	HPO	Python, R, Java, Scala	Apache-2.0	Github
HpBandSter	HPO	Python	BSD-3-Clause	Github
HyperBand	HPO	Python	License	Github
Hyperopt	HPO	Python	License	Github
Hyperopt-sklearn	HPO	Python	License	Github
Hyperparameter Hunter	HPO	Python	MIT	Github
Katib	HPO	Python	Apache-2.0	Github
MateLabs	HPO	Python	Commercial	Github
Milano	HPO	Python	Apache-2.0	Github
MLJAR	AutoFE, HPO, NAS	Python	MIT	Github
mlr3automl	HPO	R	LGPL-3.0	GitHub
nasbot	NAS	Python	MIT	Github
neptune	HPO	Python	Commercial	Homepage
NNI	HPO, NAS	Python	MIT	Github
Oboe	HPO	Python	BSD-3-Clause	Github
Optunity	HPO	Python	License	Github
R2.ai	HPO		Commercial	Homepage
RBFOpt	HPO	Python	License	Github
RoBO	HPO	Python	BSD-3-Clause	Github
Scikit-Optimize	HPO	Python	License	Github
SigOpt	HPO	Python	Commercial	Homepage
SMAC3	HPO	Python	License	Github
TPOT	AutoFE, HPO	Python	LGPL-3.0	Github
TransmogrifAI	HPO	Scala	BSD-3-Clause	Github
Tune	HPO	Python	Apache-2.0	Github
Xcessiv	HPO	Python	Apache-2.0	Github
SmartML	HPO	R	GPL-3.0	Github
MLBox	AutoFE, HPO	Python	BSD-3 License	Github
AutoAI Watson	AutoFE, HPO		Commercial	Homepage
AUtoML	AutoML	Python	MIT	Github
Optuna	HPO	Python	MIT	Github

Презентации

Тип	Название слайда	Авторы	Ссылка
AutoFE	Automated Feature Engineering for Predictive Modeling	Udyan Khurana, etc al.	Download
HPO	A Tutorial on Bayesian Optimization for Machine Learning	Ryan P. Adams	Download
HPO	Bayesian Optimisation	Gilles Louppe	Download

Благодарности

Особая благодарность всем, кто внес вклад в этот проект.

Имя	Биография
Alexander Robles	Аспирант UNICAMP (Бразилия)
derekflint
endymecy	Ведущий исследователь Tencent
Eric
Erin LeDell	Главный специалист по машинному обучению в H2O.ai
fwcore
Gaurav Mittal
Hernan Ceferino Vazquez	Доктор наук, эксперт по анализу данных в MercadoLibre
Kaustubh Damania
Lilian Besson	Аспирант CentraleSupélec
罗磊
Marc
Mohamed Maher
Neil Conway	Технический директор Determined AI
Richard Liaw	Аспирант Калифорнийского университета в Беркли
Randy Olson	Ведущий специалист по данным в LifeEGX
Slava Kurilyak	Основатель и генеральный директор Produvia
Saket Maheshwary	Исследователь ИИ
shaido987
sophia-wright-blue
tengben0905
xuehui	@Microsoft
Yihui He	Аспирант Университета Карнеги-Меллона

Контакты и отзывы

Если у вас есть предложения (пропущенные или новые работы, важные исследователи или опечатки), отправьте запрос на изменение. Также можно написать по адресу:

• Mark Lin (hibayesian@gmail.com).

Лицензии

Awesome-AutoML-Papers распространяется по лицензии Apache 2.0.