AutoML Papers

Source: https://github.com/hibayesian/awesome-automl-papers at 0317821496b4
License: Apache-2.0
Read the English original

This edition is an AI-assisted translation.

Awesome-AutoML-Papers

Awesome-AutoML-Papers は、自動機械学習に関する論文、記事、チュートリアル、スライド、プロジェクトを厳選してまとめたリストです。このリポジトリに Star を付けて、急速に発展する研究分野の最新動向をチェックしましょう。プロジェクトに貢献してくださった皆さんに感謝します。ぜひ参加して貢献してください。

AutoML とは？

自動機械学習（AutoML）は、機械学習の専門家でなくても機械学習を利用できるようにし、その効率を高め、機械学習研究を加速するための手法とプロセスを提供します。

機械学習（ML）は近年大きな成果を上げ、ますます多くの分野で活用されています。しかし、その成功は主に、機械学習の専門家が次の作業を行うことに支えられています。

データを前処理する,
適切な特徴量を選択する,
適切なモデルファミリーを選択する,
モデルのハイパーパラメーターを最適化する,
機械学習モデルを後処理する,
得られた結果を批判的に分析する,

これらの作業はMLの非専門家には難しいことが多く、機械学習アプリケーションの急速な拡大に伴い、専門知識がなくても簡単に使える既製の機械学習手法が求められています。機械学習を段階的に自動化することを目指す研究領域を AutoML と呼びます。機械学習の新しいサブ分野である AutoML は、機械学習だけでなく、コンピュータビジョン、自然言語処理、グラフ計算でも注目されています。

AutoML に正式な定義はありません。多くの論文の説明によれば、AutoML の基本的な手順は次のように示せます。

AutoML の手法は、機械学習の専門家と競えるほど成熟し、ときには専門家を上回ります。簡単に言えば、機械学習の専門家は見つけにくく費用もかかるため、AutoML は性能を高めながら多くの時間と費用を節約できます。その結果、近年 AutoML への商業的な関心が急速に高まり、大手テクノロジー企業やスタートアップが独自の AutoML システムを開発しています。以下の表にその一部をまとめて比較します。

企業	AutoFE	HPO	NAS
4paradigm	√	√	×
Alibaba	×	√	×
Baidu	×	×	√
Determined AI	×	√	√
Google	√	√	√
DataCanvas	√	√	√
H2O.ai	√	√	×
Microsoft	×	√	√
MLJAR	√	√	√
RapidMiner	√	√	×
Tencent	×	√	×

Awesome-AutoML-Papers では、AutoML に必要な主要技術の最新概要を紹介します。

データの自動クリーニング（Auto Clean）
特徴量エンジニアリングの自動化（Auto FE）
ハイパーパラメータ最適化（HPO）
メタ学習
ニューラルアーキテクチャ探索（NAS）

論文

サーベイ

2019 | AutoML: A Survey of the State-of-the-Art | Xin He, et al. | arXiv | PDF
2019 | Survey on Automated Machine Learning | Marc Zoeller, Marco F. Huber | arXiv | PDF
2019 | Automated Machine Learning: State-of-The-Art and Open Challenges | Radwa Elshawi, et al. | arXiv | PDF
2018 | Taking Human out of Learning Applications: A Survey on Automated Machine Learning | Quanming Yao, et al. | arXiv | PDF
2020 | On Hyperparameter Optimization of Machine Learning Algorithms: Theory and Practice | Li Yang, et al. | Neurocomputing | PDF
2020 | Automated Machine Learning—a brief review at the end of the early years | Escalante, H. J. | arXiv | PDF
2022 | IoT Data Analytics in Dynamic Environments: From An Automated Machine Learning Perspective | Li Yang, et al. | arXiv | PDF
2024 | Automated machine learning: past, present and future | Baratchi. M, et al. | Artificial Intelligence Review | Springer

特徴量エンジニアリングの自動化

拡張と縮約
Section titled “拡張と縮約”

2022 | BERT-Sort: A Zero-shot MLM Semantic Encoder on Ordinal Features for AutoML | Mehdi Bahrami, et al. | AutoML | PDF
2017 | AutoLearn — Automated Feature Generation and Selection | Ambika Kaul, et al. | ICDM | PDF
2017 | One button machine for automating feature engineering in relational databases | Hoang Thanh Lam, et al. | arXiv | PDF
2016 | Automating Feature Engineering | Udayan Khurana, et al. | NIPS | PDF
2016 | ExploreKit: Automatic Feature Generation and Selection | Gilad Katz, et al. | ICDM | PDF
2015 | Deep Feature Synthesis: Towards Automating Data Science Endeavors | James Max Kanter, Kalyan Veeramachaneni | DSAA | PDF

変換の階層的な編成
Section titled “変換の階層的な編成”
- 2016 | Cognito: Automated Feature Engineering for Supervised Learning | Udayan Khurana, et al. | ICDMW | PDF
メタ学習
Section titled “メタ学習”
- 2020 | AutoML Pipeline Selection: Efficiently Navigating the Combinatorial Space | Chengrun Yang, et al. | KDD | PDF
- 2017 | Learning Feature Engineering for Classification | Fatemeh Nargesian, et al. | IJCAI | PDF
強化学習
Section titled “強化学習”
- 2017 | Feature Engineering for Predictive Modeling using Reinforcement Learning | Udayan Khurana, et al. | arXiv | PDF
- 2010 | Feature Selection as a One-Player Game | Romaric Gaudel, Michele Sebag | ICML | PDF

アーキテクチャ探索

進化的アルゴリズム
Section titled “進化的アルゴリズム”
- 2019 | Evolutionary Neural AutoML for Deep Learning | Jason Liang, et al. | GECCO | PDF
- 2017 | Large-Scale Evolution of Image Classifiers | Esteban Real, et al. | PMLR | PDF
- 2002 | Evolving Neural Networks through Augmenting Topologies | Kenneth O.Stanley, Risto Miikkulainen | Evolutionary Computation | PDF
局所探索
Section titled “局所探索”
- 2017 | Simple and Efficient Architecture Search for Convolutional Neural Networks | Thomoas Elsken, et al. | ICLR | PDF
メタ学習
Section titled “メタ学習”
- 2016 | Learning to Optimize | Ke Li, Jitendra Malik | arXiv | PDF
強化学習
Section titled “強化学習”
- 2018 | AMC: AutoML for Model Compression and Acceleration on Mobile Devices | Yihui He, et al. | ECCV | PDF
- 2018 | Efficient Neural Architecture Search via Parameter Sharing | Hieu Pham, et al. | arXiv | PDF
- 2017 | Neural Architecture Search with Reinforcement Learning | Barret Zoph, Quoc V. Le | ICLR | PDF
転移学習
Section titled “転移学習”
- 2017 | Learning Transferable Architectures for Scalable Image Recognition | Barret Zoph, et al. | arXiv | PDF
ネットワークモーフィズム
Section titled “ネットワークモーフィズム”
- 2019 | Auto-Keras: An Efficient Neural Architecture Search System | Haifeng Jin, et al. | KDD | PDF
連続最適化
Section titled “連続最適化”
- 2018 | Neural Architecture Optimization | Renqian Luo, et al. | arXiv | PDF
- 2019 | DARTS: Differentiable Architecture Search | Hanxiao Liu, et al. | ICLR | PDF
- 2021 | SEDONA: Search for Decoupled Neural Networks toward Greedy Block-wise Learning | Pyeon, et al. | ICLR | PDF

フレームワーク

2019 | Auptimizer — an Extensible, Open-Source Framework for Hyperparameter Tuning | Jiayi Liu, et al. | IEEE Big Data | PDF
2019 | Towards modular and programmable architecture search | Renato Negrinho, et al. | NeurIPS | PDF
2019 | Evolutionary Neural AutoML for Deep Learning | Jason Liang, et al. | arXiv | PDF
2017 | ATM: A Distributed, Collaborative, Scalable System for Automated Machine Learning | T. Swearingen, et al. | IEEE | PDF
2017 | Google Vizier: A Service for Black-Box Optimization | Daniel Golovin, et al. | KDD |PDF
2015 | AutoCompete: A Framework for Machine Learning Competitions | Abhishek Thakur, et al. | ICML | PDF

ハイパーパラメータ最適化

ベイズ最適化
Section titled “ベイズ最適化”
- 2020 | Bayesian Optimization of Risk Measures | NeurIPS | PDF
- 2020 | BOTORCH: A Framework for Efficient Monte-Carlo Bayesian Optimization | NeurIPS | PDF
- 2020 | Tuning Hyperparameters without Grad Students: Scalable and Robust Bayesian Optimisation with Dragonfly | JMLR | PDF
- 2019 | Bayesian Optimization with Unknown Search Space | NeurIPS | PDF
- 2019 | Constrained Bayesian optimization with noisy experiments | PDF
- 2019 | Learning search spaces for Bayesian optimization: Another view of hyperparameter transfer learning | NeurIPS | PDF
- 2019 | Practical Two-Step Lookahead Bayesian Optimization | NeurIPS | PDF
- 2019 | Predictive entropy search for multi-objective bayesian optimization with constraints | PDF
- 2018 | BOCK: Bayesian optimization with cylindrical kernels | ICML | PDF
- 2018 | Efficient High Dimensional Bayesian Optimization with Additivity and Quadrature Fourier Features | Mojmír Mutný, et al. | NeurIPS | PDF
- 2018 | High-Dimensional Bayesian Optimization via Additive Models with Overlapping Groups. | PMLR | PDF
- 2018 | Maximizing acquisition functions for Bayesian optimization | NeurIPS | PDF
- 2018 | Scalable hyperparameter transfer learning | NeurIPS | PDF
- 2016 | Bayesian Optimization with Robust Bayesian Neural Networks | Jost Tobias Springenberg， et al. | NIPS | PDF
- 2016 | Scalable Hyperparameter Optimization with Products of Gaussian Process Experts | Nicolas Schilling, et al. | PKDD | PDF
- 2016 | Taking the Human Out of the Loop: A Review of Bayesian Optimization | Bobak Shahriari, et al. | IEEE | PDF
- 2016 | Towards Automatically-Tuned Neural Networks | Hector Mendoza, et al. | JMLR | PDF
- 2016 | Two-Stage Transfer Surrogate Model for Automatic Hyperparameter Optimization | Martin Wistuba, et al. | PKDD | PDF
- 2015 | Efficient and Robust Automated Machine Learning | PDF
- 2015 | Hyperparameter Optimization with Factorized Multilayer Perceptrons | Nicolas Schilling, et al. | PKDD | PDF
- 2015 | Hyperparameter Search Space Pruning - A New Component for Sequential Model-Based Hyperparameter Optimization | Martin Wistua, et al. | PDF
- 2015 | Joint Model Choice and Hyperparameter Optimization with Factorized Multilayer Perceptrons | Nicolas Schilling, et al. | ICTAI | PDF
- 2015 | Learning Hyperparameter Optimization Initializations | Martin Wistuba, et al. | DSAA | PDF
- 2015 | Scalable Bayesian optimization using deep neural networks | Jasper Snoek, et al. | ACM | PDF
- 2015 | Sequential Model-free Hyperparameter Tuning | Martin Wistuba, et al. | ICDM | PDF
- 2013 | Auto-WEKA: Combined Selection and Hyperparameter Optimization of Classification Algorithms | PDF
- 2013 | Making a Science of Model Search: Hyperparameter Optimization in Hundreds of Dimensions for Vision Architectures | J. Bergstra | JMLR | PDF
- 2012 | Practical Bayesian Optimization of Machine Learning Algorithms | PDF
- 2011 | Sequential Model-Based Optimization for General Algorithm Configuration(extended version) | PDF
進化的アルゴリズム
Section titled “進化的アルゴリズム”
- 2020 | Delta-STN: Efficient Bilevel Optimization for Neural Networks using Structured Response Jacobians | Juhan Bae, Roger Grosse | Neurips | PDF
- 2018 | Autostacker: A Compositional Evolutionary Learning System | Boyuan Chen, et al. | arXiv | PDF
- 2017 | Large-Scale Evolution of Image Classifiers | Esteban Real, et al. | PMLR | PDF
- 2016 | Automating biomedical data science through tree-based pipeline optimization | Randal S. Olson, et al. | ECAL | PDF
- 2016 | Evaluation of a tree-based pipeline optimization tool for automating data science | Randal S. Olson, et al. | GECCO | PDF
Lipschitz Functions
Section titled “Lipschitz Functions”
- 2017 | Global Optimization of Lipschitz functions | C´edric Malherbe, Nicolas Vayatis | arXiv | PDF
局所探索
Section titled “局所探索”
- 2009 | ParamILS: An Automatic Algorithm Configuration Framework | Frank Hutter, et al. | JAIR | PDF
メタ学習
Section titled “メタ学習”
- 2019 | OBOE: Collaborative Filtering for AutoML Model Selection | Chengrun Yang, et al. | KDD | PDF
- 2019 | SMARTML: A Meta Learning-Based Framework for Automated Selection and Hyperparameter Tuning for Machine Learning Algorithms | PDF
- 2008 | Cross-Disciplinary Perspectives on Meta-Learning for Algorithm Selection | PDF
粒子群最適化
Section titled “粒子群最適化”
- 2017 | Particle Swarm Optimization for Hyper-parameter Selection in Deep Neural Networks | Pablo Ribalta Lorenzo, et al. | GECCO | PDF
- 2008 | Particle Swarm Optimization for Parameter Determination and Feature Selection of Support Vector Machines | Shih-Wei Lin, et al. | Expert Systems with Applications | PDF
ランダム探索
Section titled “ランダム探索”
- 2016 | Hyperband: A Novel Bandit-Based Approach to Hyperparameter Optimization | Lisha Li, et al. | arXiv | PDF
- 2012 | Random Search for Hyper-Parameter Optimization | James Bergstra, Yoshua Bengio | JMLR | PDF
- 2011 | Algorithms for Hyper-parameter Optimization | James Bergstra, et al. | NIPS | PDF
転移学習
Section titled “転移学習”
- 2016 | Efficient Transfer Learning Method for Automatic Hyperparameter Tuning | Dani Yogatama, Gideon Mann | JMLR | PDF
- 2016 | Flexible Transfer Learning Framework for Bayesian Optimisation | Tinu Theckel Joy, et al. | PAKDD | PDF
- 2016 | Hyperparameter Optimization Machines | Martin Wistuba, et al. | DSAA | PDF
- 2013 | Collaborative Hyperparameter Tuning | R´emi Bardenet, et al. | ICML | PDF

その他

2020 | Automated Machine Learning Techniques for Data Streams | Alexandru-Ionut Imbrea | PDF
2018 | Accelerating Neural Architecture Search using Performance Prediction | Bowen Baker, et al. | ICLR | PDF
2017 | Automatic Frankensteining: Creating Complex Ensembles Autonomously | Martin Wistuba, et al. | SIAM | PDF
2018 | Characterizing classification datasets: A study of meta-features for meta-learning | Rivolli, Adriano, et al. | arXiv | PDF
2020 | Putting the Human Back in the AutoML Loop | Xanthopoulos, Iordanis, et al. | EDBT/ICDT | PDF

チュートリアル

ベイズ最適化

2018 | A Tutorial on Bayesian Optimization. | PDF
2010 | A Tutorial on Bayesian Optimization of Expensive Cost Functions, with Application to Active User Modeling and Hierarchical Reinforcement Learning | PDF

メタ学習

2008 | Metalearning - A Tutorial | PDF

ブログ

種類	ブログ記事のタイトル	リンク
HPO	Bayesian Optimization for Hyperparameter Tuning	`Link`
Meta-Learning	Learning to learn	`Link`
Meta-Learning	Why Meta-learning is Crucial for Further Advances of Artificial Intelligence?	`Link`

書籍

出版年	種類	書名	著者	出版社	リンク
2009	Meta-Learning	Metalearning - Applications to Data Mining	Brazdil, P., Giraud Carrier, C., Soares, C., Vilalta, R.	Springer	`Download`
2019	HPO, Meta-Learning, NAS	AutoML: Methods, Systems, Challenges	Frank Hutter, Lars Kotthoff, Joaquin Vanschoren		`Download`
2021	Learning	Automated Machine Learning in Action	Qinquan Song, Haifeng Jin, Xia Hu	Manning Publications	`Download`

動画

プロジェクト

プロジェクト	種類	言語	ライセンス	リンク
AdaNet	NAS	Python	Apache-2.0	`Github`
Advisor	HPO	Python	Apache-2.0	`Github`
AMLA	HPO, NAS	Python	Apache-2.0	`Github`
ATM	HPO	Python	MIT	`Github`
Auger	HPO	Python	Commercial	`Homepage`
auptimizer	HPO, NAS	Python (support R script)	GPL-3.0	`Github`
Auto-Keras	NAS	Python	`License`	`Github`
AutoML Vision	NAS	Python	Commercial	`Homepage`
AutoML Video Intelligence	NAS	Python	Commercial	`Homepage`
AutoML Natural Language	NAS	Python	Commercial	`Homepage`
AutoML Translation	NAS	Python	Commercial	`Homepage`
AutoML Tables	AutoFE, HPO	Python	Commercial	`Homepage`
AutoPyTorch	HPO, NAS	Python	Apache-2.0	`Github`
HyperGBM	HPO	Python	Python	`Github`
HyperKeras	NAS	Python	Python	`Github`
Hypernets	HPO, NAS	Python	Python	`Github`
auto-sklearn	HPO	Python	`License`	`Github`
auto_ml	HPO	Python	MIT	`Github`
BayesianOptimization	HPO	Python	MIT	`Github`
BayesOpt	HPO	C++	AGPL-3.0	`Github`
comet	HPO	Python	Commercial	`Homepage`
DataRobot	HPO	Python	Commercial	`Homepage`
DEvol	NAS	Python	MIT	`Github`
DeepArchitect	NAS	Python	MIT	`Github`
Determined	HPO, NAS	Python	Apache-2.0	`Github`
Driverless AI	AutoFE	Python	Commercial	`Homepage`
FAR-HO	HPO	Python	MIT	`Github`
H2O AutoML	HPO	Python, R, Java, Scala	Apache-2.0	`Github`
HpBandSter	HPO	Python	BSD-3-Clause	`Github`
HyperBand	HPO	Python	`License`	`Github`
Hyperopt	HPO	Python	`License`	`Github`
Hyperopt-sklearn	HPO	Python	`License`	`Github`
Hyperparameter Hunter	HPO	Python	MIT	`Github`
Katib	HPO	Python	Apache-2.0	`Github`
MateLabs	HPO	Python	Commercial	`Github`
Milano	HPO	Python	Apache-2.0	`Github`
MLJAR	AutoFE, HPO, NAS	Python	MIT	`Github`
mlr3automl	HPO	R	LGPL-3.0	`GitHub`
nasbot	NAS	Python	MIT	`Github`
neptune	HPO	Python	Commercial	`Homepage`
NNI	HPO, NAS	Python	MIT	`Github`
Oboe	HPO	Python	BSD-3-Clause	`Github`
Optunity	HPO	Python	`License`	`Github`
R2.ai	HPO		Commercial	`Homepage`
RBFOpt	HPO	Python	`License`	`Github`
RoBO	HPO	Python	BSD-3-Clause	`Github`
Scikit-Optimize	HPO	Python	`License`	`Github`
SigOpt	HPO	Python	Commercial	`Homepage`
SMAC3	HPO	Python	`License`	`Github`
TPOT	AutoFE, HPO	Python	LGPL-3.0	`Github`
TransmogrifAI	HPO	Scala	BSD-3-Clause	`Github`
Tune	HPO	Python	Apache-2.0	`Github`
Xcessiv	HPO	Python	Apache-2.0	`Github`
SmartML	HPO	R	GPL-3.0	`Github`
MLBox	AutoFE, HPO	Python	BSD-3 License	`Github`
AutoAI Watson	AutoFE, HPO		Commercial	`Homepage`
AUtoML	AutoML	Python	MIT	`Github`
Optuna	HPO	Python	MIT	`Github`

スライド

種類	スライドタイトル	著者	リンク
AutoFE	Automated Feature Engineering for Predictive Modeling	Udyan Khurana, etc al.	`Download`
HPO	A Tutorial on Bayesian Optimization for Machine Learning	Ryan P. Adams	`Download`
HPO	Bayesian Optimisation	Gilles Louppe	`Download`

謝辞

このプロジェクトに貢献してくださった皆さんに心より感謝します。

名前	略歴
Alexander Robles	ブラジル・UNICAMP 博士課程学生
derekflint
endymecy	Tencent 上級研究員
Eric
Erin LeDell	H2O.ai 機械学習主任研究員
fwcore
Gaurav Mittal
Hernan Ceferino Vazquez	博士、MercadoLibre データサイエンス専門家
Kaustubh Damania
Lilian Besson	CentraleSupélec 博士課程学生
罗磊
Marc
Mohamed Maher
Neil Conway	Determined AI CTO
Richard Liaw	UC Berkeley 博士課程学生
Randy Olson	LifeEGX 主任データサイエンティスト
Slava Kurilyak	Produvia 創業者兼 CEO
Saket Maheshwary	AI 研究者
shaido987
sophia-wright-blue
tengben0905
xuehui	@Microsoft
Yihui He	カーネギーメロン大学大学院生

お問い合わせ・フィードバック

ご提案（掲載漏れや新しい論文、注目すべき研究者、誤字など）があれば、ぜひプルリクエストをお送りください。次の宛先にメールを送ることもできます。

Mark Lin (hibayesian@gmail.com).

ライセンス

Awesome-AutoML-Papers は Apache License 2.0 の下で公開されています。

HagiCode

HagiCode はエージェント型コーディングワークスペースです。豊富で便利な UI インタラクションにより、計画・エージェント実行・プロジェクト作業を始めやすく、進めやすくし、開発をより魅力的な体験にします。

豊富で便利な UI インタラクションで、計画からプロジェクト作業までを分かりやすく進められます。

HagiCode を見るドキュメントを読む

スマートOpenSpec ワークフローが意図を、提案・設計・タスクから変更のリリースまで実行可能な道筋にします。
効率的マルチエージェント実行で調査・実装・レビューを並行して進め、複数リポジトリや使い慣れた Agent CLI にも対応します。
興味深い豊富で便利な UI インタラクションにより、計画・エージェント実行・プロジェクト作業を始めやすく、進めやすくします。

Windows 版をダウンロード

Microsoft Store で入手

すべてのダウンロード

HagiCode は豊富で便利な UI インタラクションにより、計画・エージェント実行・プロジェクト作業を進めやすくします：https://www.hagicode.com/

アイデアを、出荷できるソフトウェアへ。

HagiCode はエージェント型コーディングワークスペースです。OpenSpec ワークフローで変更を計画し、マルチエージェント実行で進め、Hero Scenario で長い作業の進み具合を見える化して、アイデアを出荷できるソフトウェアにします。

HagiCode をダウンロード製品ドキュメント

スマート: OpenSpec ワークフローが、意図を提案からリリースまでの実行可能な道筋にします。
効率的: マルチエージェント実行で、調査・実装・レビューを並行して進めます。
楽しい: 使いやすい UI で、計画・Agent 実行・プロジェクト作業を進めやすくします。

AutoML Papers

Awesome-AutoML-Papers

AutoML とは？

目次

論文

サーベイ

特徴量エンジニアリングの自動化

拡張と縮約

変換の階層的な編成

メタ学習

強化学習

アーキテクチャ探索

進化的アルゴリズム

局所探索

メタ学習

強化学習

転移学習

ネットワークモーフィズム

連続最適化

フレームワーク

ハイパーパラメータ最適化

ベイズ最適化

進化的アルゴリズム

Lipschitz Functions

局所探索

メタ学習

粒子群最適化

ランダム探索

転移学習

その他

チュートリアル

ベイズ最適化

メタ学習

ブログ

書籍

動画

プロジェクト

スライド

謝辞

お問い合わせ・フィードバック

ライセンス

HagiCode

Windows 版をダウンロード

HagiCode を共有

アイデアを、出荷できるソフトウェアへ。

Cookieと分析

必須：常にオン

分析：許可するまでオフ