Aller au contenu

Selectionner la langue

Langue actuelle: Français

AutoML Papers

Source: https://github.com/hibayesian/awesome-automl-papers at 0317821496b4
License: Apache-2.0
Read the English original

This edition is an AI-assisted translation.

Awesome-AutoML-Papers rassemble une sélection d’articles de recherche, d’articles, de tutoriels, de présentations et de projets sur l’apprentissage automatique automatisé. Ajoutez une étoile au dépôt pour suivre les dernières avancées de ce domaine en plein essor. Merci à toutes les personnes qui ont contribué au projet. Rejoignez-nous et n’hésitez pas à contribuer.

L’apprentissage automatique automatisé (AutoML) propose des méthodes et des processus permettant aux non-spécialistes d’utiliser l’apprentissage automatique, d’en améliorer l’efficacité et d’accélérer la recherche dans ce domaine.

L’apprentissage automatique (ML) a connu des avancées considérables ces dernières années et un nombre croissant de disciplines s’appuient sur lui. Toutefois, ces succès reposent largement sur des spécialistes du ML pour effectuer les tâches suivantes :

  • Prétraiter les données,
  • Sélectionner les caractéristiques appropriées,
  • Choisir une famille de modèles appropriée,
  • Optimiser les hyperparamètres du modèle,
  • Post-traiter les modèles d’apprentissage automatique,
  • Analyser de manière critique les résultats obtenus,

La complexité de ces tâches dépassant souvent les compétences des non-spécialistes du ML, la croissance rapide des applications d’apprentissage automatique a créé une demande de méthodes prêtes à l’emploi, faciles à utiliser sans connaissances spécialisées. Nous appelons AutoML le domaine de recherche qui vise à automatiser progressivement l’apprentissage automatique. En tant que nouveau sous-domaine du ML, l’AutoML suscite de l’intérêt non seulement en apprentissage automatique, mais aussi en vision par ordinateur, en traitement automatique des langues et en calcul sur graphes.

Il n’existe pas de définition formelle de l’AutoML. D’après la plupart des articles, son processus de base peut être représenté comme suit.

Les approches d’AutoML sont désormais assez mûres pour rivaliser avec les spécialistes du ML, et parfois même les surpasser. En bref, l’AutoML peut améliorer les performances tout en faisant gagner beaucoup de temps et d’argent, car les spécialistes du ML sont rares et coûteux. L’intérêt commercial pour l’AutoML a donc fortement augmenté ces dernières années, et plusieurs grandes entreprises technologiques ainsi que des start-up développent leurs propres systèmes. Le tableau ci-dessous présente une comparaison de quelques-uns d’entre eux.

EntrepriseAutoFEHPONAS
4paradigm√√×
Alibaba×√×
Baidu××√
Determined AI×√√
Google√√√
DataCanvas√√√
H2O.ai√√×
Microsoft×√√
MLJAR√√√
RapidMiner√√×
Tencent×√×

Awesome-AutoML-Papers propose des synthèses récentes des techniques fondamentales de l’AutoML :

  • Nettoyage automatisé des données (Auto Clean)
  • Ingénierie automatisée des caractéristiques (Auto FE)
  • Optimisation des hyperparamètres (HPO)
  • Méta-apprentissage
  • Recherche d’architecture neuronale (NAS)
  • 2019 | AutoML: A Survey of the State-of-the-Art | Xin He, et al. | arXiv | PDF
  • 2019 | Survey on Automated Machine Learning | Marc Zoeller, Marco F. Huber | arXiv | PDF
  • 2019 | Automated Machine Learning: State-of-The-Art and Open Challenges | Radwa Elshawi, et al. | arXiv | PDF
  • 2018 | Taking Human out of Learning Applications: A Survey on Automated Machine Learning | Quanming Yao, et al. | arXiv | PDF
  • 2020 | On Hyperparameter Optimization of Machine Learning Algorithms: Theory and Practice | Li Yang, et al. | Neurocomputing | PDF
  • 2020 | Automated Machine Learning—a brief review at the end of the early years | Escalante, H. J. | arXiv | PDF
  • 2022 | IoT Data Analytics in Dynamic Environments: From An Automated Machine Learning Perspective | Li Yang, et al. | arXiv | PDF
  • 2024 | Automated machine learning: past, present and future | Baratchi. M, et al. | Artificial Intelligence Review | Springer
  • 2022 | BERT-Sort: A Zero-shot MLM Semantic Encoder on Ordinal Features for AutoML | Mehdi Bahrami, et al. | AutoML | PDF
  • 2017 | AutoLearn — Automated Feature Generation and Selection | Ambika Kaul, et al. | ICDM | PDF
  • 2017 | One button machine for automating feature engineering in relational databases | Hoang Thanh Lam, et al. | arXiv | PDF
  • 2016 | Automating Feature Engineering | Udayan Khurana, et al. | NIPS | PDF
  • 2016 | ExploreKit: Automatic Feature Generation and Selection | Gilad Katz, et al. | ICDM | PDF
  • 2015 | Deep Feature Synthesis: Towards Automating Data Science Endeavors | James Max Kanter, Kalyan Veeramachaneni | DSAA | PDF
  • 2019 | Auptimizer — an Extensible, Open-Source Framework for Hyperparameter Tuning | Jiayi Liu, et al. | IEEE Big Data | PDF
  • 2019 | Towards modular and programmable architecture search | Renato Negrinho, et al. | NeurIPS | PDF
  • 2019 | Evolutionary Neural AutoML for Deep Learning | Jason Liang, et al. | arXiv | PDF
  • 2017 | ATM: A Distributed, Collaborative, Scalable System for Automated Machine Learning | T. Swearingen, et al. | IEEE | PDF
  • 2017 | Google Vizier: A Service for Black-Box Optimization | Daniel Golovin, et al. | KDD |PDF
  • 2015 | AutoCompete: A Framework for Machine Learning Competitions | Abhishek Thakur, et al. | ICML | PDF
    • 2020 | Bayesian Optimization of Risk Measures | NeurIPS | PDF
    • 2020 | BOTORCH: A Framework for Efficient Monte-Carlo Bayesian Optimization | NeurIPS | PDF
    • 2020 | Tuning Hyperparameters without Grad Students: Scalable and Robust Bayesian Optimisation with Dragonfly | JMLR | PDF
    • 2019 | Bayesian Optimization with Unknown Search Space | NeurIPS | PDF
    • 2019 | Constrained Bayesian optimization with noisy experiments | PDF
    • 2019 | Learning search spaces for Bayesian optimization: Another view of hyperparameter transfer learning | NeurIPS | PDF
    • 2019 | Practical Two-Step Lookahead Bayesian Optimization | NeurIPS | PDF
    • 2019 | Predictive entropy search for multi-objective bayesian optimization with constraints | PDF
    • 2018 | BOCK: Bayesian optimization with cylindrical kernels | ICML | PDF
    • 2018 | Efficient High Dimensional Bayesian Optimization with Additivity and Quadrature Fourier Features | Mojmír Mutný, et al. | NeurIPS | PDF
    • 2018 | High-Dimensional Bayesian Optimization via Additive Models with Overlapping Groups. | PMLR | PDF
    • 2018 | Maximizing acquisition functions for Bayesian optimization | NeurIPS | PDF
    • 2018 | Scalable hyperparameter transfer learning | NeurIPS | PDF
    • 2016 | Bayesian Optimization with Robust Bayesian Neural Networks | Jost Tobias Springenberg, et al. | NIPS | PDF
    • 2016 | Scalable Hyperparameter Optimization with Products of Gaussian Process Experts | Nicolas Schilling, et al. | PKDD | PDF
    • 2016 | Taking the Human Out of the Loop: A Review of Bayesian Optimization | Bobak Shahriari, et al. | IEEE | PDF
    • 2016 | Towards Automatically-Tuned Neural Networks | Hector Mendoza, et al. | JMLR | PDF
    • 2016 | Two-Stage Transfer Surrogate Model for Automatic Hyperparameter Optimization | Martin Wistuba, et al. | PKDD | PDF
    • 2015 | Efficient and Robust Automated Machine Learning | PDF
    • 2015 | Hyperparameter Optimization with Factorized Multilayer Perceptrons | Nicolas Schilling, et al. | PKDD | PDF
    • 2015 | Hyperparameter Search Space Pruning - A New Component for Sequential Model-Based Hyperparameter Optimization | Martin Wistua, et al. | PDF
    • 2015 | Joint Model Choice and Hyperparameter Optimization with Factorized Multilayer Perceptrons | Nicolas Schilling, et al. | ICTAI | PDF
    • 2015 | Learning Hyperparameter Optimization Initializations | Martin Wistuba, et al. | DSAA | PDF
    • 2015 | Scalable Bayesian optimization using deep neural networks | Jasper Snoek, et al. | ACM | PDF
    • 2015 | Sequential Model-free Hyperparameter Tuning | Martin Wistuba, et al. | ICDM | PDF
    • 2013 | Auto-WEKA: Combined Selection and Hyperparameter Optimization of Classification Algorithms | PDF
    • 2013 | Making a Science of Model Search: Hyperparameter Optimization in Hundreds of Dimensions for Vision Architectures | J. Bergstra | JMLR | PDF
    • 2012 | Practical Bayesian Optimization of Machine Learning Algorithms | PDF
    • 2011 | Sequential Model-Based Optimization for General Algorithm Configuration(extended version) | PDF
    • 2020 | Delta-STN: Efficient Bilevel Optimization for Neural Networks using Structured Response Jacobians | Juhan Bae, Roger Grosse | Neurips | PDF
    • 2018 | Autostacker: A Compositional Evolutionary Learning System | Boyuan Chen, et al. | arXiv | PDF
    • 2017 | Large-Scale Evolution of Image Classifiers | Esteban Real, et al. | PMLR | PDF
    • 2016 | Automating biomedical data science through tree-based pipeline optimization | Randal S. Olson, et al. | ECAL | PDF
    • 2016 | Evaluation of a tree-based pipeline optimization tool for automating data science | Randal S. Olson, et al. | GECCO | PDF
    • 2017 | Global Optimization of Lipschitz functions | C´edric Malherbe, Nicolas Vayatis | arXiv | PDF
    • 2009 | ParamILS: An Automatic Algorithm Configuration Framework | Frank Hutter, et al. | JAIR | PDF
    • 2019 | OBOE: Collaborative Filtering for AutoML Model Selection | Chengrun Yang, et al. | KDD | PDF
    • 2019 | SMARTML: A Meta Learning-Based Framework for Automated Selection and Hyperparameter Tuning for Machine Learning Algorithms | PDF
    • 2008 | Cross-Disciplinary Perspectives on Meta-Learning for Algorithm Selection | PDF
    • 2017 | Particle Swarm Optimization for Hyper-parameter Selection in Deep Neural Networks | Pablo Ribalta Lorenzo, et al. | GECCO | PDF
    • 2008 | Particle Swarm Optimization for Parameter Determination and Feature Selection of Support Vector Machines | Shih-Wei Lin, et al. | Expert Systems with Applications | PDF
    • 2016 | Hyperband: A Novel Bandit-Based Approach to Hyperparameter Optimization | Lisha Li, et al. | arXiv | PDF
    • 2012 | Random Search for Hyper-Parameter Optimization | James Bergstra, Yoshua Bengio | JMLR | PDF
    • 2011 | Algorithms for Hyper-parameter Optimization | James Bergstra, et al. | NIPS | PDF
    • 2016 | Efficient Transfer Learning Method for Automatic Hyperparameter Tuning | Dani Yogatama, Gideon Mann | JMLR | PDF
    • 2016 | Flexible Transfer Learning Framework for Bayesian Optimisation | Tinu Theckel Joy, et al. | PAKDD | PDF
    • 2016 | Hyperparameter Optimization Machines | Martin Wistuba, et al. | DSAA | PDF
    • 2013 | Collaborative Hyperparameter Tuning | R´emi Bardenet, et al. | ICML | PDF
  • 2020 | Automated Machine Learning Techniques for Data Streams | Alexandru-Ionut Imbrea | PDF
  • 2018 | Accelerating Neural Architecture Search using Performance Prediction | Bowen Baker, et al. | ICLR | PDF
  • 2017 | Automatic Frankensteining: Creating Complex Ensembles Autonomously | Martin Wistuba, et al. | SIAM | PDF
  • 2018 | Characterizing classification datasets: A study of meta-features for meta-learning | Rivolli, Adriano, et al. | arXiv | PDF
  • 2020 | Putting the Human Back in the AutoML Loop | Xanthopoulos, Iordanis, et al. | EDBT/ICDT | PDF
  • 2018 | A Tutorial on Bayesian Optimization. | PDF
  • 2010 | A Tutorial on Bayesian Optimization of Expensive Cost Functions, with Application to Active User Modeling and Hierarchical Reinforcement Learning | PDF
  • 2008 | Metalearning - A Tutorial | PDF
TypeTitre du blogLien
HPOBayesian Optimization for Hyperparameter TuningLink
Meta-LearningLearning to learnLink
Meta-LearningWhy Meta-learning is Crucial for Further Advances of Artificial Intelligence?Link
Année de publicationTypeTitre du livreAuteursÉditeurLien
2009Meta-LearningMetalearning - Applications to Data MiningBrazdil, P., Giraud Carrier, C., Soares, C., Vilalta, R.SpringerDownload
2019HPO, Meta-Learning, NASAutoML: Methods, Systems, ChallengesFrank Hutter, Lars Kotthoff, Joaquin VanschorenDownload
2021LearningAutomated Machine Learning in ActionQinquan Song, Haifeng Jin, Xia HuManning PublicationsDownload

| Titre | Auteur | Lien | | AutoML Basics: Automated Machine Learning in Action | Qinquan Song, Haifeng Jin, Xia Hu | (https://www.youtube.com/watch?v=9KpieG0B7VM) |

ProjetTypeLangueLicenceLien
AdaNetNASPythonApache-2.0Github
AdvisorHPOPythonApache-2.0Github
AMLAHPO, NASPythonApache-2.0Github
ATMHPOPythonMITGithub
AugerHPOPythonCommercialHomepage
auptimizerHPO, NASPython (support R script)GPL-3.0Github
Auto-KerasNASPythonLicenseGithub
AutoML VisionNASPythonCommercialHomepage
AutoML Video IntelligenceNASPythonCommercialHomepage
AutoML Natural LanguageNASPythonCommercialHomepage
AutoML TranslationNASPythonCommercialHomepage
AutoML TablesAutoFE, HPOPythonCommercialHomepage
AutoPyTorchHPO, NASPythonApache-2.0Github
HyperGBMHPOPythonPythonGithub
HyperKerasNASPythonPythonGithub
HypernetsHPO, NASPythonPythonGithub
auto-sklearnHPOPythonLicenseGithub
auto_mlHPOPythonMITGithub
BayesianOptimizationHPOPythonMITGithub
BayesOptHPOC++AGPL-3.0Github
cometHPOPythonCommercialHomepage
DataRobotHPOPythonCommercialHomepage
DEvolNASPythonMITGithub
DeepArchitectNASPythonMITGithub
DeterminedHPO, NASPythonApache-2.0Github
Driverless AIAutoFEPythonCommercialHomepage
FAR-HOHPOPythonMITGithub
H2O AutoMLHPOPython, R, Java, ScalaApache-2.0Github
HpBandSterHPOPythonBSD-3-ClauseGithub
HyperBandHPOPythonLicenseGithub
HyperoptHPOPythonLicenseGithub
Hyperopt-sklearnHPOPythonLicenseGithub
Hyperparameter HunterHPOPythonMITGithub
KatibHPOPythonApache-2.0Github
MateLabsHPOPythonCommercialGithub
MilanoHPOPythonApache-2.0Github
MLJARAutoFE, HPO, NASPythonMITGithub
mlr3automlHPORLGPL-3.0GitHub
nasbotNASPythonMITGithub
neptuneHPOPythonCommercialHomepage
NNIHPO, NASPythonMITGithub
OboeHPOPythonBSD-3-ClauseGithub
OptunityHPOPythonLicenseGithub
R2.aiHPOCommercialHomepage
RBFOptHPOPythonLicenseGithub
RoBOHPOPythonBSD-3-ClauseGithub
Scikit-OptimizeHPOPythonLicenseGithub
SigOptHPOPythonCommercialHomepage
SMAC3HPOPythonLicenseGithub
TPOTAutoFE, HPOPythonLGPL-3.0Github
TransmogrifAIHPOScalaBSD-3-ClauseGithub
TuneHPOPythonApache-2.0Github
XcessivHPOPythonApache-2.0Github
SmartMLHPORGPL-3.0Github
MLBoxAutoFE, HPOPythonBSD-3 LicenseGithub
AutoAI WatsonAutoFE, HPOCommercialHomepage
AUtoMLAutoMLPythonMITGithub
OptunaHPOPythonMITGithub
TypeTitre de la présentationAuteursLien
AutoFEAutomated Feature Engineering for Predictive ModelingUdyan Khurana, etc al.Download
HPOA Tutorial on Bayesian Optimization for Machine LearningRyan P. AdamsDownload
HPOBayesian OptimisationGilles LouppeDownload

Un grand merci à toutes les personnes qui ont contribué à ce projet.

NomBiographie
Alexander RoblesDoctorant à l’UNICAMP (Brésil)
derekflint
endymecyChercheur senior chez Tencent
Eric
Erin LeDellScientifique en chef du machine learning chez H2O.ai
fwcore
Gaurav Mittal
Hernan Ceferino VazquezDocteur, expert en science des données chez MercadoLibre
Kaustubh Damania
Lilian BessonDoctorant à CentraleSupélec
罗磊
Marc
Mohamed Maher
Neil ConwayDirecteur technique chez Determined AI
Richard LiawDoctorant à l’UC Berkeley
Randy OlsonResponsable de la science des données chez LifeEGX
Slava KurilyakFondateur et PDG de Produvia
Saket MaheshwaryChercheur en IA
shaido987
sophia-wright-blue
tengben0905
xuehui@Microsoft
Yihui HeÉtudiant diplômé à Carnegie Mellon

Si vous avez des suggestions (articles manquants ou nouveaux, chercheurs importants ou coquilles), n’hésitez pas à soumettre une demande. Vous pouvez également écrire à :

Awesome-AutoML-Papers est distribué sous licence Apache 2.0.

HagiCode

HagiCode est un espace de développement agentique. Des interactions d’interface riches et pratiques rendent la planification, l’exécution des agents et le travail sur les projets accessibles et faciles à suivre, pour une expérience de développement engageante.

Une expérience de développement engageante grâce à des interactions d’interface riches et pratiques.

Visiter HagiCodeLire la documentation
  • IntelligentLes workflows OpenSpec transforment une intention en parcours exécutable, de la proposition à la livraison en passant par la conception et les tâches.
  • EfficaceL’exécution multi-agent fait avancer recherche, réalisation et revue en parallèle, sur plusieurs dépôts et avec les Agent CLI que vous utilisez déjà.
  • IntéressantDes interactions d’interface riches et pratiques rendent la planification, l’exécution des agents et le travail sur les projets accessibles et faciles à suivre.

Télécharger pour Windows

Obtenir sur le Microsoft StoreTous les téléchargements

Transformez vos idées en logiciels livrés.

HagiCode est un espace de développement agentique : les workflows OpenSpec planifient le changement, l’exécution multi-agent le réalise et Hero Scenario rend le long parcours visible, pour transformer vos idées en logiciels livrés.

Intelligent
Les workflows OpenSpec transforment une intention en parcours, de la proposition à la livraison.
Efficace
L’exécution multi-agent mène recherche, réalisation et revue en parallèle.
Ludique
Les interactions d’interface facilitent la planification, l’exécution des agents et les projets.

Quitter Awesome Site ?

Vous allez visiter un site externe. Nous ne contrôlons ni son contenu ni ses pratiques de confidentialité.

Site de destination

Continuer vers le site