Production Machine Learning

Source: https://github.com/EthicalML/awesome-production-machine-learning at 4efc0a16249c
License: MIT
Read the English original

This edition is an AI-assisted translation.

Избранное: машинное обучение в промышленной эксплуатации

В этом репозитории собран список отличных библиотек с открытым исходным кодом, которые помогут развертывать, отслеживать, версионировать, масштабировать и защищать модели машинного обучения в промышленной эксплуатации 🚀

Следите за этим репозиторием на GitHub, чтобы каждый месяц получать сводку о новых библиотеках для промышленного машинного обучения в выпусках 🤩

Кроме того, мы подготовили инструментарий поиска, который поможет быстро сориентироваться в инструментах.

Быстрые ссылки на разделы этой страницы


🔧 Автоматическое машинное обучение	🧮 Оптимизация вычислений и коммуникаций	🏷️ Аннотирование и синтез данных
🧵 Конвейеры данных	📓 Блокноты для науки о данных	💾 Оптимизация хранения данных
💸 Обработка потоков данных	💪 Развертывание и обслуживание	📈 Оценка и мониторинг
🔍 Объяснимость и справедливость	🎁 Хранилища признаков	🔴 Промышленное обнаружение аномалий
👁️ Промышленное компьютерное зрение	🔥 Промышленный информационный поиск	🔠 Промышленная обработка естественного языка
🙌 Промышленные рекомендательные системы	🍕 Промышленное обучение с подкреплением	🤖 Промышленная робототехника
📊 Промышленная визуализация	📅 Управление метаданными	📜 Управление моделями, данными и экспериментами
🔩 Оптимизация хранения моделей	🏁 Обучение моделей и оркестрация	🔏 Конфиденциальность и безопасность

Как внести вклад в список

Перед отправкой PR ознакомьтесь с требованиями CONTRIBUTING.md, чтобы помочь нам поддерживать список в актуальном состоянии и порядке. Спасибо сообществу за поддержку его постоянного развития 🚀

Обзор в видео за 10 минут

В этом 10-минутном видео рассказывается о причинах появления машинного обучения в эксплуатации (MLOps), а также кратко рассматриваются некоторые инструменты из этого репозитория. В этом более новом видео представлен обновлённый обзор состояния MLOps за 2024 год.

Хотите регулярно получать обновления об этом репозитории и других новостях?

Подпишитесь на рассылку Machine Learning Engineer. Присоединяйтесь к более чем 70 000 специалистам и энтузиастам в области машинного обучения, которые каждую неделю получают подборку статей и руководств по промышленному машинному обучению.

Также посмотрите список Awesome Production GenAI, в котором собраны тщательно отобранные библиотеки с открытым исходным кодом для развертывания, мониторинга, версионирования и масштабирования приложений и систем генеративного ИИ.

Основное содержание

Автоматическое машинное обучение (AutoML)

AIDE - AIDE — агент для разработки ML с открытым исходным кодом, который использует алгоритм поиска по дереву для автономного изучения, реализации и оценки стратегий решения задач машинного обучения.
AutoGluon - Автоматический выбор признаков, моделей и гиперпараметров для табличных данных, изображений и текста на базе популярных библиотек машинного обучения (Scikit-Learn, LightGBM, CatBoost, PyTorch, MXNet).
Autokeras - Библиотека AutoML для Keras, основанная на работе «Auto-Keras: эффективный поиск архитектуры нейронной сети с помощью Network Morphism».
auto-sklearn - Фреймворк для автоматизации подбора алгоритмов и гиперпараметров в sklearn.
Ax - Ax — доступная универсальная платформа для изучения, управления, развертывания и автоматизации адаптивных экспериментов.
BoTorch - Библиотека для байесовской оптимизации на базе PyTorch.
EvalML - EvalML — библиотека AutoML, которая создает, оптимизирует и оценивает конвейеры машинного обучения с помощью предметно-ориентированных целевых функций.
Feature Engine - Feature-engine — библиотека Python с набором преобразователей для создания признаков, используемых в моделях машинного обучения.
Featuretools - Фреймворк с открытым исходным кодом для автоматизированного создания признаков.
FLAML - FLAML — быстрая библиотека для автоматизированного машинного обучения и настройки моделей.
HEBO - Набор фреймворков для оптимизации гиперпараметров с открытым исходным кодом, включая работу-победителя соревнования NeurIPS 2020 по оптимизации «чёрного ящика», проверенную на задачах подбора гиперпараметров.
Katib - Система на базе Kubernetes для настройки гиперпараметров и поиска архитектур нейронных сетей.
keras-tuner - Keras Tuner — простой в использовании распределяемый фреймворк оптимизации гиперпараметров, решающий сложности их подбора. Он упрощает задание пространства поиска и использование встроенных алгоритмов для нахождения оптимальных значений гиперпараметров.
Optuna - Optuna — программный фреймворк для автоматической оптимизации гиперпараметров, предназначенный в первую очередь для машинного обучения.
OSS Vizier - OSS Vizier — сервис на Python для оптимизации «чёрного ящика» и исследований, один из первых сервисов настройки гиперпараметров, рассчитанных на работу в крупном масштабе.
Perpetual - Градиентный бустинг, которому не нужна оптимизация гиперпараметров: сложность модели регулируется простым параметром бюджета.
TPOT - Автоматизация создания конвейеров sklearn (включая отбор признаков, предварительную обработку и т. д.).
tsfresh - Автоматическое извлечение значимых признаков из временных рядов.

Оптимизация вычислений и коммуникаций

Accelerate - Accelerate абстрагирует ровно тот шаблонный код, который связан с несколькими GPU/TPU и смешанной точностью, оставляя остальной код без изменений.
Adapters - Adapters — унифицированная библиотека для модульного трансферного обучения с эффективным использованием параметров.
Cache-DiT - Cache-DiT построена на базе Diffusers и поддерживает почти все DiT, обеспечивая гибридное ускорение с помощью кэша (DBCache, TaylorSeer, SCM и др.) и комплексную оптимизацию параллелизма, включая параллелизм по контексту и тензорам, а также гибридный параллелизм 2D/3D; поддерживаются компиляция, выгрузка на CPU и квантование.
Colossal-AI - Унифицированная система глубокого обучения для эпохи больших моделей, помогающая быстро и эффективно развертывать обучение и инференс крупных моделей ИИ.
Composer - Composer — библиотека PyTorch, позволяющая обучать нейронные сети быстрее, дешевле и с более высокой точностью.
CuDF - Созданная на основе колоночного формата памяти Apache Arrow библиотека DataFrame для GPU: загрузка, объединение, агрегация, фильтрация и другие операции с данными.
CuML - cuML — набор библиотек с алгоритмами машинного обучения и математическими примитивами, API которых совместимы с другими проектами RAPIDS.
CuPy - Реализация совместимых с NumPy многомерных массивов для CUDA. CuPy включает основной класс многомерных массивов cupy.ndarray и множество функций для работы с ним.
DEAP - Новый фреймворк эволюционных вычислений для быстрого прототипирования и проверки идей. Он делает алгоритмы явными, а структуры данных — прозрачными. Фреймворк отлично сочетается с механизмами параллелизации, такими как multiprocessing и SCOOP.
DeepEP - DeepEP — библиотека коммуникации для смесей экспертов (MoE) и параллелизма экспертов (EP). Она предоставляет высокопроизводительные GPU-ядра с низкой задержкой для операций all-to-all, также известных как диспетчеризация и объединение MoE. Поддерживаются и операции с низкой точностью, включая FP8.
DGL - DGL — простой в использовании, высокопроизводительный и масштабируемый пакет Python для глубокого обучения на графах.
DLRover - DLRover упрощает распределённое обучение крупных моделей ИИ, делая его стабильным, быстрым и экологичным.
Dask - Фреймворк распределённой параллельной обработки вычислений Pandas и NumPy.
DeepSpeed - DeepSpeed — библиотека оптимизации глубокого обучения, упрощающая распределённое обучение и инференс, делая их эффективными и результативными.
FlagGems - FlagGems — высокопроизводительная библиотека универсальных операторов, реализованная на OpenAI Triton. В её основе — независимые от бэкенда ядра для ускорения обучения и инференса LLM на разных аппаратных платформах.
Flashlight - Быстрая и гибкая библиотека машинного обучения, полностью написанная на C++ исследовательской группой Facebook AI Research и создателями Torch, TensorFlow, Eigen и Deep Speech.
Flax - Библиотека нейронных сетей и экосистема для JAX, разработанная с упором на гибкость.
GPUStack - GPUStack — диспетчер кластеров GPU с открытым исходным кодом для запуска моделей ИИ.
Hivemind - Децентрализованное глубокое обучение на PyTorch.
Jax - Компонентные преобразования программ на Python и NumPy: дифференцирование, векторизация, JIT-компиляция для GPU/TPU и многое другое.
Kompute - Молниеносно быстрый, лёгкий и работающий на мобильных телефонах фреймворк вычислений Vulkan, оптимизированный для сложной обработки данных на GPU.
Liger Kernel - Liger Kernel — набор ядер Triton, специально разработанных для обучения LLM.
LightGBM - LightGBM — фреймворк градиентного бустинга с алгоритмами обучения на основе деревьев.
MLX - MLX — фреймворк массивов для машинного обучения на Apple silicon.
Modin - Ускорьте работу с Pandas, изменив всего одну строку кода.
NVIDIA TensorRT - TensorRT — библиотека C++ для высокопроизводительного инференса на GPU NVIDIA и ускорителях глубокого обучения.
Nevergrad - Nevergrad — платформа оптимизации без градиентов.
Norse - Norse использует преимущества биоинспирированных нейронных компонентов, которые являются разреженными и управляются событиями, что принципиально отличает их от искусственных нейронных сетей.
Numba Компилятор для массивов Python и числовых функций.
Optimum - Optimum — расширение Transformers и Diffusers с набором инструментов оптимизации: оно упрощает обучение и запуск моделей на целевом оборудовании, сохраняя удобство использования.
PEFT - Методы тонкой настройки с эффективным использованием параметров (PEFT) позволяют адаптировать предварительно обученные языковые модели (PLM) к различным прикладным задачам без настройки всех параметров модели.
PaddlePaddle - PaddlePaddle — фреймворк для обучения крупных глубоких сетей с использованием источников данных, распределённых по сотням узлов.
PyG - PyG (PyTorch Geometric) — библиотека на базе PyTorch, упрощающая создание и обучение графовых нейронных сетей (GNN) для широкого спектра задач со структурированными данными.
PyTorch Lightning - PyTorch Lightning предварительно обучает, дообучает и развертывает модели ИИ на нескольких GPU и TPU без изменений кода.
PyTorch - Библиотека для разработки и обучения моделей глубокого обучения на основе нейронных сетей.
Ray - Ray — гибкий высокопроизводительный фреймворк распределённого выполнения задач машинного обучения.
SetFit - SetFit — эффективный фреймворк для тонкой настройки Sentence Transformers на небольшом числе примеров без промптов.
Sonnet - Sonnet — библиотека на базе TensorFlow 2, предоставляющая простые компоненты для исследований в области машинного обучения.
Streaming - Библиотека потоковой передачи данных для эффективного обучения нейронных сетей.
TensorFlow - TensorFlow — ведущая библиотека для разработки и развертывания современных приложений машинного обучения.
ThunderKittens ThunderKittens — фреймворк, упрощающий написание быстрых ядер глубокого обучения на CUDA.
TorchOpt - TorchOpt — эффективная библиотека дифференцируемой оптимизации на базе PyTorch.
Triton - Triton — язык и компилятор для написания высокоэффективных примитивов глубокого обучения. Его цель — предоставить открытую среду для быстрого написания кода с большей производительностью, чем при использовании CUDA, и большей гибкостью по сравнению с другими существующими DSL.
Vaex Vaex — высокопроизводительная библиотека Python для ленивой работы с DataFrame, не помещающимися в память (аналогично Pandas), чтобы визуализировать и изучать большие табличные наборы данных. Для высокой производительности Vaex использует отображение памяти, копирование данных без выделения памяти и ленивые вычисления.
Vowpal Wabbit Vowpal Wabbit — система машинного обучения, расширяющая возможности машинного обучения с помощью таких методов, как онлайн-обучение, хеширование, allreduce, редукции, learning2search, активное и интерактивное обучение.
XGBoost - XGBoost — оптимизированная распределённая библиотека градиентного бустинга, отличающаяся высокой эффективностью, гибкостью и переносимостью.
YDF - YDF (Yggdrasil Decision Forests) — библиотека для обучения, оценки, интерпретации и обслуживания моделей Random Forest, Gradient Boosted Decision Trees, CART и Isolation Forest.
bitsandbytes - Библиотека bitsandbytes — лёгкая обёртка Python над пользовательскими функциями CUDA, в частности над 8-битными оптимизаторами, умножением матриц (LLM.int8()) и функциями квантования до 8 и 4 бит.
einops - Гибкие и мощные операции с тензорами для понятного и надёжного кода.
scikit-learn - Scikit-learn — мощная библиотека машинного обучения с широким набором модулей для доступа к данным, их подготовки и построения статистических моделей.
snnTorch - snnTorch — библиотека глубокого и онлайн-обучения с импульсными нейронными сетями.
torchdistill - torchdistill предлагает современные методы дистилляции знаний и позволяет задавать (новые) эксперименты, просто редактируя декларативный файл конфигурации YAML вместо кода Python.
torchkeras Библиотека torchkeras — простой инструмент для обучения нейронных сетей на PyTorch в стиле Keras.
veScale - veScale — нативный для PyTorch фреймворк обучения LLM.
yellowbrick - yellowbrick — библиотека визуализации оценки моделей на базе matplotlib для scikit-learn и других библиотек машинного обучения.

Аннотирование и синтез данных

Argilla - Argilla помогает профильным экспертам и командам по работе с данными быстрее создавать более качественные наборы данных для NLP.
cleanlab - Библиотека Python для ИИ, ориентированного на данные. Автоматически ищет ошибочные метки и выбросы, оценивает согласованность и качество разметчиков в наборах с несколькими разметчиками, а также предлагает, какие данные лучше размечать повторно.
COCO Annotator - Веб-инструмент сегментации изображений для обнаружения объектов, локализации и определения ключевых точек.
CVAT - CVAT (Computer Vision Annotation Tool) — веб-инструмент OpenCV для аннотирования видео и изображений, используемых алгоритмами компьютерного зрения.
Doccano - Инструменты аннотирования текста с открытым исходным кодом для задач анализа тональности, распознавания именованных сущностей и машинного перевода.
Label Studio - Инструмент разметки и аннотирования данных для разных предметных областей со стандартизированным форматом вывода.
LightlyStudio - Инструмент с открытым исходным кодом для отбора, аннотирования и управления наборами данных компьютерного зрения (изображений и видео). Поддерживает автоматический отбор по эмбеддингам, аннотирование и автоматическую разметку ограничивающих рамок и сегментаций.
NeMo Curator - NeMo Curator — ускоряемый на GPU фреймворк для эффективной подготовки данных больших языковых моделей.
refinery - Выбор специалистов по данным для масштабирования, оценки и поддержки данных на естественном языке с помощью открытого исходного кода.
SDV - Synthetic Data Vault (SDV) — экосистема библиотек для генерации синтетических данных. Она позволяет изучать одностолбцовые и многотабличные наборы данных, а также временные ряды, чтобы затем создавать новые синтетические данные с тем же форматом и статистическими свойствами, что и исходные.
Semantic Segmentation Editor - Инструмент Hitachi с открытым исходным кодом для разметки данных камер и LIDAR.
synthcity - synthcity — библиотека для генерации и оценки синтетических табличных данных.
TabGAN - Генерация синтетических табличных данных с помощью GAN (CTGAN), диффузионных моделей и LLM, с состязательной фильтрацией, метриками конфиденциальности и интеграцией со sklearn.
ViPE - ViPE — инструмент пространственного ИИ для разметки положений камер и плотных карт глубины по исходным видео.
YData Synthetic - YData Synthetic — пакет для генерации синтетических табличных данных и временных рядов с использованием современных генеративных моделей.

Конвейеры данных

Apache Airflow - Фреймворк конвейеров данных на Python, включающий планировщик, описание DAG и пользовательский интерфейс для визуализации.
Apache Nifi - Apache NiFi создан для потоков данных. Он поддерживает гибко настраиваемые направленные графы маршрутизации, преобразования и системной координации данных.
Argo Workflows - Argo Workflows — движок рабочих процессов с открытым исходным кодом, нативный для контейнеров, для оркестрации параллельных задач в Kubernetes. Реализован как CRD Kubernetes (определение пользовательского ресурса).
Couler - Унифицированный интерфейс для создания рабочих процессов машинного обучения и управления ими на различных движках, таких как Argo Workflows, Tekton Pipelines и Apache Airflow.
DataTrove - DataTrove — библиотека для крупномасштабной обработки, фильтрации и дедупликации текстовых данных.
Dagster - Оркестратор данных для машинного обучения, аналитики и ETL.
DBT - Инструмент ETL для выполнения преобразований внутри хранилищ данных.
Flyte - Облачная нативная платформа Lyft для машинного обучения и обработки данных — демонстрация.
Genie - Механизм оркестрации заданий для взаимодействия с системами на базе Hadoop и запуска заданий из них.
Hamilton - Hamilton — микрооркестрационный фреймворк для описания потоков данных. Работает везде, где работает Python (например, в Jupyter, FastAPI, Spark, Ray и Dask). Предоставляет лучшие практики разработки ПО без необходимости разбираться в них. Используйте его для преобразований при создании признаков, сквозных конвейеров моделей и процессов LLM. Он дополняет системы макрооркестрации (например, Kedro, Luigi, Airflow, dbt), заменяя код внутри их макрозадач. Включает интерфейс, который можно разместить на собственном сервере: он отслеживает происхождение данных, телеметрию выполнения и сводки по данным и формирует автоматически заполняемый каталог; подходит как для разработки, так и для эксплуатации.
Instill VDP - Instill VDP (Versatile Data Pipeline) призван упростить конвейеры обработки данных от начала до конца.
Instructor - Instructor упрощает получение структурированных данных, например JSON, от LLM, таких как GPT-3.5, GPT-4, GPT-4-Vision и моделей с открытым исходным кодом.
Kedro - Kedro — инструмент разработки рабочих процессов, помогающий создавать надежные, масштабируемые, развёртываемые, воспроизводимые и версионируемые конвейеры данных.
Luigi - Luigi — модуль Python для создания сложных конвейеров пакетных заданий, управления разрешением зависимостей, рабочими процессами, визуализацией и т. д.
Metaflow - Фреймворк, упрощающий специалистам по данным создание и управление реальными проектами в области науки о данных.
Pachyderm - Фреймворк распределённой обработки данных с открытым исходным кодом на базе Kubernetes, ориентированный прежде всего на динамическое создание промышленных конвейеров машинного обучения — видео.
Pixeltable Библиотека Python с открытым исходным кодом, предоставляющая декларативную инкрементальную инфраструктуру данных для создания и управления мультимодальными рабочими нагрузками ИИ.
Prefect Core - Система управления рабочими процессами, упрощающая добавление в конвейеры данных повторных попыток, журналирования, динамического отображения, кэширования, уведомлений о сбоях и других возможностей.
SeqIO - SeqIO — библиотека обработки последовательных данных для последующей передачи моделям последовательностей.
Snakemake - Система управления рабочими процессами для воспроизводимого и масштабируемого анализа данных.
Towhee - Универсальный конвейер машинного обучения для создания векторов эмбеддингов с помощью одной или нескольких моделей ML.
unstructured - unstructured упрощает и оптимизирует процесс обработки данных для LLM: принимает и предварительно обрабатывает изображения и текстовые документы, включая PDF, HTML, документы Word и многое другое.
ZenML - ZenML — расширяемый фреймворк MLOps с открытым исходным кодом для создания воспроизводимых конвейеров машинного обучения с акцентом на автоматическое отслеживание метаданных, кэширование и многочисленные интеграции с другими инструментами.

Блокноты для науки о данных

Apache Zeppelin - Блокнот в веб-интерфейсе для интерактивной аналитики на основе данных и совместной работы с документами на SQL, Scala и других языках.
Deepnote - Deepnote — полноценная замена Jupyter с приоритетом ИИ, современным интерфейсом, новыми блоками и встроенными интеграциями с данными. Работайте локально с Python, R и SQL в любимой IDE, а затем переходите в облако Deepnote для совместной работы в реальном времени, использования агента Deepnote и развертываемых приложений с данными.
Jupyter Notebooks - Веб-интерфейс для изолированных сред Python с воспроизводимой разработкой.
Marimo - Реактивный блокнот Python: запускайте воспроизводимые эксперименты, выполняйте их как скрипты, развертывайте как приложения и версионируйте с помощью Git.
Papermill - Papermill — библиотека для параметризации блокнотов и их выполнения как скриптов Python.
Polynote - Polynote — экспериментальная полиглотная среда блокнотов. Сейчас поддерживает Scala, Python (с Spark или без него), SQL и Vega.
RMarkdown - Пакет rmarkdown — реализация нового поколения R Markdown на основе Pandoc.
Stencila - Stencila — платформа для создания, совместной работы над публикацией контента на основе данных. Такой контент прозрачен и воспроизводим.
Voilà - Voilà преобразует блокноты Jupyter в автономные веб-приложения, например в панели мониторинга.

Оптимизация хранения данных

AIStore - AIStore — лёгкая система объектного хранения, линейно масштабируемая при добавлении узлов хранения и специально ориентированная на глубокое обучение петабайтного масштаба.
Alluxio - Виртуальная распределённая система хранения, связывающая вычислительные фреймворки с системами хранения.
Apache Arrow - Представление данных в памяти в колоночном формате, совместимое с Pandas, системами на базе Hadoop и др.
Apache Druid - Высокопроизводительная база данных для аналитики в реальном времени. Вводную информацию можно найти в этой статье.
Apache Hudi - Hudi — платформа транзакционного озера данных, которая переносит основные функции хранилищ и баз данных непосредственно в озеро данных. Hudi отлично подходит для потоковых нагрузок и позволяет создавать эффективные инкрементальные пакетные конвейеры. Поддерживает популярные движки запросов, включая Spark, Flink, Presto, Trino и Hive. Подробнее — здесь.
Apache Iceberg - Iceberg — высокопроизводительный формат с поддержкой ACID для огромных аналитических таблиц (содержащих десятки петабайт данных). Он привносит надёжность и простоту таблиц SQL в большие данные, позволяя Spark, Trino, Flink, Presto, Hive, Impala и другим движкам безопасно работать с одними и теми же таблицами одновременно. Подробнее — здесь.
Apache Ignite - Распределённая база данных, кэш и платформа обработки с архитектурой, ориентированной на память, для транзакционных, аналитических и потоковых нагрузок; обеспечивает скорость работы в памяти при петабайтных масштабах — демонстрация.
Apache Parquet - Представление данных на диске в колоночном формате, совместимое с Pandas, системами на базе Hadoop и др.
Apache Pinot - Распределённое хранилище OLAP для работы в реальном времени. Сравнение систем OLAP с открытым исходным кодом для больших данных — ClickHouse, Druid и Pinot — приведено здесь.
Casibase - Casibase — база знаний RAG (генерация с дополненной выборкой), похожая на LangChain, с веб-интерфейсом и корпоративной единой аутентификацией (SSO).
Chroma - Chroma — база данных эмбеддингов с открытым исходным кодом.
ClickHouse - ClickHouse — система управления базами данных с открытым исходным кодом и колоночной ориентацией.
Delta Lake - Delta Lake — слой хранения, обеспечивающий масштабируемые транзакции ACID в Apache Spark и других движках для больших данных.
EdgeDB - Gel расширяет возможности Postgres благодаря современной модели данных, графовым запросам, решениям для аутентификации и ИИ, а также многому другому.
GPTCache - GPTCache — библиотека для создания семантического кэша запросов к большим языковым моделям.
InfluxDB Масштабируемое хранилище метрик, событий и аналитики реального времени.
Milvus Milvus — облачная векторная база данных с открытым исходным кодом для управления векторами эмбеддингов, созданными моделями машинного обучения и нейронными сетями.
Marqo Marqo — сквозной движок векторного поиска.
pgvector pgvector добавляет в Postgres поиск сходства векторов.
PostgresML PostgresML — расширение для машинного обучения в PostgreSQL, позволяющее обучать модели и выполнять инференс на текстовых и табличных данных с помощью запросов SQL.
Redis Redis — хранилище данных в памяти с открытым исходным кодом, поддерживающее поиск сходства векторов; подходит для приложений ИИ/ML, например семантического поиска и рекомендательных систем.
Safetensors Простой и безопасный способ хранения и распространения тензоров.
TimescaleDB Открытая база данных SQL для временных рядов, оптимизированная для быстрой загрузки и сложных запросов, поставляется как расширение PostgreSQL — видео.
Weaviate - Низколатентный движок векторного поиска (GraphQL, REST), который из коробки поддерживает различные типы мультимедиа. Модули включают семантический поиск, вопросы и ответы, классификацию, настраиваемые модели (PyTorch/TensorFlow/Keras) и многое другое.
Zarr - Реализация на Python блочных сжатых N-мерных массивов, предназначенных для параллельных вычислений.

Обработка потоков данных

Apache Beam Apache Beam — унифицированная модель программирования для пакетной и потоковой обработки.
Apache Flink - Фреймворк потоковой обработки с открытым исходным кодом и мощными возможностями обработки потоков и пакетов.
Apache Kafka - Клиентская библиотека Kafka для создания приложений и микросервисов, в которых входные и выходные данные хранятся в кластерах Kafka.
Apache Samza - Фреймворк распределённой потоковой обработки. Для обмена сообщениями он использует Apache Kafka, а Apache Hadoop YARN — для отказоустойчивости, изоляции процессоров, безопасности и управления ресурсами.
Apache Spark - Микропакетная обработка потоков с использованием Apache Spark в качестве бэкенда и поддержкой семантики «ровно один раз» с сохранением состояния.
Bytewax - Гибкий ориентированный на Python фреймворк потоковой обработки с сохранением состояния, построенный на движке Rust.
FastStream - Современный фреймворк потоковой обработки на Python, не зависящий от брокера. Поддерживает протоколы Apache Kafka, RabbitMQ и NATS, вдохновлён FastAPI и легко интегрируется с другими веб-фреймворками.
MOA - MOA (Massive Online Analysis) — фреймворк с открытым исходным кодом для потокового анализа больших данных.
MosaicML Streaming - Быстрая детерминированная потоковая передача больших наборов данных из облачного хранилища для распределённого обучения моделей.
RisingWave - Распределённая потоковая база данных SQL, объединяющая обработку потоков и обслуживание с низкой задержкой; отлично подходит для создания и предоставления признаков в онлайн-машинном обучении.
TensorStore - Библиотека для чтения и записи больших многомерных массивов.

Развертывание и обслуживание

Agenta - Agenta предоставляет сквозные инструменты для всего процесса LLMOps: создание (песочница LLM, оценка), развертывание (управление промптами и конфигурациями), наблюдаемость LLM и трассировка.
AirLLM - AirLLM оптимизирует использование памяти при инференсе и позволяет запускать модели с 70 млрд параметров на одной видеокарте GPU с 4 ГБ памяти без квантования, дистилляции и прореживания.
AITemplate - AITemplate (AIT) — фреймворк Python, преобразующий глубокие нейронные сети в код C++ CUDA (GPU NVIDIA) / HIP (GPU AMD) для молниеносно быстрого инференса.
BentoML - BentoML — фреймворк с открытым исходным кодом для высокопроизводительного обслуживания моделей машинного обучения.
Bifrost - Шлюз ИИ, предоставляющий единый API, совместимый с OpenAI, для более чем 23 поставщиков LLM: с автоматическим переключением на резервные варианты, балансировкой нагрузки, семантическим кэшированием, управлением бюджетом и метриками Prometheus.
BISHENG - BISHENG — открытая платформа DevOps для приложений LLM, ориентированная на корпоративные сценарии.
CosmoEdge - Периферийный движок видеоаналитики на C++ для промышленного развертывания: объединяет получение RTSP-потока, инференс CV/VLM, визуальную оркестрацию, оповещения и доставку событий на NPU Sophon и Rockchip.
DeepDetect - Промышленный сервер машинного обучения для моделей TensorFlow, XGBoost и Cafe, написанный на C++ и поддерживаемый Jolibrain.
Dynamo - NVIDIA Dynamo — высокопроизводительный фреймворк инференса с низкой задержкой для обслуживания генеративного ИИ и моделей рассуждений в распределённых средах с несколькими узлами.
exo - exo позволяет создать дома кластер ИИ из обычных устройств.
Genkit - Genkit — фреймворк с открытым исходным кодом для создания приложений на базе ИИ с привычными шаблонами разработки, ориентированными на код. Он упрощает разработку, интеграцию и тестирование функций ИИ с наблюдаемостью и оценкой.
GoModel - GoModel — самостоятельно размещаемый шлюз ИИ на Go, предоставляющий единый API, совместимый с OpenAI, для OpenAI, Anthropic, Gemini, Groq, xAI, Ollama и других провайдеров; включает маршрутизацию, учёт использования, ограничения частоты запросов и защитные механизмы.
Inference - Быстрый готовый к эксплуатации сервер инференса для компьютерного зрения, поддерживающий развертывание популярных архитектур и дообученных моделей. С помощью Inference можно запускать YOLOv5, YOLOv8, CLIP, SAM и CogVLM на своём оборудовании через Docker.
Infinity - Infinity — высокопроизводительный REST API с низкой задержкой для обслуживания текстовых эмбеддингов, моделей ранжирования и CLIP.
LiteLLM - LiteLLM — SDK Python и прокси-сервер (шлюз LLM) для вызова более 100 API LLM в формате OpenAI: Bedrock, Azure, OpenAI, VertexAI, Cohere, Anthropic, Sagemaker, HuggingFace, Replicate, Groq.
LiteRT - LiteRT (ранее TensorFlow Lite) — высокопроизводительная среда выполнения Google для инференса ИИ на устройстве, позволяющая развертывать модели машинного обучения на мобильных, встроенных и периферийных устройствах.
LiteRT-LM - LiteRT-LM — готовый к эксплуатации высокопроизводительный фреймворк инференса Google для развертывания больших языковых моделей на периферийных устройствах; поддерживает Android, iOS, Web, Desktop и IoT.
LitServe - LitServe — гибкий движок обслуживания моделей ИИ на базе FastAPI. Поддерживает пользовательские движки инференса для моделей, агентов, мультимодальных систем, RAG и сложных конвейеров машинного обучения.
jevos - jev(os) — альтернатива TypeSafe Jev с открытым исходным кодом для ответов «да/нет»: бинарный классификатор с 1 млрд параметров (GGUF, llama.cpp), доступный через HTTP API FastAPI, совместимый с Jev, и работающий только на CPU ноутбука.
Jina-serve - Jina-serve — фреймворк для создания и развертывания сервисов ИИ, взаимодействующих по gRPC, HTTP и WebSockets.
Kiln - Kiln — инструмент с открытым исходным кодом для дообучения LLM, генерации синтетических данных и совместной работы с наборами данных.
KServe - KServe предоставляет определение пользовательского ресурса Kubernetes для обслуживания прогнозирующих и генеративных моделей машинного обучения.
KTransformers - KTransformers — гибкий фреймворк для знакомства с передовыми оптимизациями инференса LLM.
Langtrace - Langtrace — сквозной инструмент наблюдаемости для приложений LLM с открытым исходным кодом на основе OpenTelemetry, предоставляющий трассировку в реальном времени, оценку и метрики для популярных LLM, фреймворков LLM, векторных баз данных и др.
Lepton AI - Библиотека LeptonAI для Python позволяет легко создавать сервисы ИИ на основе кода Python.
LightLLM - LightLLM — фреймворк инференса и обслуживания больших языковых моделей на Python, отличающийся лёгкостью, простотой масштабирования и высокой скоростью.
llama.cpp - llama.cpp — библиотека программного обеспечения с открытым исходным кодом для инференса различных больших языковых моделей, например Llama.
llmfit - Терминальный инструмент, подбирающий размеры моделей LLM под оперативную память, CPU и GPU системы. Определяет оборудование, оценивает каждую модель по качеству, скорости, совместимости и контексту и показывает, какие модели действительно будут эффективно работать на машине.
LMCache - LMCache — высокопроизводительный слой кэша KV, ускоряющий инференс LLM.
LMDeploy - LMDeploy — инструментарий для сжатия, развертывания и обслуживания LLM.
LM Studio - LM Studio — инструмент для локального запуска моделей LLM на компьютере, в том числе на сравнительно скромном оборудовании, если оно соответствует минимальным требованиям.
LocalAI - LocalAI — REST API, совместимый со спецификациями OpenAI и предназначенный для локального инференса; его можно использовать как непосредственную замену.
MindsDB - MindsDB — платформа для создания, обслуживания и дообучения моделей в реальном времени на основе данных из баз данных, векторных хранилищ и приложений.
mini-sglang - mini-sglang — лёгкий и эффективный фреймворк для обслуживания больших языковых моделей.
MLRun-MLRun — открытый фреймворк MLOps для быстрой разработки и управления приложениями машинного обучения и генеративного ИИ на протяжении всего жизненного цикла.
MLServer - Сервер инференса для моделей машинного обучения с поддержкой нескольких фреймворков, обслуживания нескольких моделей и других возможностей.
Model Runner - Docker Model Runner упрощает управление, запуск и обслуживание моделей ИИ с помощью Docker; поддерживает LLM и другие модели ИИ, загружаемые напрямую из Docker Hub или любого реестра, совместимого с OCI.
Mosec - Многоэтапный сервер моделей на Rust с конвейерной обработкой, динамическим пакетированием и другими функциями. Его очень просто реализовать и развернуть как микросервис.
nano-vllm - nano-vllm — лёгкая реализация vLLM, созданная с нуля и обеспечивающая быстрый офлайн-инференс с оптимизациями, включая кэширование префиксов, параллелизм тензоров и графы CUDA.
nndeploy - Простой в использовании высокопроизводительный фреймворк развертывания ИИ.
Nuclio - Высокопроизводительный бессерверный фреймворк для нагрузок с интенсивной обработкой данных, вводом-выводом и вычислениями. Хорошо интегрируется с популярными инструментами науки о данных, такими как Jupyter и Kubeflow; поддерживает различные источники данных и потоков, а также выполнение на CPU и GPU.
OpenLLM - OpenLLM позволяет разработчикам запускать любые модели LLM с открытым исходным кодом (Llama 3.1, Qwen2, Phi3 и другие) или собственные модели как API, совместимые с OpenAI, одной командой.
OpenVINO - OpenVINO — инструментарий с открытым исходным кодом для оптимизации и развертывания инференса ИИ.
Open WebUI - Open WebUI — расширяемая, многофункциональная и удобная платформа ИИ с собственным хостингом, рассчитанная на автономную работу. Поддерживает различные средства запуска LLM, например Ollama и API, совместимые с OpenAI; встроенный движок инференса для RAG делает её мощным решением для развертывания ИИ.
OptiLLM - OptiLLM — оптимизирующий прокси инференса, совместимый с API OpenAI. Он реализует более 20 современных методов, значительно повышающих точность LLM и производительность задач рассуждения, без обучения или дообучения моделей.
PowerInfer - PowerInfer — движок инференса LLM на CPU/GPU, использующий локальность активаций для работы на устройстве.
Prompt2Model - Prompt2Model — система, которая принимает описание задачи на естественном языке (например, промпт для ChatGPT) и обучает небольшую специализированную модель, пригодную для развертывания.
RamaLama - RamaLama — инструмент с открытым исходным кодом, упрощающий локальное использование и обслуживание моделей ИИ для инференса в контейнерах OCI и избавляющий от необходимости настраивать хост-систему.
RunAnywhere - RunAnywhere — готовый к эксплуатации SDK для запуска моделей ИИ (LLM, распознавание и синтез речи) непосредственно на устройствах iOS, Android, React Native и Flutter; позволяет создавать мобильные приложения ИИ, работающие быстро, автономно и с сохранением конфиденциальности.
Seldon Core - Платформа с открытым исходным кодом для развертывания моделей машинного обучения в Kubernetes — видео.
SGLang - SGLang — быстрый фреймворк обслуживания больших языковых и визуально-языковых моделей.
SIE - Сервер инференса с открытым исходным кодом и промышленный кластер для эмбеддингов, ранжирования и извлечения данных. Более 85 предварительно настроенных моделей: плотные, разреженные, многовекторные, визуальные, ранжировщики и экстракторы. В комплекте Helm, автомасштабирование KEDA, панели Grafana и Terraform.
SkyPilot - SkyPilot — фреймворк для запуска LLM, ИИ и пакетных заданий в любом облаке с максимальной экономией, наилучшей доступностью GPU и управляемым выполнением.
Tensorflow Serving - Высокопроизводительный фреймворк для обслуживания моделей TensorFlow по протоколу gRPC, способный обрабатывать 100 000 запросов в секунду на ядро.
torchtune - torchtune — библиотека PyTorch для простого написания кода постобучения и экспериментов с LLM.
Transformer Lab - Transformer Lab — рабочая среда с открытым исходным кодом для локальной тонкой настройки, оценки, экспорта и тестирования моделей на разных движках инференса и платформах.
Triton Inference Server - Triton — высокопроизводительное программное обеспечение с открытым исходным кодом для обслуживания моделей ИИ на GPU и CPU из любого фреймворка с максимальным использованием ресурсов.
Vercel AI - Vercel AI — набор инструментов TypeScript для создания приложений на базе ИИ с популярными фреймворками Next.js, React, Svelte и Vue и средами выполнения, например Node.js.
Vespa - Поиск, инференс и организация векторов, тензоров, текста и структурированных данных во время обслуживания и в любом масштабе.
vLLM - vLLM — высокопроизводительный и эффективно использующий память движок инференса и обслуживания LLM.

Оценка и мониторинг

AlpacaEval - AlpacaEval — автоматический оценщик языковых моделей, следующих инструкциям.
ANN-Benchmarks - ANN-Benchmarks — среда тестирования алгоритмов поиска приближённых ближайших соседей.
ARES - ARES — фреймворк для автоматической оценки моделей генерации с дополненной выборкой (RAG).
BEIR - BEIR — разнородный бенчмарк с разнообразными задачами информационного поиска. Он также предоставляет общую удобную среду для оценки моделей поиска на основе NLP в рамках этого бенчмарка.
Code Generation LM Evaluation Harness - Фреймворк для оценки моделей генерации кода.
COMET - COMET — фреймворк с открытым исходным кодом для оценки машинного обучения.
C-Eval - C-Eval — комплексный набор тестов для оценки базовых моделей на китайском языке.
Deepchecks - Deepchecks — комплексное решение с открытым исходным кодом для проверки ИИ и машинного обучения, позволяющее тщательно тестировать данные и модели от этапа исследований до эксплуатации.
DeepEval - DeepEval — простой в использовании фреймворк с открытым исходным кодом для оценки приложений LLM.
EvalAI - EvalAI — платформа с открытым исходным кодом для масштабируемой оценки и сравнения алгоритмов ИИ.
Evalchemy - Evalchemy — унифицированный и простой в использовании инструментарий для оценки постобученных языковых моделей.
EvalPlus - EvalPlus — надёжный фреймворк оценки LLM4Code с расширенными бенчмарками HumanEval+ и MBPP+, оценкой эффективности (EvalPerf) и безопасным расширяемым инструментарем оценки.
Evals - Evals — фреймворк оценки моделей OpenAI и реестр бенчмарков с открытым исходным кодом.
EvalScope - EvalScope — оптимизированный настраиваемый фреймворк для эффективной оценки и тестирования производительности больших моделей.
Evaluate - Evaluate — библиотека, упрощающая и стандартизирующая оценку и сравнение моделей, а также представление результатов.
Evidently - Evidently — фреймворк с открытым исходным кодом для оценки, тестирования и мониторинга систем машинного обучения и LLM.
Future AGI - Сквозная платформа с открытым исходным кодом для разработки и оптимизации агентов, которую можно разместить на собственном сервере. Объединяет трассировку, оценки, симуляции, наборы данных, шлюз и защитные механизмы для приложений LLM и агентов ИИ.
GAOKAO-Bench - GAOKAO-Bench — фреймворк оценки, использующий вопросы китайского национального вступительного экзамена в вузы (GAOKAO) как набор данных для проверки понимания языка и логического мышления больших моделей.
Giskard - Giskard — библиотека Python с открытым исходным кодом, автоматически обнаруживающая проблемы производительности, предвзятости и безопасности в приложениях ИИ.
guidellm - guidellm — инструмент тестирования и оценки производительности систем инференса больших языковых моделей.
Harbor - Harbor — фреймворк для оценки и оптимизации агентов и языковых моделей; поддерживает параллельные эксперименты в контейнерных средах, а также встроенное управление бенчмарками и средами.
HumanEval - HumanEval — бенчмарк функциональной корректности моделей генерации кода на задачах программирования на Python с модульными тестами.
Helicone - Helicone — универсальная платформа для разработчиков LLM с открытым исходным кодом.
HELM - HELM (Holistic Evaluation of Language Models) предоставляет инструменты для комплексной оценки языковых моделей: стандартизированные наборы данных, унифицированный API для различных моделей, разнообразные метрики, проверки справедливости и устойчивости к искажениям, фреймворк формирования промптов и прокси-сервер для унифицированного доступа к моделям.
Inspect - Inspect — фреймворк для оценки больших языковых моделей.
IsaacLab-Arena - IsaacLab-Arena — расширение NVIDIA Isaac Lab с открытым исходным кодом для создания комбинируемых сред и масштабной оценки роботизированных политик.
JiWER - JiWER — простой и быстрый пакет Python для оценки систем автоматического распознавания речи.
Laminar - Laminar — платформа с открытым исходным кодом для трассировки, оценки, разметки и анализа данных LLM в продуктах ИИ.
Langfuse - Langfuse — решение для наблюдаемости и аналитики приложений на основе LLM.
LangTest - LangTest — комплексный инструментарий оценки моделей NLP.
Language Model Evaluation Harness - Language Model Evaluation Harness — фреймворк для тестирования генеративных языковых моделей на большом количестве различных задач оценки.
LangWatch - LangWatch — визуальный интерфейс для DSPy и полноценная платформа LLM Ops для мониторинга, экспериментов, измерения и улучшения конвейеров LLM с моделью распространения fair-code.
Latitude - Latitude — платформа с открытым исходным кодом для наблюдаемости агентов ИИ с семантическим поиском по трассировкам и отслеживанием проблем.
LightEval - LightEval — облегчённый набор инструментов для оценки LLM.
lmms-eval - lmms-eval — фреймворк оценки, тщательно созданный для последовательной и эффективной оценки мультимодальных языковых моделей (LMM).
Melting Pot - Melting Pot — набор тестовых сценариев для многоагентного обучения с подкреплением.
Meta-World - Meta-World — бенчмарк симуляции с открытым исходным кодом для метаобучения с подкреплением и многозадачного обучения, включающий 50 отдельных задач манипулирования роботами.
mir_eval - mir_eval — библиотека Python с прозрачным, стандартизированным и простым способом оценки систем поиска музыкальной информации.
MLPerf Inference - MLPerf Inference — набор бенчмарков для измерения скорости выполнения моделей системами в различных сценариях развертывания.
Massive Text Embedding Benchmark - Massive Text Embedding Benchmark (MTEB) — комплексный фреймворк оценки производительности моделей текстовых эмбеддингов на разных задачах и языках: 8 задач для эмбеддингов, 58 наборов данных и 112 языков.
NannyML - NannyML — библиотека для оценки качества модели после развертывания (без доступа к целевым значениям), обнаружения сдвига данных и интеллектуального сопоставления оповещений о сдвиге с изменениями производительности модели.
OGB - Open Graph Benchmark (OGB) — набор бенчмарков, загрузчиков данных и средств оценки для машинного обучения на графах.
Ollama Grid Search - Ollama Grid Search автоматизирует выбор моделей, промптов и параметров инференса для конкретного случая использования, позволяя перебирать комбинации и визуально изучать результаты.
onWatch - onWatch — лёгкая CLI-утилита на Go для отслеживания в реальном времени квот использования API ИИ у нескольких поставщиков (Anthropic Pro/Max Plans, Codex, Gemini CLI, Synthetic, Z.ai, GitHub Copilot, MiniMax Coding/Token Plan, Antigravity, OpenRouter); показывает прогнозы темпа расходования, исторические графики и статистику по циклам.
OpenCompass - OpenCompass — платформа оценки LLM с поддержкой широкого ряда моделей (LLaMA, LLaMa2, ChatGLM2, ChatGPT, Claude и др.) и более 50 наборов данных.
OpenLIT - OpenLIT — платформа разработки ИИ с открытым исходным кодом, упрощающая работу с LLM благодаря наблюдаемости, мониторингу, защитным механизмам, оценке и удобным интеграциям.
OpenLLMetry - OpenLLMetry позволяет разработчикам подробно наблюдать за приложениями больших языковых моделей: отслеживать производительность и выполнение, а также отлаживать их.
Opik - Opik — платформа с открытым исходным кодом для оценки, тестирования и мониторинга приложений LLM.
Overcooked-AI - Overcooked-AI — эталонная среда для оценки совместной работы человека и ИИ над задачами, созданная по мотивам популярной игры Overcooked.
Phoenix - Phoenix — платформа наблюдаемости ИИ с открытым исходным кодом для экспериментов, оценки и устранения проблем.
Promptfoo - Фреймворк красной команды и оценки LLM для проверки обхода ограничений, внедрения промптов и других уязвимостей, интегрируемый с CI/CD.
Prometheus-Eval - RagaAI Catalyst — комплексная платформа для улучшения управления проектами LLM и их оптимизации.
RagaAI Catalyst - Prometheus-Eval — набор инструментов для обучения, оценки и использования языковых моделей, специализированных на оценке других языковых моделей.
Ragas - Ragas — фреймворк для оценки конвейеров RAG.
RewardBench - RewardBench — бенчмарк для оценки возможностей и безопасности моделей вознаграждения.
RLBench - RLBench — масштабный амбициозный бенчмарк и среда обучения для исследований в различных областях управления роботами с помощью компьютерного зрения, включая обучение с подкреплением, имитационное и многозадачное обучение, геометрическое компьютерное зрение и, в частности, обучение на небольшом числе примеров.
SimplerEnv - Упрощённые среды — симуляционные среды оценки политик манипулирования для реальных роботизированных систем.
SwanLab - SwanLab — инструмент отслеживания и визуализации обучения ИИ.
Speech-to-Text Benchmark - Speech-to-Text Benchmark — минималистичный расширяемый фреймворк для тестирования различных систем преобразования речи в текст.
TensorFlow Model Analysis - TensorFlow Model Analysis (TFMA) — библиотека для распределённой оценки моделей TensorFlow на больших объёмах данных с использованием тех же метрик, что и при обучении.
TorchBench - TorchBench — набор бенчмарков с открытым исходным кодом для оценки производительности PyTorch.
TruLens - TruLens предоставляет набор инструментов для оценки экспериментов с LLM и отслеживания их результатов.
TrustLLM - TrustLLM — комплексный фреймворк оценки надёжности больших языковых моделей, включающий принципы, обзоры и бенчмарки.
VBench - VBench — комплексный набор бенчмарков для генеративных моделей видео.
VLMEvalKit - VLMEvalKit — инструментарий с открытым исходным кодом для оценки больших визуально-языковых моделей (LVLM).

Объяснимость и справедливость

Aequitas - Инструментарий аудита предвзятости с открытым исходным кодом для специалистов по данным, исследователей машинного обучения и политиков: позволяет выявлять дискриминацию и предвзятость моделей машинного обучения и принимать обоснованные справедливые решения при разработке и развертывании инструментов оценки риска.
AI Explainability 360 - Интерпретируемость и объяснимость данных и моделей машинного обучения, включая обширный набор алгоритмов для разных аспектов объяснения и вспомогательные метрики объяснимости.
AI Fairness 360 - Комплексный набор метрик справедливости для наборов данных и моделей машинного обучения, объяснений этих метрик и алгоритмов снижения предвзятости в данных и моделях.
Alibi - Alibi — библиотека Python с открытым исходным кодом для проверки и интерпретации моделей машинного обучения. Первоначально она была ориентирована на объяснение моделей «чёрного ящика» для отдельных экземпляров.
captum - Библиотека интерпретируемости и анализа моделей PyTorch, разработанная Facebook. Содержит универсальные реализации интегрированных градиентов, карт значимости, SmoothGrad, VarGrad и других методов.
Fairlearn - Fairlearn — набор инструментов Python для оценки и снижения несправедливости моделей машинного обучения.
InterpretML - InterpretML — пакет с открытым исходным кодом для обучения интерпретируемых моделей и объяснения систем «чёрного ящика».
Lightly - Фреймворк Python для самообучения на изображениях без учителя. Полученные представления можно использовать для анализа распределения неразмеченных данных и балансировки наборов данных.
LOFO Importance - LOFO (Leave One Feature Out) Importance вычисляет важность набора признаков для выбранной метрики и модели: поочерёдно удаляет признаки и оценивает производительность модели выбранным способом проверки.
mljar-supervised - Пакет Python для AutoML на табличных данных с созданием признаков, настройкой гиперпараметров, объяснениями и автоматической документацией.
Quantus - Quantus — набор инструментов объяснимого ИИ для ответственной оценки объяснений нейронных сетей.
SHAP - SHapley Additive exPlanations — унифицированный подход к объяснению результатов любой модели машинного обучения.
SHAPash - Shapash — библиотека Python с несколькими типами визуализации, отображающими понятные всем метки.
WhatIf - Простой в использовании интерфейс для углублённого изучения модели классификации или регрессии машинного обучения типа «чёрный ящик».

Хранилища признаков

FEAST - Feast (Feature Store) — хранилище признаков с открытым исходным кодом для машинного обучения. Это самый быстрый способ использовать существующую инфраструктуру для внедрения аналитических данных в обучение моделей и онлайн-инференс.
Featureform - Виртуальное хранилище признаков. Подключается к существующей инфраструктуре. Одобрено специалистами по данным. Обнаружение, управление, происхождение данных и совместная работа доступны после установки pip. Поддерживает pandas, Python, Spark, SQL и интеграции с ведущими облачными поставщиками.
Hopsworks Feature Store - Офлайн-/онлайн-хранилище признаков для машинного обучения — видео.

Промышленное обнаружение аномалий

Alibi Detect - Пакет Python для обнаружения выбросов, состязательных примеров и дрейфа концепции.
Darts - Библиотека для удобного прогнозирования и обнаружения аномалий во временных рядах.
Deequ - Библиотека на базе Apache Spark для определения «модульных тестов данных», измеряющих качество больших наборов данных.
PyOD - Набор инструментов Python для масштабируемого обнаружения выбросов (аномалий).
TFDV - TFDV (TensorFlow Data Validation) — библиотека для изучения и проверки данных машинного обучения.

Промышленное компьютерное зрение

CameraTraps - CameraTraps (PyTorch Wildlife) — совместный фреймворк глубокого обучения для анализа изображений дикой природы, предоставляющий модели обнаружения и классификации, обученные на крупных наборах снимков фотоловушек.
Deep Lake - Deep Lake — инфраструктура данных, оптимизированная для компьютерного зрения.
DeepForest - DeepForest — пакет Python для обучения моделей и предсказания крон деревьев и их видов по аэрофотоснимкам RGB с помощью глубокого обучения.
Detectron2 - Detectron2 — библиотека нового поколения от Facebook AI Research с современными алгоритмами обнаружения и сегментации.
Kornia - Kornia — библиотека дифференцируемого компьютерного зрения на базе PyTorch с широким набором дифференцируемых алгоритмов обработки изображений и геометрического зрения.
libcom - Инструментарий для композиции изображений.
LightlyTrain - Предварительное обучение моделей компьютерного зрения на неразмеченных данных для промышленных приложений.
MMCV - MMCV — базовая библиотека компьютерного зрения OpenMMLab с необходимыми возможностями обработки изображений и видео, преобразования и расширения данных, архитектурами CNN и оптимизированными операциями CUDA.
SuperGradients - Библиотека с открытым исходным кодом для обучения моделей компьютерного зрения на базе PyTorch.
supervision - Библиотека Python для эффективного управления конвейерами компьютерного зрения, предоставляющая инструменты аннотирования, визуализации и мониторинга моделей.
VideoSys - VideoSys поддерживает множество диффузионных моделей и различные методы ускорения, позволяя запускать модели быстрее и с меньшим потреблением памяти.

Промышленный информационный поиск

AutoRAG - AutoRAG — инструмент AutoML для RAG, автоматически подбирающий оптимальный конвейер RAG для ваших данных.
BGE - BGE создаёт универсальный инструментарий поиска для поисковых систем и RAG.
EmbedAnything - EmbedAnything — минималистичный, лёгкий и высокопроизводительный конвейер эмбеддингов на Rust для текста, изображений, аудио, PDF и других медиа; поддерживает плотные, разреженные, ONNX-эмбеддинги и эмбеддинги с поздним взаимодействием.
Faiss - Faiss — библиотека для эффективного поиска сходства и кластеризации плотных векторов.
GraphRAG - GraphRAG — конвейер данных и набор средств преобразования для извлечения значимых структурированных данных из неструктурированного текста с помощью LLM.
HippoRAG - HippoRAG — новый фреймворк генерации с дополненной выборкой (RAG), вдохновлённый нейробиологией долговременной памяти человека, который позволяет LLM непрерывно интегрировать знания из внешних документов.
JamAI Base - JamAI Base — платформа серверной части RAG с открытым исходным кодом, объединяющая встроенную базу данных SQLite и векторную базу LanceDB с управляемой памятью и возможностями RAG. Включает оркестрацию и управление встроенными LLM, векторными эмбеддингами и ранжировщиком через удобный интерфейс в стиле электронных таблиц и простой REST API.
LangExtract - LangExtract — библиотека Python, использующая LLM для извлечения структурированной информации из неструктурированных документов по инструкциям пользователя. Она обрабатывает, например, клинические заметки и отчёты, выявляет и упорядочивает важные сведения, проверяя соответствие извлечённых данных исходному тексту.
LightRAG - Простой и быстрый фреймворк генерации с дополненной выборкой.
llmware - llmware предоставляет унифицированный фреймворк для приложений на базе LLM (например, RAG и агентов) с небольшими специализированными моделями, которые можно развертывать приватно, безопасно подключать к корпоративным источникам знаний и экономично настраивать под бизнес-процессы.
Mem0 - Mem0 дополняет помощников и агентов ИИ интеллектуальным слоем памяти, обеспечивая персонализированное взаимодействие.
NGT - NGT предоставляет команды и библиотеку для высокоскоростного приближённого поиска ближайших соседей по большим объёмам высокоразмерных векторных данных.
NMSLIB - Non-Metric Space Library (NMSLIB): эффективная библиотека поиска сходства и инструментарий оценки методов k-NN для произвольных неметрических пространств.
Qdrant - Движок поиска сходства векторов с открытым исходным кодом и расширенной поддержкой фильтрации.
R2R - R2R (RAG to Riches) — комплексная платформа для создания, развертывания и масштабирования приложений RAG с гибридным поиском, мультимодальной поддержкой и расширенной наблюдаемостью.
RAGFlow - RAGFlow — движок RAG на основе глубокого понимания документов.
RAGxplorer - RAGxplorer — инструмент для создания визуализаций RAG.
RAG-FiT - Библиотека для повышения способности LLM использовать внешнюю информацию посредством дообучения на специально созданных наборах данных с дополненной выборкой.
TextWorld - Генератор текстовых игр и расширяемая изолированная среда обучения для обучения и тестирования агентов обучения с подкреплением (RL).
Zvec - Zvec — векторная база данных с открытым исходным кодом, работающая внутри процесса и обеспечивающая поиск сходства с низкой задержкой.

Промышленная обработка естественного языка

aisuite - aisuite — простой унифицированный интерфейс для нескольких поставщиков генеративного ИИ.
Align-Anything - Align-Anything предназначен для согласования больших моделей любых модальностей (моделей «любое-в-любое»), включая LLM, VLM и другие, с намерениями и ценностями людей.
BERTopic - BERTopic — метод тематического моделирования на основе трансформеров и c-TF-IDF, создающий плотные кластеры для легко интерпретируемых тем с сохранением важных слов в описаниях.
Burr - Burr помогает разрабатывать приложения, принимающие решения (чат-боты, агенты, симуляции). Включает готовые к эксплуатации возможности (телеметрия, хранение состояния, развертывание и др.) и интерфейс Burr с открытым исходным кодом, бесплатный и ориентированный на локальное использование.
Context7 - Context7 предоставляет актуальную документацию кода для промптов и агентов программирования с ИИ.
Dify - Dify — платформа разработки приложений LLM с открытым исходным кодом и интуитивным интерфейсом, объединяющим агентные рабочие процессы ИИ, конвейеры RAG, возможности агентов, управление моделями, наблюдаемость и многое другое. Позволяет быстро перейти от прототипа к эксплуатации.
dspy - Фреймворк для программирования с использованием базовых моделей.
Dust - Dust помогает проектировать и развертывать приложения на базе больших языковых моделей.
ESPnet - ESPnet — сквозной инструментарий обработки речи.
FastChat - FastChat — открытая платформа для обучения, обслуживания и оценки чат-ботов на базе больших языковых моделей.
Flair - Простой фреймворк современного NLP от Zalando, непосредственно построенный на PyTorch.
FunASR - FunASR — промышленный инструментарий распознавания речи с поддержкой более 50 языков, встроенными VAD, пунктуацией, диаризацией говорящих и распознаванием эмоций, а также развертыванием через Docker/WebSocket/REST и поддержкой среды выполнения ONNX.
Fun-ASR - Распознавание речи на основе LLM с поддержкой 31 языка, включая китайские диалекты, встроенной пунктуацией, временными метками и диаризацией говорящих.
Gensim - Gensim — библиотека Python для тематического моделирования, индексации документов и поиска сходства в больших корпусах.
gpt-fast - Простая и эффективная генерация текста трансформерами на нативном PyTorch.
Haystack - Haystack — фреймворк NLP с открытым исходным кодом для взаимодействия с данными с помощью моделей Transformer и LLM (GPT-3 и аналогов). Предлагает готовые к эксплуатации инструменты для быстрого создания ответов на вопросы в стиле ChatGPT, семантического поиска, генерации текста и многого другого.
Interactive Composition Explorer - ICE — библиотека Python и визуализатор трассировок для программ на языковых моделях.
Jan - Jan — альтернатива ChatGPT с открытым исходным кодом, полностью работающая автономно на компьютере; позволяет скачивать и локально запускать LLM с полным контролем и конфиденциальностью.
Lamini - Lamini — движок LLM для быстрой адаптации моделей.
LangChain - LangChain помогает создавать приложения с LLM за счёт композиции компонентов.
LlamaIndex - LlamaIndex (GPT Index) — фреймворк данных для приложений LLM.
LLaMA - LLaMA — минимальный, удобный для модификации и понятный пример загрузки моделей LLaMA (arXiv) и выполнения инференса.
LLaMA-Factory - LLaMA-Factory упрощает тонкую настройку более 100 больших языковых моделей через CLI и веб-интерфейс без написания кода.
LLMBox - LLMBox — комплексная библиотека для реализации LLM с унифицированным конвейером обучения и всесторонней оценкой моделей.
LLaMA2-Accessory - LLaMA2-Accessory — инструментарий с открытым исходным кодом для предварительного обучения, тонкой настройки и развертывания больших языковых и мультимодальных моделей.
LMFlow - LMFlow — расширяемый, удобный и эффективный инструментарий для тонкой настройки крупных моделей машинного обучения.
Megatron-LM - Megatron-LM — высокооптимизированная эффективная библиотека для обучения больших языковых моделей.
MindNLP - MindNLP — простой в использовании высокопроизводительный фреймворк NLP и LLM на базе MindSpore, совместимый с моделями и наборами данных Hugging Face.
MLC LLM - MLC LLM — универсальное решение для нативного развертывания любых языковых моделей на различных аппаратных платформах и в нативных приложениях, а также производительный фреймворк для дальнейшей оптимизации моделей под собственные задачи.
mlx-lm - MLX LM — пакет Python для генерации текста и тонкой настройки больших языковых моделей на Apple silicon с помощью MLX; поддерживает интеграцию с Hugging Face Hub, квантование и распределённый инференс.
Ollama - Быстро запустите большие языковые модели локально.
olmOCR - olmOCR — инструментарий для обучения языковых моделей работе с реальными PDF-документами.
PaddleNLP - PaddleNLP — набор инструментов разработки больших языковых моделей на базе фреймворка глубокого обучения PaddlePaddle; поддерживает эффективное обучение крупных моделей, сжатие без потерь и высокопроизводительный инференс на различных устройствах.
Promptise Foundry - Promptise Foundry — промышленный фреймворк Python для агентного ИИ и серверов MCP: включает автономную среду выполнения, память, интеграцию инструментов, управление (бюджетом, состоянием, задачами, секретами), защитные механизмы, семантическое кэширование и наблюдаемость.
Semantic Kernel - Semantic Kernel — SDK, интегрирующий большие языковые модели (LLM), например OpenAI, Azure OpenAI и Hugging Face, с обычными языками программирования, такими как C#, Python и Java. Он позволяет определять плагины, которые объединяются в цепочки всего несколькими строками кода.
Sentence Transformers - Sentence Transformers упрощает вычисление плотных векторных представлений предложений, абзацев и изображений.
SpaCy - spaCy — библиотека передовых средств обработки естественного языка на Python и Cython.
SWIFT - SWIFT — масштабируемая облегчённая инфраструктура для тонкой настройки моделей глубокого обучения.
Tensorflow Lingvo - Фреймворк для построения нейронных сетей на TensorFlow, в частности моделей последовательностей.
Tensorflow Text - TensorFlow Text предоставляет набор классов и операций для обработки текста, готовых к использованию с TensorFlow 2.0.
ToolBench - ToolBench — открытая платформа для обучения, обслуживания и оценки больших языковых моделей для работы с инструментами.
Transformers - Библиотека Hugging Face с современными предварительно обученными моделями обработки естественного языка (NLP).

Промышленные рекомендательные системы

EasyRec - EasyRec — фреймворк для крупномасштабных рекомендательных алгоритмов.
Gorse - Gorse — универсальная рекомендательная система с открытым исходным кодом, которую можно быстро внедрить в самые разные онлайн-сервисы.
Merlin - NVIDIA Merlin — библиотека с открытым исходным кодом для сквозных рекомендательных систем с ускорением на GPU: от разработки признаков и предварительной обработки до обучения моделей глубокого обучения и инференса в промышленной эксплуатации.
Recommenders - Recommenders содержит бенчмарки и лучшие практики создания рекомендательных систем в виде блокнотов Jupyter.
TorchRec - TorchRec — специализированная библиотека PyTorch с базовыми примитивами разреженности и параллелизма для масштабных рекомендательных систем (RecSys).

Промышленное обучение с подкреплением

Acme - Acme — библиотека строительных блоков обучения с подкреплением (RL), ориентированная на простых, эффективных и понятных агентов.
AReaL - AReaL — библиотека обучения с подкреплением.
ChatLearn - ChatLearn — гибкий и эффективный фреймворк обучения больших языковых моделей с подкреплением; поддерживает распределённые движки обучения (FSDP2, Megatron), движки инференса (vLLM, SGLang) и современные алгоритмы RL, например GRPO и GSPO.
CleanRL - CleanRL — библиотека глубокого обучения с подкреплением с качественными реализациями в одном файле и возможностями для исследований. Код прост и понятен, но позволяет масштабировать выполнение до тысяч экспериментов с помощью AWS Batch.
d3rlpy - d3rlpy — библиотека офлайн-глубокого обучения с подкреплением для практиков и исследователей.
D4RL - D4RL — бенчмарк офлайн-обучения с подкреплением с открытым исходным кодом.
Dopamine - Dopamine — исследовательский фреймворк для быстрого прототипирования алгоритмов обучения с подкреплением. Он призван предложить небольшую и понятную кодовую базу для экспериментов с необычными идеями (спекулятивных исследований).
EvoTorch - EvoTorch — библиотека эволюционных вычислений с открытым исходным кодом, разработанная в NNAISENSE на базе PyTorch.
FinRL - FinRL — первый фреймворк с открытым исходным кодом, демонстрирующий огромный потенциал финансового обучения с подкреплением.
Gymnasium - Gymnasium — библиотека Python с открытым исходным кодом для разработки и сравнения алгоритмов обучения с подкреплением. Она предоставляет стандартный API взаимодействия алгоритмов со средами, а также набор совместимых со стандартом сред.
Gymnasium-Robotics - Gymnasium-Robotics — набор роботизированных сред обучения с подкреплением, использующих API Gymnasium. Среды работают на физическом движке MuJoCo и поддерживаемых привязках Python для mujoco.
Jumanji - Jumanji — набор сред обучения с подкреплением на JAX с понятным аппаратно-ускоряемым кодом для исследований, ориентированных на промышленное применение.
MARLlib - MARLlib — комплексная библиотека алгоритмов многоагентного обучения с подкреплением на базе RLlib. Она предоставляет сообществу исследователей MARL унифицированную платформу для создания, обучения и оценки алгоритмов MARL.
Mava - Mava — фреймворк распределённого многоагентного обучения с подкреплением на JAX.
Melting Pot - Melting Pot — набор тестовых сценариев для многоагентного обучения с подкреплением.
MetaDrive - MetaDrive — симулятор вождения, объединяющий разнообразные сценарии для обобщаемого обучения с подкреплением.
Minigrid - Библиотека Minigrid включает набор дискретных сред с сеточным миром для исследований обучения с подкреплением. Среды соответствуют стандартному API Gymnasium и отличаются лёгкостью, высокой скоростью и простотой настройки.
MiniWorld - MiniWorld — минималистичный симулятор трёхмерных помещений для исследований обучения с подкреплением и робототехники.
ML-Agents - ML-Agents — проект с открытым исходным кодом, позволяющий использовать игры и симуляции как среды обучения интеллектуальных агентов с подкреплением.
MushroomRL - MushroomRL — библиотека Python для обучения с подкреплением, модульность которой упрощает использование известных библиотек вычислений с тензорами (например, PyTorch и TensorFlow) и бенчмарков RL (например, OpenAI Gym, PyBullet и DeepMind Control Suite).
OmniSafe - OmniSafe — инфраструктурный фреймворк, созданный для ускорения исследований в области безопасного обучения с подкреплением (RL).
OpenRLHF - OpenRLHF — фреймворк с открытым исходным кодом для обучения с подкреплением на основе отзывов людей (RLHF).
PARL - PARL — гибкий и высокоэффективный фреймворк обучения с подкреплением.
PettingZoo - PettingZoo — библиотека Python для исследований многоагентного обучения с подкреплением, аналогичная многоагентной версии Gymnasium.
ranx - ranx — библиотека быстрых метрик оценки ранжирования на Python; использует Numba для высокоскоростных векторных операций и автоматического распараллеливания.
RL4CO - RL4CO — библиотека PyTorch для различных задач обучения с подкреплением в комбинаторной оптимизации (CO).
RL2 - RL2 — библиотека обучения с подкреплением.
RLinf - RLinf — библиотека обучения с подкреплением.
ROLL - ROLL — библиотека обучения с подкреплением.
skrl - skrl — модульная библиотека обучения с подкреплением на Python (с использованием PyTorch), разработанная с упором на понятность, простоту и прозрачность реализации алгоритмов.
SkyRL - SkyRL — полнофункциональная библиотека обучения с подкреплением с модульными фреймворками обучения, кроссплатформенными бэкендами инференса, агентными конвейерами и средами Gymnasium для долгосрочных задач RL в реальных условиях.
slime - slime — фреймворк постобучения LLM с подкреплением для масштабирования RL.
Stable Baselines - Форк OpenAI Baselines с реализациями алгоритмов обучения с подкреплением.
TF-Agents - Надёжная, масштабируемая и простая в использовании библиотека TensorFlow для контекстных бандитов и обучения с подкреплением.
TorchRL - TorchRL — библиотека обучения с подкреплением на PyTorch с открытым исходным кодом.
TRL - Обучайте языковые модели Transformer с помощью обучения с подкреплением.
veRL - veRL (HybridFlow) — гибкий, эффективный промышленный фреймворк обучения LLM с подкреплением (HF).

Промышленная робототехника

AI2-THOR - AI2-THOR — интерактивный фреймворк для агентов ИИ с почти фотореалистичным изображением.
Genesis - Genesis — физическая платформа для воплощённого ИИ и симуляции роботов.
Habitat-Sim - Habitat-Sim — гибкий высокопроизводительный трёхмерный симулятор для исследований воплощённого ИИ.
IsaacLab - IsaacLab — унифицированный модульный фреймворк обучения роботов на базе NVIDIA Isaac Sim.
LeRobot - LeRobot предоставляет модели, наборы данных и инструменты для робототехники в реальных условиях и имитационного обучения.
robosuite - robosuite — фреймворк симуляции обучения роботов на основе физического движка MuJoCo.
RoboVerse - RoboVerse — комплексная платформа симуляции робототехники с разнообразными средами.

Промышленная визуализация

Apache ECharts - Apache ECharts — мощная интерактивная библиотека построения графиков и визуализации данных для браузера.
Apache Superset - Современное готовое к использованию на предприятиях веб-приложение бизнес-аналитики.
Bokeh - Bokeh — библиотека интерактивной визуализации на Python для создания красивого и наглядного представления данных в современных веб-браузерах.
Bread Dataset Viewer - Расширение VS Code для просмотра и изучения больших наборов данных машинного обучения (CSV, JSON, Parquet и др.) прямо в редакторе без сбоев IDE.
Bread WandB Viewer - Расширение VS Code для просмотра экспериментов, журналов и артефактов Weights & Biases в IDE. Оно избавляет от необходимости переходить в веб-интерфейс и сохраняет конфиденциальность данных благодаря полностью автономной работе.
Data Formulator - Преобразуйте данные и итеративно создавайте информативные визуализации с помощью ИИ.
ggplot2 - Реализация грамматики графической визуализации для R.
gradio - Быстро создавайте и публикуйте демонстрации моделей, написав только код Python. Интерактивно отлаживайте модели в браузере, собирайте отзывы коллег и создавайте общедоступные ссылки без развертывания.
Kangas - Kangas — инструмент для изучения, анализа и визуализации мультимедийных данных в крупном масштабе. Он предоставляет простой API Python для журналирования больших таблиц данных и интуитивный визуальный интерфейс для сложных запросов к набору данных.
matplotlib - Библиотека двумерных графиков Python, создающая изображения публикационного качества в различных печатных форматах и интерактивных средах на разных платформах.
Model Explorer - Model Explorer — инструмент визуализации и изучения моделей машинного обучения. Он предоставляет наглядное представление в виде графа для понимания структуры модели, просмотра подробностей слоёв и навигации по большим нейронным сетям.
Netron - Netron — средство просмотра нейронных сетей, моделей глубокого обучения и машинного обучения.
Perspective Потоковая визуализация сводных таблиц с помощью WebAssembly.
Plotly - Интерактивная библиотека графиков на Python с открытым исходным кодом для браузера.
Redash - Redash — фреймворк визуализации с открытым исходным кодом, упрощающий доступ к большим наборам данных через различные бэкенды.
Rerun - Rerun — SDK с открытым исходным кодом для записи, хранения, запросов и визуализации мультимодальных данных, предназначенный для робототехники, компьютерного зрения и пространственного ИИ.
seaborn - Seaborn — библиотека визуализации на Python на базе matplotlib с высокоуровневым интерфейсом для создания привлекательной статистической графики.
Spotlight - Spotlight помогает выявлять важные сегменты данных и режимы отказа моделей. Позволяет создавать и поддерживать надёжные модели машинного обучения, тщательно отбирая качественные наборы данных.
Streamlit - Streamlit позволяет создавать приложения для проектов машинного обучения с помощью обманчиво простых скриптов Python. Поддерживает горячую перезагрузку: приложение обновляется прямо при редактировании и сохранении файла.
tensorboardX - Запись событий TensorBoard простым вызовом функции.
TensorBoard - TensorBoard — инструментарий визуализации экспериментов машинного обучения, упрощающий размещение, отслеживание и совместное использование экспериментов ML.
Torchvista - Torchvista — интерактивный инструмент на базе блокнотов для визуализации прямого прохода любой модели PyTorch в виде вычислительного графа; поддерживает сворачиваемые вложенные модули и частичную визуализацию с обработкой ошибок.
Transformer Explainer - Transformer Explainer — интерактивный инструмент визуализации, помогающий каждому разобраться в работе моделей на основе Transformer, таких как GPT.
Vega-Altair - Vega-Altair — декларативная библиотека статистической визуализации на Python.
ydata-profiling - ydata-profiling позволяет выполнять исследовательский анализ данных (EDA) одной строкой кода, быстро и единообразно.

Управление метаданными

Apache Atlas - Фреймворк Apache Atlas — расширяемый набор базовых служб управления, помогающий предприятиям эффективно выполнять требования соответствия в среде Hadoop и интегрировать её в корпоративную экосистему данных.
DataHub - DataHub — универсальный инструмент LinkedIn для поиска и обнаружения метаданных.
Marquez - Marquez — служба метаданных с открытым исходным кодом для сбора, агрегирования и визуализации метаданных экосистемы данных.
Metacat - Metacat — унифицированный API-сервис для изучения метаданных. Он решает такие задачи, как объединённые представления систем метаданных, произвольное хранение метаданных о наборах данных и поиск метаданных.
ML Metadata - Библиотека для записи и получения метаданных, связанных с рабочими процессами разработчиков машинного обучения и специалистов по данным.

Управление моделями, данными и экспериментами

Aim - Очень простой способ записи, поиска и сравнения экспериментов ИИ.
ClearML - Автоматизированный менеджер экспериментов и система контроля версий для ИИ (ранее Trains).
DataHub - DataHub — каталог данных с открытым исходным кодом для современного стека данных.
Dolt - Dolt — база данных SQL, которую можно форкать, клонировать, ветвить, сливать, отправлять и получать изменения, как в репозитории Git.
DVC - DVC (Data Version Control) — форк Git для управления версиями моделей.
HuggingFace Model Downloader - HuggingFace Model Downloader — служебный инструмент для загрузки моделей и наборов данных с сайта HuggingFace. Предлагает многопоточную загрузку файлов LFS и проверяет целостность загруженных моделей с помощью контрольных сумм SHA256.
Keepsake - Контроль версий для машинного обучения.
KitOps - KitOps — открытая система упаковки и версионирования на основе стандартов для проектов ИИ/ML, совместимая с уже используемыми инструментами ИИ/ML, разработки и DevOps.
lakeFS - Воспроизводимое, атомарное и версионируемое озеро данных на базе объектного хранилища.
MLflow - Платформа с открытым исходным кодом для управления жизненным циклом машинного обучения, включая эксперименты, воспроизводимость и развертывание.
Polyaxon - Платформа воспроизводимого и масштабируемого машинного и глубокого обучения в Kubernetes — видео.
Quilt - Версионирование, воспроизводимость и развертывание данных и моделей.
Sacred - Инструмент для настройки, организации, журналирования и воспроизведения экспериментов машинного обучения.
TerminusDB - Система управления графовыми базами данных, хранящая данные подобно Git.
Weights & Biases - Weights & Biases — инструмент отслеживания экспериментов машинного обучения, версионирования наборов данных, поиска гиперпараметров, визуализации и совместной работы.

Обучение моделей и оркестрация

AutoTrain Advanced - AutoTrain Advanced — решение без написания кода для обучения моделей машинного обучения всего в несколько кликов.
Avalanche - Avalanche — сквозная библиотека непрерывного обучения, предоставляющая общую кодовую базу с открытым исходным кодом под лицензией MIT для быстрого прототипирования, обучения и воспроизводимой оценки алгоритмов непрерывного обучения.
Axolotl - Axolotl упрощает тонкую настройку различных моделей ИИ и поддерживает многочисленные конфигурации и архитектуры.
BindsNET - BindsNET — библиотека симуляции импульсных нейронных сетей для разработки биологически вдохновлённых алгоритмов машинного обучения.
CML - Continuous Machine Learning (CML) — библиотека с открытым исходным кодом для реализации непрерывной интеграции и доставки (CI/CD) в проектах машинного обучения.
CoreNet - CoreNet — инструментарий глубоких нейронных сетей, позволяющий исследователям и инженерам обучать стандартные и новые модели малого и крупного масштаба для разных задач: базовые модели (например, CLIP и LLM), классификация и обнаружение объектов, семантическая сегментация.
DataLinter - DataLinter — контекстный линтер данных и кода с открытым исходным кодом, независимый от языков данных и кода благодаря системе плагинов.
Determined - Платформа обучения глубоких сетей со встроенной поддержкой распределённого обучения, настройки гиперпараметров и управления моделями (поддерживает TensorFlow и PyTorch).
dstack - dstack — оркестратор контейнеров с открытым исходным кодом, упрощающий оркестрацию нагрузок и повышающий утилизацию GPU для команд машинного обучения.
envd - Среда разработки машинного обучения для команд специалистов по данным и инженеров ИИ/ML.
Fire-Flyer File System - Fire-Flyer File System (3FS) — высокопроизводительная распределённая файловая система для задач обучения и инференса ИИ. Она использует современные SSD и сети RDMA, предоставляя общий слой хранения, упрощающий разработку распределённых приложений.
H2O-3 - Быстрая масштабируемая платформа машинного обучения для более интеллектуальных приложений: глубокое обучение, градиентный бустинг и XGBoost, Random Forest, обобщённые линейные модели (логистическая регрессия, Elastic Net), K-Means, PCA, стекинг ансамблей, AutoML и др.
Hopsworks - Hopsworks — платформа с интенсивной обработкой данных для проектирования и эксплуатации конвейеров машинного обучения.
Ignite - Ignite — высокоуровневая библиотека, помогающая гибко и прозрачно обучать и оценивать нейронные сети на PyTorch.
Kubeflow - Облачная нативная платформа машинного обучения на основе внутренних конвейеров машинного обучения Google.
Ludwig - Ludwig — фреймворк с небольшим объёмом кода для создания пользовательских моделей ИИ, таких как LLM и другие глубокие нейронные сети.
MFTCoder - MFTCoder — проект CodeFuse с открытым исходным кодом для точной и эффективной многозадачной тонкой настройки (MFT) больших языковых моделей (LLM), особенно моделей для задач программирования (Code-LLM).
MLeap - Стандартизация конвейеров и сериализации моделей для Spark, TensorFlow и sklearn.
Nanotron - Nanotron предоставляет распределённые примитивы для эффективного обучения различных моделей с использованием трёхмерного параллелизма.
NeMo - NVIDIA NeMo — масштабируемый облачный нативный фреймворк генеративного ИИ для исследователей и разработчиков PyTorch, работающих с большими языковыми (LLM), мультимодальными (MM), речевыми (ASR, TTS) моделями и компьютерным зрением (CV). Помогает эффективно создавать, настраивать и развертывать новые генеративные модели на основе существующего кода и контрольных точек предварительно обученных моделей.
Prime - Prime — фреймворк эффективного глобально распределённого обучения моделей ИИ через интернет.
PyCaret )Библиотека с небольшим объёмом кода для обучения и развертывания моделей (scikit-learn, XGBoost, LightGBM, spaCy).
Sematic - Платформа для создания ресурсоёмких конвейеров с помощью простого кода Python.
Skaffold - Skaffold — инструмент командной строки, упрощающий непрерывную разработку приложений Kubernetes. Можно итеративно изменять исходный код приложения локально, а затем развертывать его в локальных или удалённых кластерах Kubernetes.
TFX - TensorFlow Extended (TFX) — ориентированный на промышленную эксплуатацию конфигурационный фреймворк машинного обучения на базе TensorFlow, включающий мониторинг и управление версиями моделей.
unsloth - Тонкая настройка и обучение с подкреплением для LLM. Обучайте OpenAI gpt-oss, DeepSeek-R1, Qwen3, Gemma 3 и TTS в 2 раза быстрее, используя на 70% меньше видеопамяти.

Оптимизация хранения моделей

AWQ - Квантование весов с учётом активаций для сжатия и ускорения LLM.
GGML - GGML — высокопроизводительная библиотека тензоров для машинного обучения, обеспечивающая эффективный инференс на CPU и особенно оптимизированная для больших языковых моделей.
neural-compressor - Intel® Neural Compressor предоставляет популярные методы сжатия моделей, такие как квантование, прореживание (разреженность), дистилляция и поиск архитектур нейронных сетей для основных фреймворков.
NNEF - Neural Network Exchange Format (NNEF) — открытый стандарт представления моделей нейронных сетей, обеспечивающий совместимость и переносимость между различными фреймворками и платформами машинного обучения.
ONNX - ONNX (Open Neural Network Exchange) — формат с открытым исходным кодом, упрощающий совместимость и переносимость моделей машинного обучения между различными фреймворками и платформами.
PFA - PFA (Portable Format for Analytics) — стандарт представления и обмена прогнозными моделями и аналитическими процессами в переносимом формате на основе JSON.
PMML - PMML (Predictive Model Markup Language) — стандарт на основе XML для представления и обмена прогнозными моделями между различными приложениями.
Quanto - Quanto призван упростить квантование моделей глубокого обучения.

Конфиденциальность и безопасность

AI Gateway - Шлюз ИИ — молниеносно быстрый шлюз ИИ со встроенными защитными механизмами.
ART - ART (Adversarial Robustness Toolbox) предоставляет инструменты защиты и оценки моделей и приложений машинного обучения от состязательных угроз: уклонения, отравления, извлечения и вывода данных.
CipherChat - CipherChat — фреймворк оценки способности мер безопасности LLM к обобщению.
DeepTeam - DeepTeam — простой в использовании фреймворк красной команды LLM с открытым исходным кодом для тестирования на проникновение и защиты систем больших языковых моделей.
FATE - FATE (Federated AI Technology Enabler) — первая в мире промышленная платформа федеративного обучения с открытым исходным кодом, позволяющая предприятиям и учреждениям совместно использовать данные с обеспечением их безопасности и конфиденциальности.
FedML - FedML предоставляет интегрированную исследовательскую и промышленную периферийно-облачную платформу для федеративного и распределённого машинного обучения в любом месте и масштабе.
Flower - Flower — фреймворк федеративного обучения с унифицированным подходом. Он позволяет федеративно выполнять любые нагрузки машинного обучения с любым фреймворком и на любом языке программирования.
Google’s Differential Privacy - Библиотека алгоритмов дифференциальной приватности на C++ с параметром ε, предназначенных для получения агрегированной статистики из числовых наборов данных с приватной или чувствительной информацией.
Guardrails - Guardrails — пакет, позволяющий задавать структурные, типовые и качественные гарантии для ответов больших языковых моделей.
NeMo Guardrails - NeMo Guardrails — инструментарий с открытым исходным кодом, упрощающий добавление программируемых защитных механизмов в диалоговые системы на основе LLM.
Opacus - Opacus — библиотека для обучения моделей PyTorch с дифференциальной приватностью. Она требует минимальных изменений кода на стороне клиента, практически не влияет на производительность обучения и позволяет в реальном времени отслеживать расход бюджета конфиденциальности.
OpenFL - OpenFL — фреймворк Python для федеративного обучения, разработанный как гибкий, расширяемый и простой в освоении инструмент для специалистов по данным. Разрабатывается подразделением Intel Internet of Things Group (IOTG) и Intel Labs.
PySyft - Библиотека Python для безопасного частного глубокого обучения. PySyft отделяет приватные данные от обучения моделей, используя многосторонние вычисления (MPC) в PyTorch.
Tensorflow Privacy - Библиотека Python с реализациями оптимизаторов TensorFlow для обучения моделей машинного обучения с дифференциальной приватностью.
TF Encrypted - Фреймворк конфиденциального машинного обучения на зашифрованных данных в TensorFlow.

Другие избранные списки

Awesome Agentic Engineering Resources - Подборка ресурсов, инструментов и справочных материалов для создания агентных систем ИИ.
Awesome AI Gateway - Подборка шлюзов ИИ и прокси LLM на английском и китайском языках (EN/zh-CN), сравнивающая LiteLLM, OpenRouter, Portkey, Kong, Higress, new-api по стоимости, соответствию требованиям, самостоятельному размещению и маршрутизации; включает дерево решений, воспроизводимые тесты затрат и таблицу сравнения.
Awesome AI Regulation - Обзор систем управления, соблюдения требований и нормативных баз, необходимых для ответственного развертывания систем машинного обучения в разных юрисдикциях.
Awesome AI Tokenomics - Обзор стоимости и эффективности токенов в системах ИИ, включая мониторинг, оптимизацию, кэширование, выбор моделей и управление контекстом.
Awesome Production GenAI - Особое внимание уделяется развертыванию генеративного ИИ: эксплуатации LLM, разработке промптов, а также инструментам мониторинга и безопасности для GenAI.
Awesome RAG Production - Подборка готовых к промышленной эксплуатации инструментов и лучших практик создания масштабируемых систем RAG.

Участники

HagiCode

HagiCode — агентная среда разработки. Насыщенные и удобные взаимодействия с интерфейсом делают планирование, работу агентов и проектные задачи понятными и доступными, превращая разработку в увлекательный процесс.

Насыщенные и удобные взаимодействия с интерфейсом помогают легче планировать, запускать агентов и вести проектную работу.

Перейти на HagiCode Читать документацию

УмныйРабочие процессы OpenSpec превращают намерение в исполнимый путь от предложения через дизайн и задачи до готового изменения.
ЭффективныйМультиагентное выполнение параллельно продвигает исследование, реализацию и проверку в нескольких репозиториях и с привычными Agent CLI.
ИнтересныйНасыщенные и удобные взаимодействия с интерфейсом делают планирование, работу агентов и проектные задачи понятными и доступными.

Скачать для Windows

Получить в Microsoft Store

Все загрузки

HagiCode делает планирование, работу агентов и проектные задачи доступнее благодаря насыщенным и удобным взаимодействиям с интерфейсом: https://www.hagicode.com/

Превращайте идеи в готовое ПО.

HagiCode — агентная среда разработки: рабочие процессы OpenSpec планируют изменение, мультиагентное выполнение его реализует, а Hero Scenario делает долгий путь наглядным, так что идеи становятся готовым ПО.

Скачать HagiCode Документация продукта

Умный: Рабочие процессы OpenSpec превращают намерение в путь от предложения до готового изменения.
Эффективный: Мультиагентное выполнение ведёт исследование, реализацию и проверку параллельно.
Увлекательный: Удобный интерфейс упрощает планирование, работу агентов и проектные задачи.

Выберите язык

Production Machine Learning

Избранное: машинное обучение в промышленной эксплуатации

Быстрые ссылки на разделы этой страницы

Как внести вклад в список

Обзор в видео за 10 минут

Хотите регулярно получать обновления об этом репозитории и других новостях?

Основное содержание

Автоматическое машинное обучение (AutoML)

Оптимизация вычислений и коммуникаций

Аннотирование и синтез данных

Конвейеры данных

Блокноты для науки о данных

Оптимизация хранения данных

Обработка потоков данных

Развертывание и обслуживание

Оценка и мониторинг

Объяснимость и справедливость

Хранилища признаков

Промышленное обнаружение аномалий

Промышленное компьютерное зрение

Промышленный информационный поиск

Промышленная обработка естественного языка

Промышленные рекомендательные системы

Промышленное обучение с подкреплением

Промышленная робототехника

Промышленная визуализация

Управление метаданными

Управление моделями, данными и экспериментами

Обучение моделей и оркестрация

Оптимизация хранения моделей

Конфиденциальность и безопасность

Другие избранные списки

Участники

HagiCode

Скачать для Windows

Превращайте идеи в готовое ПО.

Покинуть Awesome Site?

Production Machine Learning

Избранное: машинное обучение в промышленной эксплуатации

Быстрые ссылки на разделы этой страницы

Как внести вклад в список

Обзор в видео за 10 минут

Хотите регулярно получать обновления об этом репозитории и других новостях?

Основное содержание

Автоматическое машинное обучение (AutoML)

Оптимизация вычислений и коммуникаций

Аннотирование и синтез данных

Конвейеры данных

Блокноты для науки о данных

Оптимизация хранения данных

Обработка потоков данных

Развертывание и обслуживание

Оценка и мониторинг

Объяснимость и справедливость

Хранилища признаков

Промышленное обнаружение аномалий

Промышленное компьютерное зрение

Промышленный информационный поиск

Промышленная обработка естественного языка

Промышленные рекомендательные системы

Промышленное обучение с подкреплением

Промышленная робототехника

Промышленная визуализация

Управление метаданными

Управление моделями, данными и экспериментами

Обучение моделей и оркестрация

Оптимизация хранения моделей

Конфиденциальность и безопасность

Другие избранные списки

Участники

HagiCode

Скачать для Windows

Поделиться HagiCode

Превращайте идеи в готовое ПО.

Cookie и аналитика

Необходимые: всегда включены

Аналитика: выключена до вашего согласия