Production Machine Learning

Source: https://github.com/EthicalML/awesome-production-machine-learning at 4efc0a16249c
License: MIT
Read the English original

This edition is an AI-assisted translation.

精選生產級機器學習資源

本倉庫精選了一系列優秀的開源庫，助你將機器學習部署到生產環境，並進行監控、版本管理、擴充套件和安全防護 🚀

關注此 GitHub 倉庫，即可透過版本釋出及時瞭解每月新增的生產級機器學習庫彙總 🤩

此外，我們還提供了一個搜尋工具集，幫助你快速瀏覽整個工具鏈。

本頁章節快速連結

🔧 自動機器學習（AutoML）	🧮 計算與通訊最佳化	🏷️ 資料標註與合成
🧵 資料流水線	📓 資料科學筆記本	💾 資料儲存最佳化
💸 資料流處理	💪 部署與服務	📈 評估與監控
🔍 可解釋性與公平性	🎁 特徵儲存	🔴 工業級異常檢測
👁️ 工業級計算機視覺	🔥 工業級資訊檢索	🔠 工業級自然語言處理
🙌 工業級推薦系統	🍕 工業級強化學習	🤖 工業級機器人
📊 工業級視覺化	📅 後設資料管理	📜 模型、資料與實驗管理
🔩 模型儲存最佳化	🏁 模型訓練與編排	🔏 隱私與安全

如何為列表做貢獻

提交 PR 時，請先閱讀我們的貢獻指南，瞭解如何幫助我們保持列表整潔並及時更新——感謝社群一直以來對列表持續發展的支援 🚀

10 分鐘影片概覽

本10 分鐘影片介紹了機器學習運維（MLOps）的動機，並概述了本倉庫中的部分工具。這個較新的影片介紹了 2024 年 MLOps 現狀的更新版本。

想定期獲取本倉庫及其他進展的更新嗎？

你可以訂閱 Machine Learning Engineer 新聞通訊。加入超過 70,000 名機器學習專業人士和愛好者的行列，每週接收精選的生產級機器學習文章與教程。
也歡迎檢視 Awesome Production GenAI 列表；我們致力於精選可用於部署、監控、版本管理和擴充套件生成式人工智慧應用與系統的優秀開源庫。

正文

自動機器學習（AutoML）

• AIDE - AIDE 是一個開源機器學習工程代理，使用樹搜尋演算法自主探索、實現並評估機器學習任務的解決策略。
• AutoGluon - 基於主流機器學習庫（Scikit-Learn、LightGBM、CatBoost、PyTorch、MXNet），為表格、影象和文字資料自動選擇特徵、模型和超引數。
• Autokeras - 基於《Auto-Keras：透過網路形態變換實現高效神經架構搜尋》的 Keras AutoML 庫。
• auto-sklearn - 用於自動執行 sklearn 演算法和超引數調優的框架。
• Ax - Ax 是一個易於使用的通用平臺，用於理解、管理、部署和自動化自適應實驗。
• BoTorch - 基於 PyTorch 構建的貝葉斯最佳化庫。
• EvalML - EvalML 是一個 AutoML 庫，使用領域專用目標函式構建、最佳化並評估機器學習流水線。
• Feature Engine - Feature-engine 是一個 Python 庫，包含多個用於為機器學習模型構建特徵的轉換器。
• Featuretools - 一個用於自動化特徵工程的開源框架。
• FLAML - FLAML 是一個快速的自動機器學習與調優庫。
• HEBO - 一組開源超引數最佳化框架，其中包括 NeurIPS 2020 黑盒最佳化挑戰賽的獲勝方案，並在超引數調優任務上進行了測試。
• Katib - 一個基於 Kubernetes 的超引數調優與神經架構搜尋系統。
• keras-tuner - Keras Tuner 是一個易於使用、可分散式執行的超引數最佳化框架，旨在解決超引數搜尋中的痛點。它讓你能夠輕鬆定義搜尋空間，並利用內建演算法找到最佳超引數值。
• Optuna - Optuna 是一個自動化超引數最佳化軟體框架，尤其適用於機器學習。
• OSS Vizier - OSS Vizier 是一個基於 Python 的黑盒最佳化與研究服務，也是最早設計為可大規模執行的超引數調優服務之一。
• Perpetual - 一種無需超引數最佳化的梯度提升機，可透過簡單的預算引數控制模型複雜度。
• TPOT - 自動建立 sklearn 流水線（包括特徵選擇、前處理器等）。
• tsfresh - 自動從時間序列中提取相關特徵。

計算與通訊最佳化

• Accelerate - Accelerate 僅對多 GPU/TPU 和混合精度相關的樣板程式碼進行抽象，其餘程式碼保持不變。
• Adapters - Adapters 是一個統一的庫，用於引數高效、模組化的遷移學習。
• Cache-DiT - Cache-DiT 構建於 Diffusers 之上，支援幾乎所有 DiT，提供混合快取加速（DBCache、TaylorSeer、SCM 等）及全面的並行最佳化，包括上下文並行、張量並行和混合 2D/3D 並行，同時相容編譯、CPU 解除安裝和量化。
• Colossal-AI - 面向大模型時代的統一深度學習系統，幫助使用者高效、快速地部署大型 AI 模型訓練與推理。
• Composer - Composer 是一個 PyTorch 庫，可幫助你以更快的速度、更低的成本和更高的精度訓練神經網路。
• CuDF - cuDF 基於 Apache Arrow 列式記憶體格式構建，是一個 GPU DataFrame 庫，可用於載入、連線、聚合、篩選及以其他方式處理資料。
• CuML - cuML 是一套實現機器學習演算法和數學原語函式的庫，其 API 與其他 RAPIDS 專案相容。
• CuPy - 在 CUDA 上實現與 NumPy 相容的多維陣列。CuPy 包含核心多維陣列類 cupy.ndarray 及其眾多操作函式。
• DEAP - 一個新穎的進化計算框架，可用於快速原型設計和測試想法。它致力於使演算法清晰明確、資料結構透明，並能與 multiprocessing、SCOOP 等並行化機制完美協作。
• DeepEP - DeepEP 是專為混合專家（MoE）和專家並行（EP）設計的通訊庫，提供高吞吐、低延遲的全對全 GPU 核心，也稱為 MoE 分發與合併。該庫還支援包括 FP8 在內的低精度運算。
• DGL - DGL 是一個易用、高效能且可擴充套件的 Python 包，用於圖上的深度學習。
• DLRover - DLRover 讓大型 AI 模型的分散式訓練變得簡單、穩定、快速且節能。
• Dask - 用於 Pandas 和 NumPy 計算的分散式並行處理框架。
• DeepSpeed - DeepSpeed 是一個深度學習最佳化庫，讓分散式訓練與推理變得簡單、高效且實用。
• FlagGems - FlagGems 是使用 OpenAI Triton 實現的高效能通用運算元庫。它基於一組與後端無關的核心，旨在加速多種硬體平臺上的 LLM 訓練與推理。
• Flashlight - 一個完全使用 C++ 編寫的快速、靈活的機器學習庫，來自 Facebook AI Research 以及 Torch、TensorFlow、Eigen 和 Deep Speech 的創作者。
• Flax - 為 JAX 設計的神經網路庫及生態系統，注重靈活性。
• GPUStack - GPUStack 是一個用於執行 AI 模型的開源 GPU 叢集管理器。
• Hivemind - 基於 PyTorch 的去中心化深度學習。
• Jax - 對 Python+NumPy 程式進行可組合變換：微分、向量化、JIT 編譯至 GPU/TPU 等。
• Kompute - 快速、輕量且支援移動裝置的 Vulkan 計算框架，針對高階 GPU 資料處理用例進行了最佳化。
• Liger Kernel - Liger Kernel 是一組專為 LLM 訓練設計的 Triton 核心。
• LightGBM - LightGBM 是一種使用基於樹的學習演算法的梯度提升框架。
• MLX - MLX 是一個面向 Apple 晶片機器學習的陣列框架。
• Modin - 只需更改一行程式碼，即可加速 Pandas 工作流。
• NVIDIA TensorRT - TensorRT 是一個 C++ 庫，用於在 NVIDIA GPU 和深度學習加速器上實現高效能推理。
• Nevergrad - Nevergrad 是一個無梯度最佳化平臺。
• Norse - Norse 致力於發揮仿生神經元件的優勢；這類元件具有稀疏、事件驅動的特點，與人工神經網路有本質區別。
• Numba - 用於 Python 陣列和數值函式的編譯器。
• Optimum - Optimum 是 Transformers 和 Diffusers 的擴充套件，提供一系列最佳化工具，讓模型能夠在目標硬體上以最高效率進行訓練和執行，同時保持易用性。
• PEFT - 引數高效微調（PEFT）方法能夠高效地將預訓練語言模型（PLM）適配到各種下游應用，而無需微調模型的全部引數。
• PaddlePaddle - PaddlePaddle 是一個用於大規模深度網路訓練的框架，可使用分佈在數百個節點上的資料來源。
• PyG - PyG（PyTorch Geometric）是一個基於 PyTorch 構建的庫，可輕鬆編寫和訓練圖神經網路（GNN），適用於各種結構化資料相關應用。
• PyTorch Lightning - PyTorch Lightning 無需修改程式碼，即可在多塊 GPU 和 TPU 上對 AI 模型進行預訓練、微調和部署。
• PyTorch - PyTorch 是一個用於開發和訓練基於神經網路的深度學習模型的庫。
• Ray - Ray 是一個靈活、高效能的機器學習分散式執行框架。
• SetFit - SetFit 是一個高效、無需提示的 Sentence Transformers 小樣本微調框架。
• Sonnet - Sonnet 是一個構建於 TensorFlow 2 之上的庫，為機器學習研究提供簡單、可組合的抽象。
• Streaming - 用於高效神經網路訓練的資料流庫。
• TensorFlow - TensorFlow 是一個領先的庫，旨在開發和部署先進的機器學習應用。
• ThunderKittens ThunderKittens 是一個框架，旨在讓開發者能夠輕鬆使用 CUDA 編寫快速的深度學習核心。
• TorchOpt - TorchOpt 是一個基於 PyTorch 構建的高效可微最佳化庫。
• Triton - Triton 是一種語言和編譯器，用於編寫高效的自定義深度學習原語。它旨在提供一個開源環境，讓開發者能夠以高於 CUDA 的生產效率編寫快速程式碼，同時比其他現有 DSL 更靈活。
• Vaex Vaex 是一個高效能 Python 庫，用於惰性處理超出記憶體容量（Out-of-Core）的 DataFrame（類似 Pandas），以視覺化和探索大型表格資料集。Vaex 透過記憶體對映、零記憶體複製策略和惰性計算實現最佳效能（不浪費記憶體）。
• Vowpal Wabbit Vowpal Wabbit 是一個機器學習系統，透過線上學習、雜湊、allreduce、歸約、learning2search、主動學習和互動式學習等技術推動機器學習的前沿。
• XGBoost - XGBoost 是一個經過最佳化的分散式梯度提升庫，旨在實現高效率、靈活性和可移植性。
• YDF - YDF（Yggdrasil Decision Forests）是一個用於訓練、評估、解釋和服務隨機森林、梯度提升決策樹、CART 與 Isolation Forest 模型的庫。
• bitsandbytes - Bitsandbytes 是一個輕量級 Python 封裝庫，封裝了 CUDA 自定義函式，尤其包括 8 位最佳化器、矩陣乘法（LLM.int8()）以及 8 位和 4 位量化函式。
• einops - 靈活而強大的張量操作，讓程式碼更易讀、更可靠。
• scikit-learn - Scikit-learn 是一個功能強大的機器學習庫，提供豐富的模組，可用於資料訪問、資料準備和統計模型構建。
• snnTorch - snnTorch 是一個使用脈衝神經網路進行深度學習和線上學習的庫。
• torchdistill - torchdistill 提供多種先進的知識蒸餾方法；你只需編輯宣告式 YAML 配置檔案（而非 Python 程式碼），即可設計新實驗。
• torchkeras torchkeras 是一個簡單的工具，讓你能夠以 Keras 風格使用 PyTorch 訓練神經網路。
• veScale - veScale 是一個原生基於 PyTorch 的 LLM 訓練框架。
• yellowbrick - yellowbrick 是一個基於 matplotlib 的模型評估繪相簿，適用於 scikit-learn 和其他機器學習庫。

資料標註與合成

• Argilla - Argilla 幫助領域專家和資料團隊用更少時間構建更優質的 NLP 資料集。
• cleanlab - 面向資料中心 AI 的 Python 庫。可自動發現錯誤標註的資料、檢測離群值、估算多標註者資料集中的共識度和標註者質量，並建議下一步最適合重新標註的資料。
• COCO Annotator - 基於 Web 的影象分割工具，可用於目標檢測、定位和關鍵點標註。
• CVAT - CVAT（計算機視覺標註工具）是 OpenCV 的 Web 標註工具，可為計算機視覺演算法標註影片和影象。
• Doccano - 面向人工標註的開源文字標註工具，支援情感分析、命名實體識別和機器翻譯。
• Label Studio - 支援多個領域、具有標準化輸出格式的資料標註工具。
• LightlyStudio - 一個用於整理、標註和管理視覺資料集（影象和影片）的開源工具。支援基於嵌入的自動篩選、標註，以及邊界框和分割任務的自動標籤。
• NeMo Curator - NeMo Curator 是一個 GPU 加速框架，可高效整理大型語言模型資料。
• refinery - 資料科學家用於擴充套件、評估和維護自然語言資料的開源工具。
• SDV - Synthetic Data Vault（SDV）是一個合成資料生成庫生態系統，使用者可輕鬆學習單表、多表和時間序列資料集，隨後生成格式和統計特性與原始資料集相同的新合成資料。
• Semantic Segmentation Editor - 日立的開源工具，用於標註相機和鐳射雷達資料。
• synthcity - synthcity 是一個用於生成和評估合成表格資料的庫。
• TabGAN - 使用 GAN（CTGAN）、擴散模型和 LLM 生成合成表格資料，並支援對抗式篩選、隱私指標和 sklearn 整合。
• ViPE - ViPE 是一個空間 AI 工具，可從原始影片中標註相機姿態和稠密深度圖。
• YData Synthetic - YData Synthetic 是一個利用先進生成模型生成合成表格和時間序列資料的包。

資料流水線

• Apache Airflow - 使用 Python 構建的資料流水線框架，包含排程器、DAG 定義和視覺化介面。
• Apache Nifi - Apache NiFi 專為資料流設計，支援高度可配置的有向圖，用於資料路由、轉換和系統中介邏輯。
• Argo Workflows - Argo Workflows 是一個開源、容器原生的工作流引擎，用於編排 Kubernetes 上的並行作業。Argo Workflows 以 Kubernetes CRD（自定義資源定義）的形式實現。
• Couler - 用於在不同工作流引擎（如 Argo Workflows、Tekton Pipelines 和 Apache Airflow）上構建和管理機器學習工作流的統一介面。
• DataTrove - DataTrove 是一個用於超大規模文字資料處理、篩選和去重的庫。
• Dagster - 面向機器學習、分析和 ETL 的資料編排器。
• DBT - 用於在資料倉儲內執行轉換的 ETL 工具。
• Flyte - Lyft 的雲原生機器學習與資料處理平臺 - (演示)。
• Genie - 用於對接 Hadoop 系統並觸發作業執行的作業編排引擎。
• Hamilton - Hamilton 是一個用於定義資料流的微型編排框架。可在任何能執行 Python 的環境中執行（如 Jupyter、FastAPI、Spark、Ray、Dask）。無需額外學習即可遵循軟體工程最佳實踐。可用於定義特徵工程轉換、端到端模型流水線和 LLM 工作流。它與宏觀編排系統（如 Kedro、Luigi、Airflow、dbt 等）互補，可替代這些系統宏任務內部的程式碼。它附帶可自行託管的 UI，可捕獲血緣與來源資訊、執行遙測資料和資料摘要，並構建自動填充的目錄；開發和生產環境均可使用。
• Instill VDP - Instill VDP（多功能資料流水線）旨在簡化從啟動到完成的資料處理流水線。
• Instructor - Instructor 讓你能夠輕鬆從 GPT-3.5、GPT-4、GPT-4-Vision 等 LLM 和開源模型獲取 JSON 等結構化資料。
• Kedro - Kedro 是一個工作流開發工具，可幫助你構建穩健、可擴充套件、可部署、可復現且有版本管理的資料流水線。
• Luigi - Luigi 是一個 Python 模組，可幫助你構建複雜的批處理作業流水線，並處理依賴解析、工作流管理、視覺化等。
• Metaflow - 一個幫助資料科學家輕鬆構建和管理真實資料科學專案的框架。
• Pachyderm - 一個基於 Kubernetes 構建的開源分散式處理框架，主要專注於動態構建生產級機器學習流水線 - (影片)。
• Pixeltable 開源 Python 庫，提供宣告式、增量式資料基礎設施，用於構建和管理多模態 AI 工作負載。
• Prefect Core - 工作流管理系統，讓你能夠輕鬆為資料流水線新增重試、日誌記錄、動態對映、快取、故障通知等語義。
• SeqIO - SeqIO 是一個用於處理序列資料的庫，這些資料將輸入下游序列模型。
• Snakemake - 用於可復現、可擴充套件資料分析的工作流管理系統。
• Towhee - 通用機器學習流水線，可使用一個或多個機器學習模型生成嵌入向量。
• unstructured - unstructured 簡化並最佳化 LLM 的資料處理工作流，可攝取和預處理影象及 PDF、HTML、Word 文件等文字檔案。
• ZenML - ZenML 是一個可擴充套件的開源 MLOps 框架，用於建立可復現的 ML 流水線，重點支援自動化後設資料跟蹤、快取以及與其他工具的豐富整合。

資料科學筆記本

• Apache Zeppelin - 基於 Web 的筆記本，提供資料驅動、互動式資料分析環境，以及支援 SQL、Scala 等語言的協作文件。
• Deepnote - Deepnote 是 Jupyter 的直接替代品，採用 AI 優先設計，提供簡潔 UI、新型區塊和原生資料整合。可在喜愛的 IDE 中本地使用 Python、R 和 SQL，然後擴充套件至 Deepnote 雲，使用實時協作、Deepnote 代理和可部署的資料應用。
• Jupyter Notebooks - 基於 Web 的 Python 沙盒筆記本環境，適用於可復現開發。
• Marimo - 響應式 Python 筆記本——執行可復現實驗、作為指令碼執行、部署為應用，並透過 git 進行版本管理。
• Papermill - Papermill 是一個用於為筆記本新增引數並像 Python 指令碼一樣執行它們的庫。
• Polynote - Polynote 是一個實驗性的多語言筆記本環境。目前支援 Scala 和 Python（可搭配或不搭配 Spark）、SQL 和 Vega。
• RMarkdown - rmarkdown 包是基於 Pandoc 的新一代 R Markdown 實現。
• Stencila - Stencila 是一個用於建立、協作編輯和分享資料驅動內容的平臺。這些內容透明且可復現。
• Voilà - Voilà 可將 Jupyter 筆記本轉換為獨立 Web 應用，例如可用作儀表板。

資料儲存最佳化

• AIStore - AIStore 是一個輕量級物件儲存系統，可隨著每個新增儲存節點線性擴充套件，並特別專注於拍位元組級深度學習場景。
• Alluxio - 一種虛擬分散式儲存系統，用於彌合計算框架與儲存系統之間的鴻溝。
• Apache Arrow - 與 Pandas、基於 Hadoop 的系統等相容的記憶體列式資料表示格式。
• Apache Druid - 一個高效能實時分析資料庫。可閱讀這篇文章瞭解入門資訊。
• Apache Hudi - Hudi 是一個事務型資料湖平臺，可將資料倉儲和資料庫的核心功能直接引入資料湖。Hudi 非常適合流式工作負載，也支援建立高效的增量批處理流水線。它支援 Spark、Flink、Presto、Trino、Hive 等主流查詢引擎。更多資訊見此處。
• Apache Iceberg - Iceberg 是一種符合 ACID、高效能的格式，專為超大型分析表（包含數十 PB 資料）設計。它將 SQL 表的可靠性和簡潔性帶入大資料領域，同時支援 Spark、Trino、Flink、Presto、Hive 和 Impala 等引擎安全地同時操作同一張表。更多資訊見此處。
• Apache Ignite - 以記憶體為中心的分散式資料庫、快取和處理平臺，可為事務型、分析型和流式工作負載提供 PB 級記憶體速度 - 演示。
• Apache Parquet - 與 Pandas、基於 Hadoop 的系統等相容的磁碟列式資料表示格式。
• Apache Pinot - 一個實時分散式 OLAP 資料儲存。關於 ClickHouse、Druid 和 Pinot 等開源大資料 OLAP 系統的比較見此處。
• Casibase - Casibase 是一個類似 LangChain 的 RAG（檢索增強生成）知識庫，提供 Web UI 和企業單點登入。
• Chroma - Chroma 是一個開源嵌入資料庫。
• ClickHouse - ClickHouse 是一個開源列式資料庫管理系統。
• Delta Lake - Delta Lake 是一個儲存層，為 Apache Spark 和其他大資料引擎帶來可擴充套件的 ACID 事務。
• EdgeDB - Gel 透過現代資料模型、圖查詢、身份驗證與 AI 解決方案等功能增強 Postgres。
• GPTCache - GPTCache 是一個用於為大型語言模型查詢建立語義快取的庫。
• InfluxDB 可擴充套件的資料儲存，用於儲存指標、事件並進行實時分析。
• Milvus Milvus 是一個雲原生開源向量資料庫，用於管理機器學習模型和神經網路生成的嵌入向量。
• Marqo Marqo 是一個端到端向量搜尋引擎。
• pgvector pgvector 為 Postgres 提供向量相似性搜尋功能。
• PostgresML PostgresML 是 PostgreSQL 的機器學習擴充套件，可透過 SQL 查詢對文字和表格資料進行訓練和推理。
• Redis Redis 是一個開源記憶體資料儲存，支援向量相似性搜尋，適用於語義搜尋和推薦系統等 AI/ML 應用。
• Safetensors 一種簡單、安全的張量儲存與分發方式。
• TimescaleDB An open-source time-series SQL database optimized for fast ingest and complex queries packaged as a PostgreSQL extension - 開源時序 SQL 資料庫，作為 PostgreSQL 擴充套件打包，針對快速寫入和複雜查詢進行了最佳化 - (影片)。
• Weaviate - 一個低延遲向量搜尋引擎（GraphQL、RESTful），開箱即支援多種媒體型別。其模組包括語義搜尋、問答、分類、可定製模型（PyTorch/TensorFlow/Keras）等。
• Zarr - 用於平行計算的分塊壓縮 N 維陣列 Python 實現。

資料流處理

• Apache Beam Apache Beam 是一個統一的批處理和流處理程式設計模型。
• Apache Flink - 開源流處理框架，具備強大的流式和批處理能力。
• Apache Kafka - Kafka 客戶端庫，用於構建輸入和輸出儲存在 Kafka 叢集中的應用與微服務。
• Apache Samza - 分散式流處理框架。它使用 Apache Kafka 進行訊息傳遞，並使用 Apache Hadoop YARN 提供容錯、處理器隔離、安全和資源管理。
• Apache Spark - 使用 Apache Spark 框架作為後端的流微批處理，支援有狀態的精確一次語義。
• Bytewax - 基於 Rust 引擎構建的靈活、以 Python 為中心的有狀態流處理框架。
• FastStream - 一種現代化、與訊息代理無關的流式 Python 框架，支援 Apache Kafka、RabbitMQ 和 NATS 協議，受 FastAPI 啟發，且易於與其他 Web 框架整合。
• MOA - MOA（大規模線上分析）是一個用於大資料流挖掘的開源框架。
• MosaicML Streaming - 從雲端儲存快速、確定性地流式讀取大型資料集，以支援分散式模型訓練。
• RisingWave - 一個分散式 SQL 流資料庫，將流處理與低延遲服務相結合，非常適合構建和服務線上機器學習特徵。
• TensorStore - 用於讀寫大型多維陣列的庫。

部署與服務

• Agenta - Agenta 為整個 LLMOps 工作流提供端到端工具：構建（LLM playground、評估）、部署（提示詞和配置管理），以及觀測與追蹤。
• AirLLM - AirLLM 最佳化推理記憶體用量，使 700 億引數大型語言模型無需量化、蒸餾和剪枝，即可在單張 4GB GPU 上執行推理。
• AITemplate - AITemplate（AIT）是一個 Python 框架，可將深度神經網路轉換為 CUDA（NVIDIA GPU）/HIP（AMD GPU）C++ 程式碼，實現極速推理服務。
• BentoML - BentoML 是一個用於高效能 ML 模型服務的開源框架。
• Bifrost - AI 閘道器透過單一相容 OpenAI 的 API 接入 23 多家 LLM 提供商，並提供自動故障切換、負載均衡、語義快取、預算治理和 Prometheus 指標。
• BISHENG - BISHENG 是一個開放的 LLM 應用開發運維平臺，專注於企業場景。
• CosmoEdge - 面向生產部署的 C++ 邊緣影片 AI 引擎，結合 RTSP 接入、CV/VLM 推理、視覺化編排、告警以及 Sophon 和 Rockchip NPU 上的事件分發。
• DeepDetect - 使用 C++ 編寫並由 Jolibrain 維護的機器學習生產伺服器，支援 TensorFlow、XGBoost 和 Caffe 模型。
• Dynamo - NVIDIA Dynamo 是一個高吞吐、低延遲的推理框架，專為多節點分散式環境中的生成式 AI 和推理模型服務而設計。
• exo - exo 可幫助你在家中利用日常裝置組建並執行 AI 叢集。
• Genkit - Genkit 是一個開源框架，使用熟悉的、以程式碼為中心的模式構建 AI 應用。它讓 AI 功能的開發、整合和測試更加便捷，並支援可觀測性和評估。
• GoModel - GoModel 是一個使用 Go 編寫、可自行託管的 AI 閘道器，透過統一的相容 OpenAI API 接入 OpenAI、Anthropic、Gemini、Groq、xAI、Ollama 等提供商，並支援路由、用量跟蹤、速率限制和防護機制。
• Inference - 一個快速、可用於生產環境的計算機視覺推理伺服器，支援部署多種熱門模型架構和微調模型。藉助 Inference，你可以透過 Docker 在自有硬體上部署 YOLOv5、YOLOv8、CLIP、SAM 和 CogVLM 等模型。
• Infinity - Infinity 是一個高吞吐、低延遲 REST API，用於提供文字嵌入、重排序模型和 CLIP 服務。
• LiteLLM - LiteLLM 是一個 Python SDK 和代理伺服器（LLM 閘道器），可使用 OpenAI 格式呼叫 100 多種 LLM API，包括 Bedrock、Azure、OpenAI、VertexAI、Cohere、Anthropic、Sagemaker、HuggingFace、Replicate 和 Groq。
• LiteRT - LiteRT（原 TensorFlow Lite）是 Google 的高效能裝置端 AI 推理執行時，可將機器學習模型部署到移動、嵌入式和邊緣裝置。
• LiteRT-LM - LiteRT-LM 是 Google 面向生產環境的高效能推理框架，可在邊緣裝置上部署大型語言模型，並支援 Android、iOS、Web、桌面和 IoT 等平臺。
• LitServe - LitServe 是一個基於 FastAPI 構建的靈活 AI 模型服務引擎。它支援模型、代理、多模態系統、RAG 和複雜 ML 流水線的自定義推理引擎。
• jevos - jevOS 是 TypeSafe Jev 的開源替代方案，用於是/否決策：它是一個 10 億引數二元分類器（GGUF、llama.cpp），透過相容 Jev 的 FastAPI HTTP API 提供服務，可僅用 CPU 在膝上型電腦上執行。
• Jina-serve - Jina-serve 是一個用於構建和部署 AI 服務的框架，服務之間可透過 gRPC、HTTP 和 WebSocket 通訊。
• Kiln - Kiln 是一個開源工具，用於微調 LLM 模型、生成合成資料並協作處理資料集。
• KServe - KServe 提供一個 Kubernetes 自定義資源定義，用於機器學習預測和生成式模型服務。
• KTransformers - KTransformers 是一個靈活的框架，可體驗前沿 LLM 推理最佳化。
• Langtrace - Langtrace 是一個基於 OpenTelemetry 的開源端到端 LLM 應用可觀測性工具，為主流 LLM、LLM 框架、向量資料庫等提供實時追蹤、評估和指標。
• Lepton AI - LeptonAI Python 庫讓你能夠輕鬆使用 Python 程式碼構建 AI 服務。
• LightLLM - LightLLM 是一個基於 Python 的大型語言模型（LLM）推理和服務框架，以輕量設計、易於擴充套件和高速效能見長。
• llama.cpp - llama.cpp 是一個開源軟體庫，可對 Llama 等多種大型語言模型執行推理。
• llmfit - 一個終端工具，可根據系統的 RAM、CPU 和 GPU 為 LLM 模型選擇合適配置。它能檢測硬體，並從質量、速度、適配度和上下文等維度為各模型評分，告訴你哪些模型能在你的機器上流暢執行。
• LMCache - LMCache 是一個高效能 KV 快取層，可加速 LLM 推理。
• LMDeploy - LMDeploy 是一個用於壓縮、部署和提供 LLM 服務的工具包。
• LM Studio - LM Studio 是一個工具，可在本地計算機上部署 LLM 模型；只要滿足最低要求，即使配置相對普通的裝置也可以執行。
• LocalAI - LocalAI 是一個可直接替換的 REST API，相容 OpenAI API 規範，可在本地執行推理。
• MindsDB - MindsDB 是一個平臺，可直接基於資料庫、向量儲存和應用資料實時建立、提供和微調模型。
• mini-sglang - mini-sglang 是一個輕量、高效的大型語言模型服務框架。
• MLRun- MLRun 是一個開放的 MLOps 框架，可快速構建和管理貫穿整個生命週期的持續機器學習與生成式 AI 應用。
• MLServer - 一個機器學習模型推理伺服器，支援多個框架、多模型服務等功能。
• Model Runner - Docker Model Runner 可輕鬆使用 Docker 管理、執行和提供 AI 模型服務，支援從 Docker Hub 或任何符合 OCI 標準的登錄檔拉取 LLM 和其他 AI 模型。
• Mosec - 一個由 Rust 驅動、支援多階段流水線的模型伺服器，提供動態批處理等功能。可輕鬆實現並部署為微服務。
• nano-vllm - nano-vllm 是一個從頭構建的輕量級 vLLM 實現，提供快速離線推理，並採用字首快取、張量並行和 CUDA graph 等最佳化技術。
• nndeploy - 一個易用且高效能的 AI 部署框架。
• Nuclio - 一個專注於資料、I/O 和計算密集型工作負載的高效能“無伺服器”框架。它與 Jupyter 和 Kubeflow 等主流資料科學工具緊密整合，支援多種資料和流式資料來源，並支援在 CPU 和 GPU 上執行。
• OpenLLM - OpenLLM 讓開發者只需一條命令，即可將任意開源 LLM（Llama 3.1、Qwen2、Phi3 等）或自定義模型作為相容 OpenAI 的 API 執行。
• OpenVINO - OpenVINO 是一個用於最佳化和部署 AI 推理的開源工具包。
• Open WebUI - Open WebUI 是一個可擴充套件、功能豐富且易用的自託管 AI 平臺，專為完全離線執行而設計。它支援 Ollama 等各種 LLM 執行器和相容 OpenAI 的 API，並內建用於 RAG 的推理引擎，是強大的 AI 部署解決方案。
• OptiLLM - OptiLLM 是一個相容 OpenAI API 的推理最佳化代理，實現了 20 多種先進技術，可顯著提升 LLM 在推理任務上的準確性和效能，無需訓練或微調任何模型。
• PowerInfer - PowerInfer 是一個利用啟用區域性性的 CPU/GPU LLM 推理引擎，面向你的裝置進行最佳化。
• Prompt2Model - Prompt2Model 是一個系統，可根據自然語言任務描述（例如 ChatGPT 等 LLM 使用的提示詞）訓練適合部署的小型專用模型。
• RamaLama - RamaLama 是一個開源工具，透過 OCI 容器簡化 AI 模型的本地推理與服務，無需配置主機系統。
• RunAnywhere - RunAnywhere 是一個面向生產環境的 SDK，可在 iOS、Android、React Native 和 Flutter 裝置端執行 AI 模型（LLM、語音轉文字、文字轉語音），從而打造私密、離線且快速的移動 AI 應用。
• Seldon Core - 在 Kubernetes 上部署和執行機器學習模型的開源平臺 - (影片)。
• SGLang - SGLang 是一個面向大型語言模型和視覺語言模型的快速服務框架。
• SIE - 開源推理伺服器與生產叢集，適用於嵌入、重排序和資訊抽取。預配置 85 多個模型，涵蓋稠密、稀疏、多向量、視覺、重排序和抽取模型。附帶 Helm、KEDA 自動擴縮、Grafana 儀表板和 Terraform。
• SkyPilot - SkyPilot 是一個可在任意雲上執行 LLM、AI 和批處理作業的框架，提供最大限度的成本節省、充足的 GPU 可用性和託管執行。
• Tensorflow Serving - 高效能框架，透過 gRPC 協議提供 TensorFlow 模型服務，每個核心每秒可處理 10 萬個請求。
• torchtune - torchtune 是一個 PyTorch 庫，可輕鬆編寫、後訓練和試驗 LLM。
• Transformer Lab - Transformer Lab 是一個開源 LLM 工作空間，可在本地跨推理引擎和平臺微調、評估、匯出及測試模型。
• Triton Inference Server - Triton 是一個高效能開源服務軟體，可部署來自任意框架的 AI 模型並執行於 GPU 和 CPU，同時最大限度地提高利用率。
• Vercel AI - Vercel AI 是一個 TypeScript 工具包，旨在幫助你使用 Next.js、React、Svelte、Vue 等主流框架以及 Node.js 等執行時構建 AI 應用。
• Vespa - 在服務期間以任意規模搜尋、推理並組織向量、張量、文字和結構化資料。
• vLLM - vLLM 是一個高吞吐、記憶體高效的 LLM 推理與服務引擎。

評估與監控

• AlpacaEval - AlpacaEval 是一個用於評估遵循指令語言模型的自動評估器。
• ANN-Benchmarks - ANN-Benchmarks 是一個近似最近鄰搜尋演算法的基準測試環境。
• ARES - ARES 是一個自動評估檢索增強生成（RAG）模型的框架。
• BEIR - BEIR 是一個包含多種資訊檢索任務的異構基準。它還提供統一、易用的框架，可在該基準內評估基於 NLP 的檢索模型。
• Code Generation LM Evaluation Harness - Code Generation LM Evaluation Harness 是一個用於評估程式碼生成模型的框架。
• COMET - COMET 是一個開源機器學習評估框架。
• C-Eval - C-Eval 是一個面向基礎模型的綜合中文評測套件。
• Deepchecks - Deepchecks 是一個滿足各種 AI 與 ML 驗證需求的全面開源解決方案，可全面測試從研究到生產階段的資料和模型。
• DeepEval - DeepEval 是一個簡單易用的 LLM 應用開源評估框架。
• EvalAI - EvalAI 是一個開源平臺，可大規模評估和比較 AI 演算法。
• Evalchemy - Evalchemy 是一個統一、易用的後訓練語言模型評估工具包。
• EvalPlus - EvalPlus 是一個穩健的 LLM4Code 評估框架，包含擴充套件版 HumanEval+ 和 MBPP+ 基準、效率評估（EvalPerf）以及安全且可擴充套件的評估工具包。
• Evals - Evals 是一個用於評估 OpenAI 模型的框架，也是一個開源基準註冊庫。
• EvalScope - EvalScope 是一個精簡且可定製的框架，用於高效的大模型評估和效能基準測試。
• Evaluate - Evaluate 是一個庫，可讓模型評估、比較和效能報告更加輕鬆、規範。
• Evidently - Evidently 是一個開源框架，用於評估、測試和監控 ML 與 LLM 驅動的系統。
• Future AGI - 開源、可自行託管的端到端智慧體工程與最佳化平臺，整合了追蹤、評估、模擬、資料集、閘道器和防護機制，適用於 LLM 和 AI 智慧體應用。
• GAOKAO-Bench - GAOKAO-Bench 是一個評估框架，使用中國普通高等學校招生全國統一考試（高考）題目作為資料集，評估大模型的語言理解與邏輯推理能力。
• Giskard - Giskard 是一個開源 Python 庫，可自動檢測 AI 應用中的效能、偏見和安全問題。
• guidellm - guidellm 是一個面向大型語言模型推理系統的基準測試與效能評估工具。
• Harbor - Harbor 是一個用於評估和最佳化智慧體與語言模型的框架，支援在容器環境中並行開展實驗，並內建基準與環境管理功能。
• HumanEval - HumanEval 是一個基準測試，使用帶有單元測試的 Python 程式設計題評估程式碼生成模型的功能正確性。
• Helicone - Helicone 是一個一體化開源 LLM 開發者平臺。
• HELM - HELM（語言模型整體評估）提供全面評估語言模型的工具，包括標準化資料集、面向多種模型的統一 API、多樣化指標、r、公平性擾動、提示詞構建框架，以及統一模型訪問的代理伺服器。
• Inspect - Inspect 是一個用於大型語言模型評估的框架。
• IsaacLab-Arena - IsaacLab-Arena 是 NVIDIA Isaac Lab 的開源擴充套件，用於可組合環境構建和大規模機器人策略評估。
• JiWER - JiWER 是一個簡單快速的 Python 包，用於評估自動語音識別系統。
• Laminar - Laminar 是一個開源平臺，用於追蹤、評估、標註和分析 AI 產品的 LLM 資料。
• Langfuse - Langfuse 是一個面向基於 LLM 應用的可觀測性與分析解決方案。
• LangTest - LangTest 是一個全面的 NLP 模型評估工具包。
• Language Model Evaluation Harness - Language Model Evaluation Harness 是一個框架，可在大量不同評估任務上測試生成式語言模型。
• LangWatch - LangWatch 是一個面向 DSPy 的視覺化介面，也是一個完整的 LLM Ops 平臺，用於監控、試驗、衡量和改進 LLM 流水線，並採用公平程式碼分發模式。
• Latitude - Latitude 是一個開源 AI 智慧體可觀測性平臺，提供語義追蹤搜尋和問題跟蹤。
• LightEval - LightEval 是一個輕量級 LLM 評估套件。
• lmms-eval - lmms-eval 是一個精心打造的評估框架，用於一致、高效地評估大型多模態模型（LMM）。
• Melting Pot - Melting Pot 是一套用於多智慧體強化學習的測試場景。
• Meta-World - Meta-World 是一個開源模擬基準，用於元強化學習和多工學習，包含 50 種不同的機器人操作任務。
• mir_eval - mir_eval 是一個 Python 庫，為評估音樂資訊檢索系統提供透明、標準化且簡單直接的方法。
• MLPerf Inference - MLPerf Inference 是一個基準測試套件，用於衡量系統在多種部署場景下執行模型的速度。
• Massive Text Embedding Benchmark - Massive Text Embedding Benchmark（MTEB）是一個綜合評估框架，可評估文字嵌入模型在多種任務和語言上的表現，涵蓋 8 類嵌入任務、58 個資料集和 112 種語言。
• NannyML - NannyML 是一個庫，可在無法訪問目標值的情況下估算部署後模型效能、檢測資料漂移，並將資料漂移告警與模型效能變化智慧關聯。
• OGB - Open Graph Benchmark（OGB）是一組圖機器學習基準資料集、資料載入器和評估器。
• Ollama Grid Search - Ollama Grid Search 可自動為特定用例選擇最佳模型、提示詞或推理引數，讓你能夠遍歷各種組合並直觀檢查結果。
• onWatch - onWatch 是一個輕量級 Go 命令列工具，可實時追蹤多個提供商（Anthropic Pro/Max Plans、Codex、Gemini CLI、Synthetic、Z.ai、GitHub Copilot、MiniMax Coding/Token Plan、Antigravity、OpenRouter）的 AI API 配額用量，並提供消耗速率預測、歷史用量圖表和按週期跟蹤。
• OpenCompass - OpenCompass 是一個 LLM 評估平臺，支援在 50 多個資料集上評測廣泛的模型（LLaMA、LLaMa2、ChatGLM2、ChatGPT、Claude 等）。
• OpenLIT - OpenLIT 是一個開源 AI 工程平臺，透過可觀測性、監控、防護機制、評估和無縫整合簡化 LLM 工作流。
• OpenLLMetry - OpenLLMetry 透過效能監控、執行追蹤和除錯功能，為開發者深入洞察大型語言模型應用。
• Opik - Opik 是一個開源平臺，用於評估、測試和監控 LLM 應用。
• Overcooked-AI - Overcooked-AI 是一個完全合作式人類與 AI 任務表現的基準環境，基於廣受歡迎的電子遊戲 Overcooked。
• Phoenix - Phoenix 是一個開源 AI 可觀測性平臺，專為實驗、評估和故障排查而設計。
• Promptfoo - LLM 紅隊測試和評估框架，用於測試越獄、提示詞注入及其他漏洞，並整合 CI/CD。
• Prometheus-Eval - RagaAI Catalyst 是一個綜合平臺，旨在增強 LLM 專案的管理與最佳化。
• RagaAI Catalyst - Prometheus-Eval 是一組工具，用於訓練、評估和使用專門用於評估其他語言模型的語言模型。
• Ragas - Ragas 是一個用於評估 RAG 流水線的框架。
• RewardBench - RewardBench 是一個基準測試，旨在評估獎勵模型的能力與安全性。
• RLBench - RLBench 是一個雄心勃勃的大規模基準和學習環境，旨在推動多個視覺引導操作研究領域的發展，包括強化學習、模仿學習、多工學習、幾何計算機視覺，尤其是小樣本學習。
• SimplerEnv - SimplerEnv 是一個模擬操作策略評估環境，用於真實機器人設定。
• SwanLab - SwanLab 是一個 AI 訓練跟蹤與視覺化工具。
• Speech-to-Text Benchmark - Speech-to-Text Benchmark 是一個簡約且可擴充套件的框架，用於對不同語音轉文字引擎進行基準測試。
• TensorFlow Model Analysis - TensorFlow Model Analysis（TFMA）是一個庫，可使用訓練器中定義的相同指標，以分散式方式在大量資料上評估 TensorFlow 模型。
• TorchBench - TorchBench 是一組用於評估 PyTorch 效能的開源基準測試。
• TruLens - TruLens 提供一組工具，用於評估和跟蹤 LLM 實驗。
• TrustLLM - TrustLLM 是一個全面的框架，用於評估大型語言模型的可信度，包含原則、調查和基準測試。
• VBench - VBench 是一套用於影片生成模型的綜合基準測試。
• VLMEvalKit - VLMEvalKit 是一個開源工具包，用於評估大型視覺語言模型（LVLM）。

可解釋性與公平性

• Aequitas - 一個開源偏見審計工具包，供資料科學家、機器學習研究人員和政策制定者審計機器學習模型中的歧視與偏見，並據此對預測風險評估工具的開發和部署做出知情且公平的決策。
• AI Explainability 360 - 用於解釋資料和機器學習模型的可解釋性工具，包括一套全面的演算法，覆蓋多種解釋維度及代理可解釋性指標。
• AI Fairness 360 - 為資料集和機器學習模型提供全面的公平性指標及指標說明，並提供減輕資料集和模型偏見的演算法。
• Alibi - Alibi 是一個開源 Python 庫，旨在檢查和解釋機器學習模型。該庫最初專注於黑盒、基於例項的模型解釋。
• captum - 由 Facebook 開發的 PyTorch 模型可解釋性與理解庫。它為 PyTorch 模型提供積分梯度、顯著性圖、SmoothGrad、VarGrad 等通用實現。
• Fairlearn - Fairlearn 是一個 Python 工具包，用於評估並緩解機器學習模型中的不公平現象。
• InterpretML - InterpretML 是一個開源包，用於訓練可解釋模型並解釋黑盒系統。
• Lightly - 一個用於影象自監督學習的 Python 框架。學習到的表示可用於分析無標籤資料的分佈並重新平衡資料集。
• LOFO Importance - LOFO（逐個特徵剔除）重要性根據選定指標，計算所選模型的一組特徵的重要性：它會逐一移除特徵，並根據所選指標和驗證方案評估模型效能。
• mljar-supervised - 一個用於表格資料 AutoML 的 Python 包，支援特徵工程、超引數調優、解釋和自動文件生成。
• Quantus - Quantus 是一個用於負責任地評估神經網路解釋的可解釋 AI 工具包。
• SHAP - SHapley Additive exPlanations 是一種統一方法，用於解釋任意機器學習模型的輸出。
• SHAPash - Shapash 是一個 Python 庫，提供多種視覺化形式，並使用人人都能理解的明確標籤。
• WhatIf - 一個易用介面，幫助使用者加深對黑盒分類或迴歸機器學習模型的理解。

特徵儲存

• FEAST - Feast（特徵儲存）是一個面向機器學習的開源特徵儲存。它能以最快捷的方式利用現有基礎設施，將分析資料投入生產，用於模型訓練和線上推理。
• Featureform - 一個虛擬特徵儲存，可即插即用地接入現有基礎設施，深受資料科學家認可。只需 pip install，即可使用發現、治理、血緣跟蹤和協作功能。支援 pandas、Python、Spark、SQL，並整合主流雲服務商。
• Hopsworks Feature Store - 面向 ML 的離線/線上特徵儲存 (影片)。

工業級異常檢測

• Alibi Detect - alibi-detect 是一個 Python 包，專注於離群點、對抗樣本和概念漂移檢測。
• Darts - Darts 是一個易用的時間序列預測與異常檢測庫。
• Deequ - 一個構建於 Apache Spark 之上的庫，用於定義“資料單元測試”，以衡量大型資料集的資料質量。
• PyOD - 一個用於可擴充套件離群點檢測（異常檢測）的 Python 工具箱。
• TFDV - TFDV（TensorFlow Data Validation）是一個用於探索和驗證機器學習資料的庫。

工業級計算機視覺

• CameraTraps - CameraTraps（PyTorch Wildlife）是一個協作式深度學習框架，用於野生動物影象分析，提供基於大規模相機陷阱資料集訓練的檢測和分類模型。
• Deep Lake - Deep Lake 是一種針對計算機視覺最佳化的資料基礎設施。
• DeepForest - DeepForest 是一個 Python 包，使用深度學習從航拍 RGB 影象中訓練和預測單棵樹的樹冠及樹種。
• Detectron2 - Detectron2 是 Facebook AI Research 的新一代庫，提供先進的檢測和分割演算法。
• Kornia - Kornia 是一個構建於 PyTorch 之上的可微計算機視覺庫，提供豐富的可微影象處理和幾何視覺演算法。
• libcom - libcom 是一個影象合成工具箱。
• LightlyTrain - 使用無標籤資料為工業應用預訓練計算機視覺模型。
• MMCV - MMCV 是 OpenMMLab 的基礎計算機視覺庫，提供影象和影片處理、資料轉換與增強、CNN 架構以及最佳化 CUDA 操作等核心功能。
• SuperGradients - SuperGradients 是一個開源庫，用於訓練基於 PyTorch 的計算機視覺模型。
• supervision - Supervision 是一個 Python 庫，旨在高效管理計算機視覺流水線，提供模型標註、視覺化和監控工具。
• VideoSys - VideoSys 透過多種加速技術支援許多擴散模型，使其執行更快且記憶體佔用更低。

工業級資訊檢索

• AutoRAG - AutoRAG 是一個 RAG AutoML 工具，可自動為你的資料尋找最優 RAG 流水線。
• BGE - BGE 構建了一個用於搜尋和 RAG 的一站式檢索工具包。
• EmbedAnything - EmbedAnything 是一個使用 Rust 構建的極簡、輕量、高效能嵌入流水線，可為文字、影象、音訊、PDF 和其他媒體生成嵌入，並支援稠密、稀疏、ONNX 和後期互動嵌入。
• Faiss - Faiss 是一個用於稠密向量高效相似性搜尋和聚類的庫。
• GraphRAG - GraphRAG 是一套資料流水線與轉換工具，旨在藉助 LLM 從非結構化文字中提取有意義的結構化資料。
• HippoRAG - HippoRAG 是一個新穎的檢索增強生成（RAG）框架，靈感來自人類長期記憶的神經生物學原理，可讓 LLM 持續整合外部文件中的知識。
• JamAI Base - JamAI Base 是一個開源 RAG（檢索增強生成）後端平臺，整合嵌入式資料庫（SQLite）和嵌入式向量資料庫（LanceDB），並提供託管記憶與 RAG 能力。它內建 LLM、向量嵌入和重排序編排與管理功能，均可透過便捷直觀的類電子表格 UI 和簡單 REST API 使用。
• LangExtract - LangExtract 是一個 Python 庫，根據使用者定義的指令使用 LLM 從非結構化文字檔案中提取結構化資訊。它可處理臨床記錄或報告等材料，識別並整理關鍵細節，同時確保提取資料與源文字相對應。
• LightRAG - 一個簡單快速的檢索增強生成框架。
• llmware - llmware 提供統一框架，用於構建基於 LLM 的應用（如 RAG、智慧體），採用小型專用模型，可安全、私密地部署並整合企業知識源，還能以經濟高效的方式針對任意業務流程進行調優和適配。
• Mem0 - Mem0 透過智慧記憶層增強 AI 助手和智慧體，實現個性化 AI 互動。
• NGT - NGT 提供命令和庫，可在高維向量資料空間的大量資料中執行高速近似最近鄰搜尋。
• NMSLIB - 非度量空間庫（NMSLIB）：一個高效的相似性搜尋庫，也是用於評估通用非度量空間中 k-NN 方法的工具包。
• Qdrant - 一個開源向量相似性搜尋引擎，支援擴充套件過濾功能。
• R2R - R2R（RAG to Riches）是一個綜合平臺，用於構建、部署和擴充套件 RAG 應用，支援混合搜尋、多模態和高階可觀測性。
• RAGFlow - RAGFlow 是一個基於深度文件理解的 RAG 引擎。
• RAGxplorer - RAGxplorer 是一個用於構建 RAG 視覺化的工具。
• RAG-FiT - RAG-FiT 是一個庫，旨在透過使用專門建立的 RAG 增強資料集微調模型，提升 LLM 使用外部資訊的能力。
• TextWorld - TextWorld 是一個基於文字的遊戲生成器，也是一個可擴充套件的沙盒學習環境，用於訓練和測試強化學習（RL）智慧體。
• Zvec - Zvec 是一個開源程序內向量資料庫，用於低延遲相似性搜尋。

工業級自然語言處理

• aisuite - aisuite 是一個簡單、統一的介面，可對接多個生成式 AI 提供商。
• Align-Anything - Align-Anything 致力於使任意模態的大模型（任意到任意模型），包括 LLM、VLM 等，與人類意圖和價值觀保持一致。
• BERTopic - BERTopic 是一種主題建模技術，利用 Transformer 和 c-TF-IDF 建立稠密簇，從而生成易於解釋的主題，同時保留主題描述中的重要詞語。
• Burr - Burr 幫助你開發能夠做出決策的應用（聊天機器人、智慧體、模擬）。它具備生產就緒功能（遙測、持久化、部署等），還提供開源、免費且本地優先的 Burr UI。
• Context7 - Context7 為提示詞和 AI 程式設計智慧體提供最新程式碼文件。
• Dify - Dify 是一個開源 LLM 應用開發平臺，其直觀介面整合了智慧體 AI 工作流、RAG 流水線、智慧體能力、模型管理、可觀測性等功能，讓你能夠快速從原型邁向生產。
• dspy - 一個使用基礎模型進行程式設計的框架。
• Dust - Dust 協助設計和部署大型語言模型應用。
• ESPnet - ESPnet 是一個端到端語音處理工具包。
• FastChat - FastChat 是一個開放平臺，用於訓練、服務和評估基於大型語言模型的聊天機器人。
• Flair - 由 Zalando 開發的簡潔先進 NLP 框架，直接構建於 PyTorch 之上。
• FunASR - FunASR 是一個生產級 ASR 工具包，支援 50 多種語言，內建 VAD、標點恢復、說話人分離和情感識別，並支援透過 Docker/WebSocket/REST 部署及 ONNX 執行時。
• Fun-ASR - 基於 LLM 的 ASR，支援包括中文方言在內的 31 種語言，並原生支援標點、時間戳和說話人分離。
• Gensim - Gensim 是一個 Python 庫，用於大型語料的主題建模、文件索引和相似性檢索。
• gpt-fast - 簡單高效、原生基於 PyTorch 的 Transformer 文字生成。
• Haystack - Haystack 是一個開源 NLP 框架，可使用 Transformer 模型和 LLM（GPT-3 等）與你的資料互動。Haystack 提供生產就緒工具，可快速構建類似 ChatGPT 的問答、語義搜尋、文字生成等應用。
• Interactive Composition Explorer - ICE 是一個 Python 庫和追蹤視覺化工具，面向語言模型程式。
• Jan - Jan 是一個開源 ChatGPT 替代品，可在計算機上 100% 離線執行，讓你能夠在本地下載和執行 LLM，並完全掌控資料與隱私。
• Lamini - Lamini 是一個可快速定製模型的 LLM 引擎。
• LangChain - LangChain 透過可組合性幫助你構建 LLM 應用。
• LlamaIndex - LlamaIndex（GPT Index）是一個面向 LLM 應用的資料框架。
• LLaMA - LLaMA 旨在提供一個精簡、易於修改和閱讀的示例，用於載入 LLaMA（arXiv）模型並執行推理。
• LLaMA-Factory - LLaMA-Factory 讓你能夠透過零程式碼 CLI 和 Web UI 輕鬆微調 100 多種大型語言模型。
• LLMBox - LLMBox 是一個全面的 LLM 實現庫，包含統一的訓練流水線和完善的模型評估功能。
• LLaMA2-Accessory - LLaMA2-Accessory 是一個開源工具包，用於預訓練、微調和部署大型語言模型（LLM）及多模態 LLM。
• LMFlow - LMFlow 是一個可擴充套件、便捷且高效的工具箱，用於微調大型機器學習模型。
• Megatron-LM - Megatron-LM 是一個高度最佳化、高效的大型語言模型訓練庫。
• MindNLP - MindNLP 是一個易用、高效能的 NLP 和 LLM 框架，基於 MindSpore 構建，併相容 Hugging Face 模型與資料集。
• MLC LLM - MLC LLM 是一個通用解決方案，可將任意語言模型原生部署到多種硬體後端和原生應用中，同時也為所有人提供高效框架，進一步針對自身用例最佳化模型效能。
• mlx-lm - MLX LM 是一個 Python 包，可在 Apple 晶片上使用 MLX 生成文字並微調大型語言模型，支援與 Hugging Face Hub 整合、量化和分散式推理。
• Ollama - 輕鬆開始在本地執行大型語言模型。
• olmOCR - olmOCR 是一個工具包，用於訓練語言模型處理現實世界中的 PDF 文件。
• PaddleNLP - PaddleNLP 是一個基於 PaddlePaddle 深度學習框架的大型語言模型（LLM）開發套件，支援在各種硬體裝置上進行高效大模型訓練、無失真壓縮和高效能推理。
• Promptise Foundry - Promptise Foundry 是一個面向智慧體 AI 和 MCP 伺服器的生產級 Python 框架，涵蓋自主執行時、記憶、工具整合、治理（預算、健康狀態、任務、金鑰）、防護機制、語義快取和可觀測性。
• Semantic Kernel - Semantic Kernel 是一個 SDK，可將 OpenAI、Azure OpenAI 和 Hugging Face 等大型語言模型（LLM）與 C#、Python 和 Java 等傳統程式語言整合。藉助外掛定義，只需幾行程式碼即可串聯這些能力。
• Sentence Transformers - Sentence Transformers 提供了一種簡單的方法，可計算句子、段落和影象的稠密向量表示。
• SpaCy - spaCy 是一個使用 Python 和 Cython 實現的高階自然語言處理庫。
• SWIFT - SWIFT 是一個可擴充套件、輕量級的基礎設施，用於深度學習模型微調。
• Tensorflow Lingvo - 一個用於使用 TensorFlow 構建神經網路的框架，尤其適用於序列模型。
• Tensorflow Text - TensorFlow Text 提供一組可與 TensorFlow 2.0 配合使用的文字相關類和操作。
• ToolBench - ToolBench 是一個開放平臺，用於訓練、服務和評估面向工具學習的大型語言模型。
• Transformers - Hugging Face 提供的先進自然語言處理（NLP）預訓練模型庫。

工業級推薦系統

• EasyRec - EasyRec 是一個用於大規模推薦演算法的框架。
• Gorse - Gorse 致力於成為一個通用開源推薦系統，可快速應用於各種線上服務。
• Merlin - NVIDIA Merlin 是一個開源庫，提供端到端 GPU 加速推薦系統，涵蓋從特徵工程和預處理、訓練深度學習模型到生產推理的全過程。
• Recommenders - Recommenders 提供推薦系統構建基準測試和最佳實踐，並以 Jupyter 筆記本形式呈現。
• TorchRec - TorchRec 是一個 PyTorch 領域庫，提供大規模推薦系統（RecSys）所需的通用稀疏性和並行性原語。

工業級強化學習

• Acme - Acme 是一個強化學習（RL）構建模組庫，致力於提供簡單、高效且易讀的智慧體。
• AReaL - AReaL 是一個強化學習庫。
• ChatLearn - ChatLearn 是一個靈活高效的大型語言模型強化學習訓練框架，支援分散式訓練引擎（FSDP2、Megatron）和推理引擎（vLLM、SGLang），並支援 GRPO、GSPO 等現代 RL 演算法。
• CleanRL - CleanRL 是一個深度強化學習庫，提供高質量的單檔案實現，並具備利於研究的功能。實現簡潔清晰，同時可擴充套件至使用 AWS Batch 執行數千項實驗。
• d3rlpy - d3rlpy 是一個面向實踐者和研究人員的離線深度強化學習庫。
• D4RL - D4RL 是一個離線強化學習開源基準。
• Dopamine - Dopamine 是一個研究框架，可快速原型化強化學習演算法。它致力於提供一個精簡、易於理解的程式碼庫，讓使用者自由嘗試大膽的新想法（探索性研究）。
• EvoTorch - EvoTorch 是由 NNAISENSE 開發、構建於 PyTorch 之上的開源進化計算庫。
• FinRL - FinRL 是首個展示金融強化學習巨大潛力的開源框架。
• Gymnasium - Gymnasium 是一個開源 Python 庫，用於開發和比較強化學習演算法。它提供學習演算法與環境之間通訊的標準 API，以及一組符合該 API 的標準環境。
• Gymnasium-Robotics - Gymnasium-Robotics 收錄了一系列使用 Gymnasium API 的強化學習機器人環境。環境執行於 MuJoCo 物理引擎及其維護的 mujoco Python 繫結之上。
• Jumanji - Jumanji 是一套使用 JAX 編寫的強化學習（RL）環境，為產業驅動的研究提供簡潔、硬體加速的環境。
• MARLlib - MARLlib 是一個基於 RLlib 的全面多智慧體強化學習演算法庫，為 MARL 研究社群提供統一平臺，用於構建、訓練和評估 MARL 演算法。
• Mava - Mava 是一個使用 JAX 實現的分散式多智慧體強化學習框架。
• Melting Pot - Melting Pot 是一套用於多智慧體強化學習的測試場景。
• MetaDrive - MetaDrive 是一個駕駛模擬器，可組合多樣化駕駛場景以實現泛化 RL。
• Minigrid - Minigrid 庫收錄了一系列離散網格世界環境，用於開展強化學習研究。環境遵循 Gymnasium 標準 API，並且輕量、快速且易於定製。
• MiniWorld - MiniWorld 是一個極簡的 3D 室內環境模擬器，適用於強化學習與機器人研究。
• ML-Agents - ML-Agents 是一個開源專案，可將遊戲和模擬環境用作訓練強化學習智慧體的環境。
• MushroomRL - MushroomRL 是一個 Python 強化學習（RL）庫，其模組化設計讓使用者能夠輕鬆使用知名張量計算庫（如 PyTorch、TensorFlow）和 RL 基準（如 OpenAI Gym、PyBullet、DeepMind Control Suite）。
• OmniSafe - OmniSafe 是一個基礎設施框架，旨在加速安全強化學習（RL）研究。
• OpenRLHF - OpenRLHF 是一個用於人類反饋強化學習（RLHF）的開源框架。
• PARL - PARL 是一個靈活且高效的強化學習框架。
• PettingZoo - PettingZoo 是一個 Python 庫，用於開展多智慧體強化學習研究，類似於多智慧體版的 Gymnasium。
• ranx - ranx 是一個快速排序評估指標庫，以 Python 實現，利用 Numba 實現高速向量運算和自動並行化。
• RL4CO - RL4CO 是一個 PyTorch 庫，涵蓋組合最佳化（CO）強化學習的各類功能。
• RL2 - RL2 是一個強化學習庫。
• RLinf - RLinf 是一個強化學習庫。
• ROLL - ROLL 是一個強化學習庫。
• skrl - skrl 是一個使用 Python（基於 PyTorch）編寫的開源模組化庫，用於強化學習，重點關注演算法實現的可讀性、簡潔性和透明度。
• SkyRL - SkyRL 是一個全棧強化學習庫，提供模組化訓練框架、跨平臺推理後端、智慧體流水線和 Gymnasium 環境，適用於長期執行的現實世界 RL 任務。
• slime - slime 是一個用於 RL 擴充套件的 LLM 後訓練框架。
• Stable Baselines - OpenAI Baselines 的一個分支，包含強化學習演算法實現。
• TF-Agents - 一個可靠、可擴充套件且易用的 TensorFlow 庫，用於上下文賭博機和強化學習。
• TorchRL - TorchRL 是一個適用於 PyTorch 的開源強化學習（RL）庫。
• TRL - 使用強化學習訓練 Transformer 語言模型。
• veRL - veRL（HybridFlow）是一個靈活、高效、工業級的 RLHF 訓練框架，專為 LLM 設計。

工業級機器人

• AI2-THOR - AI2-THOR 是一個近乎照片級真實、可互動的 AI 智慧體框架。
• Genesis - Genesis 是一個面向具身 AI 和機器人模擬的物理平臺。
• Habitat-Sim - Habitat-Sim 是一個靈活、高效能的 3D 模擬器，用於具身 AI 研究。
• IsaacLab - IsaacLab 是一個統一、模組化的機器人學習框架，利用 NVIDIA Isaac Sim。
• LeRobot - LeRobot 為現實世界機器人和模仿學習提供模型、資料集和工具。
• robosuite - robosuite 是一個使用 MuJoCo 物理引擎的機器人學習模擬框架。
• RoboVerse - RoboVerse 是一個綜合機器人模擬平臺，提供多種環境。

工業級視覺化

• Apache ECharts - Apache ECharts 是一個功能強大的互動式圖表和資料視覺化庫，適用於瀏覽器。
• Apache Superset - 一個現代化、面向企業的商業智慧 Web 應用。
• Bokeh - Bokeh 是一個面向 Python 的互動式視覺化庫，可在現代 Web 瀏覽器中實現美觀且富有意義的資料展示。
• Bread Dataset Viewer - 一個 VS Code 擴充套件，可直接在編輯器中檢視和探索大型機器學習資料集（CSV、JSON、Parquet 等），無需擔心 IDE 崩潰。
• Bread WandB Viewer - 一個 VS Code 擴充套件，可在 IDE 中檢視 Weights & Biases 實驗、日誌和產物，無需切換到 Web UI；所有操作完全離線，保護資料隱私。
• Data Formulator - 藉助 AI 迭代轉換資料並建立豐富的視覺化。
• ggplot2 - 面向 R 語言的圖形語法實現。
• gradio - 只需編寫 Python，即可快速建立和分享模型演示。在瀏覽器中互動式除錯模型、收集協作者反饋，並生成公共連結，無需部署任何內容。
• Kangas - Kangas 是一個用於探索、分析和視覺化大規模多媒體資料的工具。它提供簡單易用的 Python API，可記錄大型資料表，並配有直觀的視覺化介面，用於對資料集執行復雜查詢。
• matplotlib - 一個 Python 二維繪相簿，可在多種印刷格式和跨平臺互動環境中生成出版級圖表。
• Model Explorer - Model Explorer 是一個機器學習模型視覺化與探索工具，提供直觀的圖結構檢視，幫助理解模型結構、檢查層詳情並瀏覽大型神經網路。
• Netron - Netron 是一個神經網路、深度學習和機器學習模型檢視器。
• Perspective 透過 WebAssembly 實現流式資料透視視覺化。
• Plotly - 一個互動式、開源、基於瀏覽器的 Python 繪相簿。
• Redash - Redash 是一個開源視覺化框架，旨在透過多種後端輕鬆訪問大型資料集。
• Rerun - Rerun 是一個開源 SDK，用於記錄、儲存、查詢和視覺化多模態資料，專為機器人、計算機視覺和空間 AI 設計。
• seaborn - Seaborn 是一個基於 matplotlib 的 Python 視覺化庫，提供高階介面以繪製美觀的統計圖表。
• Spotlight - Spotlight 可幫助你識別關鍵資料片段和模型失效模式。它支援整理高質量資料集，從而構建並維護可靠的機器學習模型。
• Streamlit - Streamlit 讓你透過看似簡單的 Python 指令碼為機器學習專案建立應用。它支援熱過載，因此編輯並儲存檔案後，應用會實時更新。
• tensorboardX - 透過簡單的函式呼叫寫入 TensorBoard 事件。
• TensorBoard - TensorBoard 是一個機器學習實驗視覺化工具包，可輕鬆託管、跟蹤和分享 ML 實驗。
• Torchvista - Torchvista 是一個基於互動式筆記本的工具，可將任意 PyTorch 模型的前向傳播視覺化為筆記本中的計算圖，支援摺疊巢狀模組，並可容忍錯誤、顯示部分視覺化結果。
• Transformer Explainer - Transformer Explainer 是一個互動式視覺化工具，旨在幫助任何人瞭解 GPT 等基於 Transformer 的模型如何工作。
• Vega-Altair - Vega-Altair 是一個用於 Python 的宣告式統計視覺化庫。
• ydata-profiling - ydata-profiling 以一致且快速的方式，透過一行程式碼提供探索性資料分析（EDA）體驗。

後設資料管理

• Apache Atlas - Apache Atlas 框架是一套可擴充套件的核心基礎治理服務，可幫助企業有效滿足 Hadoop 環境中的合規要求，並支援與整個企業資料生態系統整合。
• DataHub - DataHub 是 LinkedIn 的通用後設資料搜尋與發現工具。
• Marquez - Marquez 是一個開源後設資料服務，用於收集、彙總和視覺化資料生態系統的後設資料。
• Metacat - Metacat 是一個統一的後設資料探索 API 服務，重點解決以下問題：1）後設資料系統的聯邦檢視；2）任意資料集後設資料的儲存；3）後設資料發現。
• ML Metadata - 一個用於記錄和檢索與機器學習開發者及資料科學家工作流相關後設資料的庫。

模型、資料與實驗管理

• Aim - 一種極其簡單的方式，用於記錄、搜尋和比較 AI 實驗。
• ClearML - 為 AI 提供自動化實驗管理器和版本控制（前身為 Trains）。
• DataHub - DataHub 是一個面向現代資料技術棧的開源資料目錄。
• Dolt - Dolt 是一個 SQL 資料庫，可以像 Git 倉庫一樣進行 fork、clone、branch、merge、push 和 pull。
• DVC - DVC（資料版本控制）是一個 Git 分支，可用於模型版本管理。
• HuggingFace Model Downloader - HuggingFace Model Downloader 是一個工具，可從 HuggingFace 網站下載模型和資料集。它支援多執行緒下載 LFS 檔案，並透過 SHA256 校驗和驗證下載模型的完整性。
• Keepsake - 機器學習版本控制。
• KitOps - KitOps 是一個開放、基於標準的 AI/ML 專案打包與版本管理系統，可與現有 AI/ML、開發和 DevOps 工具協同工作。
• lakeFS - 構建於物件儲存之上的可重複、原子化且有版本管理的資料湖。
• MLflow - 用於管理 ML 生命週期的開源平臺，涵蓋實驗、可復現性和部署。
• Polyaxon - 一個在 Kubernetes 上實現可復現、可擴充套件機器學習與深度學習的平臺 - (影片)。
• Quilt - 對資料和模型進行版本管理、確保可復現並支援部署。
• Sacred - 一個幫助你配置、組織、記錄和復現機器學習實驗的工具。
• TerminusDB - 一種以類似 Git 的方式儲存資料的圖資料庫管理系統。
• Weights & Biases - Weights & Biase 是一個機器學習實驗跟蹤、資料集版本管理、超引數搜尋、視覺化與協作工具。

模型訓練與編排

• AutoTrain Advanced - AutoTrain Advanced 是一種無需編寫程式碼的解決方案，只需點選幾下即可訓練機器學習模型。
• Avalanche - Avalanche 是一個端到端持續學習庫，提供共享協作的 MIT 開原始碼庫，用於快速原型開發、訓練和可復現地評估持續學習演算法。
• Axolotl - Axolotl 是一個工具，旨在簡化多種 AI 模型的微調，並支援多種配置和架構。
• BindsNET - BindsNET 是一個脈衝神經網路模擬庫，面向仿生機器學習演算法的開發。
• CML - 持續機器學習（CML）是一個開源庫，用於在機器學習專案中實現持續整合與交付（CI/CD）。
• CoreNet - CoreNet 是一個深度神經網路工具包，研究人員和工程師可用它訓練各類標準及新型的小型和大型模型，以完成多種任務，包括基礎模型（如 CLIP 和 LLM）、目標分類、目標檢測和語義分割。
• DataLinter - DataLinter 是一個開源資料與程式碼上下文檢查工具，透過外掛設計實現對資料和程式碼的技術棧無關性。
• Determined - 深度學習訓練平臺，內建分散式訓練、超引數調優和模型管理支援（支援 TensorFlow 和 PyTorch）。
• dstack - dstack 是一個開源容器編排器，可簡化工作負載編排並提高 ML 團隊的 GPU 利用率。
• envd - 面向資料科學及 AI/ML 工程團隊的機器學習開發環境。
• Fire-Flyer File System - Fire-Flyer File System（3FS）是一個高效能分散式檔案系統，旨在應對 AI 訓練和推理工作負載的挑戰。它利用現代 SSD 和 RDMA 網路提供共享儲存層，簡化分散式應用開發。
• H2O-3 - 快速、可擴充套件的機器學習平臺，助力打造更智慧的應用：深度學習、梯度提升與 XGBoost、隨機森林、廣義線性模型（邏輯迴歸、彈性網路）、K 均值、PCA、堆疊整合、自動機器學習（AutoML）等。
• Hopsworks - Hopsworks 是一個資料密集型平臺，用於設計和執行機器學習流水線。
• Ignite - Ignite 是一個高階庫，可幫助你靈活、透明地使用 PyTorch 訓練和評估神經網路。
• Kubeflow - 一個基於 Google 內部機器學習流水線構建的雲原生機器學習平臺。
• Ludwig - Ludwig 是一個低程式碼框架，用於構建 LLM 和其他深度神經網路等自定義 AI 模型。
• MFTCoder - MFTCoder 是 CodeFuse 的開源專案，旨在對大型語言模型（LLM）進行準確、高效的多工微調（MFT），尤其是程式碼大模型（面向程式碼任務的語言模型）。
• MLeap - 為 Spark、TensorFlow 和 sklearn 實現流水線與模型序列化的標準化。
• Nanotron - Nanotron 提供分散式原語，可透過 3D 並行高效訓練各種模型。
• NeMo - NVIDIA NeMo 是一個可擴充套件、雲原生的生成式 AI 框架，面向使用 PyTorch 的研究人員和開發者，覆蓋大型語言模型（LLM）、多模態模型（MM）、自動語音識別（ASR）、文字轉語音（TTS）和計算機視覺（CV）等領域。它透過複用現有程式碼和預訓練模型檢查點，幫助你高效建立、定製和部署新的生成式 AI 模型。
• Prime - Prime 是一個框架，可透過網際網路高效地在全球範圍內分散式訓練 AI 模型。
• PyCaret ) - 用於訓練和部署模型（scikit-learn、XGBoost、LightGBM、spaCy）的低程式碼庫。
• Sematic - 使用簡單 Python 構建資源密集型流水線的平臺。
• Skaffold - Skaffold 是一個命令列工具，可促進 Kubernetes 應用的持續開發。你可以在本地迭代應用原始碼，然後部署到本地或遠端 Kubernetes 叢集。
• TFX - TensorFlow Extended（TFX）是一個面向生產的配置框架，基於 TensorFlow 構建 ML，幷包含監控和模型版本管理。
• unsloth - 面向 LLM 的微調與強化學習。訓練 OpenAI gpt-oss、DeepSeek-R1、Qwen3、Gemma 3 和 TTS 的速度快 2 倍，同時減少 70% 的 VRAM 用量。

模型儲存最佳化

• AWQ - 面向 LLM 壓縮與加速的啟用感知權重量化。
• GGML - GGML 是一個高效能機器學習張量庫，可在 CPU 上實現高效推理，尤其針對大型語言模型進行了最佳化。
• neural-compressor - Intel® Neural Compressor 致力於為主流框架提供常用模型壓縮技術，如量化、剪枝（稀疏化）、蒸餾和神經架構搜尋。
• NNEF - 神經網路交換格式（NNEF）是一種開放標準，用於表示神經網路模型，以實現不同機器學習框架和平臺之間的互操作性和可移植性。
• ONNX - ONNX（開放神經網路交換格式）是一種開源格式，旨在促進不同框架和平臺之間機器學習模型的互操作性與可移植性。
• PFA - PFA（可移植分析格式）是一種基於 JSON 的標準格式，用於以可移植方式表示和交換預測模型及分析工作流。
• PMML - PMML（預測模型標記語言）是一種基於 XML 的標準，用於在不同應用之間表示和共享預測模型。
• Quanto - Quanto 致力於簡化深度學習模型量化。

隱私與安全

• AI Gateway - AI Gateway 是一個極速 AI 閘道器，整合了防護機制。
• ART - ART（對抗魯棒性工具箱）提供工具，幫助開發者和研究人員防禦並評估機器學習模型與應用遭受的對抗威脅，包括規避、投毒、模型提取和推理攻擊。
• CipherChat - CipherChat 是一個用於評估 LLM 安全對齊泛化能力的框架。
• DeepTeam - DeepTeam 是一個簡單易用的開源 LLM 紅隊測試框架，用於滲透測試並保障大型語言模型系統的安全。
• FATE - FATE（聯邦 AI 技術賦能器）是世界上首個工業級聯邦學習開源框架，使企業和機構能夠在保護資料安全與隱私的同時開展資料協作。
• FedML - FedML 為任意地點、任意規模的聯邦/分散式機器學習提供整合研究與生產的邊緣雲平臺。
• Flower - Flower 是一個統一方法的聯邦學習框架，可聯合執行任意機器學習工作負載、使用任意 ML 框架和任意程式語言。
• Google’s Differential Privacy - 這是一個 C++ 庫，包含 ε-差分隱私演算法，可用於對包含私人或敏感資訊的數值資料集生成彙總統計資訊。
• Guardrails - Guardrails 是一個包，可讓使用者為大型語言模型的輸出新增結構、型別和質量保證。
• NeMo Guardrails - NeMo Guardrails 是一個開源工具包，可輕鬆為基於 LLM 的對話系統新增可程式設計防護機制。
• Opacus - Opacus 是一個庫，可使用差分隱私訓練 PyTorch 模型。它只需在客戶端進行極少程式碼改動，對訓練效能影響很小，並允許客戶端實時跟蹤當前已消耗的隱私預算。
• OpenFL - OpenFL 是一個聯邦學習 Python 框架，設計靈活、可擴充套件且易於資料科學家學習。OpenFL 由 Intel 物聯網事業部（IOTG）和 Intel Labs 開發。
• PySyft - 一個用於安全、私密深度學習的 Python 庫。PySyft 將私有資料與模型訓練解耦，並在 PyTorch 中使用多方計算（MPC）。
• Tensorflow Privacy - 一個 Python 庫，包含使用差分隱私訓練機器學習模型的 TensorFlow 最佳化器實現。
• TF Encrypted - 一個用於基於 TensorFlow 對加密資料進行機密機器學習的框架。

其他精選列表

• Awesome Agentic Engineering Resources - 精選資源、工具和參考資料合集，助你構建智慧體 AI 系統。
• Awesome AI Gateway - 精選的雙語（英文/簡體中文）AI 閘道器和 LLM 代理列表（LiteLLM、OpenRouter、Portkey、Kong、Higress、new-api），按成本、合規性、自託管和路由進行比較，並提供決策樹、可復現成本基準測試和選擇評分卡。
• Awesome AI Regulation - 涵蓋負責任部署機器學習系統所需的治理、合規和監管框架，並覆蓋不同司法轄區。
• Awesome AI Tokenomics - 涵蓋 AI 系統中的 Token 成本與效率，包括監控、最佳化、快取、模型選擇和上下文管理。
• Awesome Production GenAI - 專注於生成式 AI 部署，包括 LLM 運維、提示詞工程以及生成式 AI 專屬的監控和安全工具。
• Awesome RAG Production - 精選生產級工具和最佳實踐，助你構建可擴充套件的 RAG 系統。

貢獻者