Skip to content
HagiCodeAwesome Site

Select language

目前語言: 繁體中文

Data Science

Source: https://github.com/academic/awesome-datascience at ccc90503018e
License: MIT
Read the English original

This edition is an AI-assisted translation.

Awesome 資料科學

Section titled “Awesome 資料科學”

Awesome

歡迎貢獻，請參閱 CONTRIBUTING.md。

一個開源資料科學資源庫，協助學習並應用概念來解決真實世界的問題。

這是開始學習資料科學的捷徑。只要依照步驟回答「什麼是資料科學？要學習哪些內容才能掌握資料科學？」即可。


$ academic

Section titled “$ academic”
$ brew tap academic/tap
$ brew install academic

贊助商

Section titled “贊助商”

Creavit Studio：在同一個應用程式中錄製、編輯與製作動態影像

Graphyn：視覺化專業代理程式工作流程

成為贊助商！github@academic.io

目錄

Section titled “目錄”

什麼是資料科學？

Section titled “什麼是資料科學？”

^ 回到頂端 ^

資料科學是當今電腦與網際網路領域最熱門的主題之一。人們至今已從應用程式和系統中蒐集了大量資料，現在正是分析這些資料的時候。接下來要從資料中產生建議，並對未來做出預測。你可以在這裡找到關於資料科學的熱門問題，以及數百則專家回答。

連結預覽
資料科學入門Microsoft 很高興推出這套為期 10 週、共 20 堂課的資料科學課程。
什麼是資料科學 @ O’Reilly資料科學家將創業精神與耐心結合，願意逐步打造資料產品，能夠探索，也有能力反覆改進解決方案。他們本質上是跨領域人才，能處理問題的各個面向，從最初的資料蒐集與整理到得出結論。他們能跳脫框架，以新的方式看待問題，也能面對定義寬泛的問題，例如：「這裡有一大堆資料，你能用它做出什麼？」
什麼是資料科學 @ Quora資料科學結合資料領域的多個面向，例如技術、演算法開發與資料推論，藉此研究和分析資料，並為棘手問題找出創新的解決方案。簡言之，資料科學就是分析資料，並透過創意方式推動企業成長。
21 世紀最性感的職業當今的資料科學家就像 1980 與 1990 年代華爾街的「量化分析師」。當時，具有物理與數學背景的人才紛紛進入投資銀行和避險基金，設計全新的演算法與資料策略。之後，多所大學開設金融工程碩士課程，培養出第二代人才，讓主流企業更容易延攬。到了 1990 年代後期，搜尋工程師也出現了相同趨勢：這些稀有的技能很快便納入電腦科學課程中教授。
維基百科資料科學是一門跨領域學科，運用科學方法、流程、演算法與系統，從大量結構化與非結構化資料中萃取知識與洞見。資料科學與資料探勘、機器學習和大數據相關。
如何成為資料科學家資料科學家是大數據的整理者，負責蒐集與分析大量結構化及非結構化資料。這個職務結合電腦科學、統計與數學。他們分析、處理並建立資料模型，再解讀結果，為公司及其他組織制定可付諸行動的計畫。
資料科學簡史資料科學家之所以成為熱門職業，主要是因為統計學這門成熟學科與電腦科學這門年輕學科相互結合。「資料科學」一詞直到近年才出現，用來指稱一種新職業，其任務是理解龐大的大數據資料庫。然而，理解資料有著悠久歷史，多年來一直是科學家、統計學家、圖書館員、電腦科學家等人的討論主題。以下時間軸追溯「資料科學」一詞的演進、用途、定義嘗試及相關術語。
資料科學家的軟體開發資源資料科學家專注於透過探索性分析、統計與模型來理解資料；軟體開發者則運用另一套知識與工具。兩者的工作看似無關，但資料科學團隊採用軟體開發最佳實務將大有助益。版本控制、自動化測試及其他開發技能，有助於建立可重現、可投入正式環境的程式碼與工具。
資料科學家學習路線圖在今日以資料為核心的世界，資料科學是很好的職涯選擇；每天約有 3.2877 億 TB 的資料產生，而且數量持續增加，因此對能運用資料推動企業成長的專業資料科學家需求也日益提高。
踏上成為資料科學家的道路資料科學是當今需求最高的職涯之一。企業日益仰賴資料做決策，對專業資料科學家的需求也迅速增加。無論是科技公司、醫療機構，甚至政府機關，資料科學家都在將原始資料轉化為寶貴洞見方面扮演關鍵角色。不過，如果你才剛起步，要如何成為資料科學家？

從哪裡開始？

Section titled “從哪裡開始？”

^ 回到頂端 ^

雖然並非絕對必要，但熟悉程式語言是成為有效率資料科學家的關鍵技能。目前最受歡迎的語言是 Python，其次是 R。Python 是通用的指令碼語言，應用範圍廣泛；R 則是統計領域專用語言，內建許多常見統計工具。

Python 是科學領域最受歡迎的語言，原因之一是容易上手，而且有活躍的使用者套件生態系。安裝套件主要有兩種方式：Pip（使用 pip install），即 Python 隨附的套件管理員；以及 Anaconda（使用 conda install），這是一套強大的套件管理員，可安裝 Python、R 套件，也能下載 Git 等可執行檔。

Python 並不像 R 一樣從一開始就為資料科學而設計，但有許多第三方函式庫可彌補這點。本文稍後會列出更完整的套件清單；不過，以下四個套件是開啟資料科學之旅的好選擇：Scikit-Learn 是通用資料科學套件，實作了最受歡迎的演算法，也附有豐富文件、教學與模型範例。即使你偏好自行實作，Scikit-Learn 仍是了解常見演算法運作細節的寶貴參考。Pandas 可將資料蒐集並分析為便利的表格格式；Numpy 提供快速的數學運算工具，尤其擅長處理向量與矩陣；Seaborn 則以 Matplotlib 為基礎，能快速產生美觀的資料視覺化，內建許多實用預設值，並提供常見視覺化圖表的範例集。

踏上成為資料科學家的旅程時，語言的選擇並非特別重要，Python 和 R 各有優缺點。選擇自己喜歡的語言，並參考下方列出的免費課程！

初學者路線圖

Section titled “初學者路線圖”

如果你才剛開始，以下是簡單的建議學習路徑：

  1. 學習 Python – 從基礎開始：變數、迴圈、函式
  2. 學習核心函式庫 – Pandas、NumPy、Matplotlib、Scikit-Learn
  3. 透過初學者專案練習 – 嘗試 Kaggle 的 Titanic 生還預測或房價預測
  4. 學習數學基礎 – 統計、線性代數、機率
  5. 進入機器學習 – 監督式學習 → 非監督式學習 → 深度學習

代理程式

Section titled “代理程式”

本節收錄適用於資料科學工作流程的代理程式框架與工具。

框架

Section titled “框架”
  • ADK-Rust - 採用模型無關設計（Gemini、OpenAI、Anthropic）的 Rust 生產級 AI 代理程式開發套件，支援多種代理程式類型（LLM、Graph、Workflow）、MCP 與內建遙測功能。
  • Lumen - 可與資料對話的代理程式框架，能將自然語言轉換為 SQL、轉換流程與視覺化。其輸出為宣告式規格，可供檢視、編輯、在筆記本中重新開啟，或組合成儀表板。

工具

Section titled “工具”
  • Frostbyte MCP - 為 AI 代理程式提供 13 種資料工具的 MCP 伺服器：即時加密貨幣價格、IP 地理定位、DNS 查詢、網頁轉 Markdown、程式碼執行及螢幕截圖。單一 API 金鑰即可使用 40 多項服務。
  • Arch Tools - 提供 61 種生產級 AI API 工具，適用於資料科學工作流程，涵蓋程式碼分析、網頁擷取、NLP、圖像生成、加密貨幣資料與搜尋。支援 REST API 與 MCP 協定。GitHub
  • Not Human Search - 為 AI 代理程式打造的搜尋引擎，索引超過 9,000 種 AI 工具與 API，並依代理程式就緒度（llms.txt、OpenAPI、MCP、ai-plugin.json）評分。提供 REST API 與 MCP 伺服器，以程式方式探索工具。GitHub
  • DeepAlpha - 使用 LightGBM + XGBoost 集成模型的 AI 加密貨幣交易框架，具備 72 項 ML 特徵。對樣本外資料進行 walk-forward 驗證，準確率達 70.9%。支援 Bybit 與 Binance。採 MIT 授權，可透過 PyPI 安裝。
  • CAJAL - 可產生具備真實 arXiv 引文、IMRaD 架構與評審評分的在地 AI 代理程式，用於撰寫可投稿的科學論文。透過 Ollama 與 4B–9B 模型完全離線執行。採 MIT 授權。HuggingFace
  • ai-evaluation - 開源 LLM 與代理程式評估框架，提供 50 多種指標、LLM-as-Judge 增強功能與防護掃描器（越獄、PII、提示注入）。適用於評分 RAG 輸出、代理程式執行軌跡與函式呼叫行為。
  • Kitaru - 開源平台，可記錄真實 AI 代理程式的執行、針對變更重播，並在部署前評估結果。
  • Jev Social - 唯讀社群研究代理程式，可讓 Jev 選擇受限制的 Instagram、TikTok 與 LinkedIn 操作，透過 Chrome 中的本機 socai CLI 執行，並在附有引文的報告旁保存連結至來源的證據。
  • YYLO Benchmark - 開源且可信任的主機實驗執行工具，可測試歷史代理程式任務、提供的程式提示與工作流程。可執行互相獨立的嘗試並保留輸出，日後可用不同檢查或評審比較模型、工具組與設定。採 MIT 授權。
  • YYLO - 開源命令列協調工具，用於程式設計代理程式與可重複工作流程，提供具型別的任務、驗證、合併和發布就緒流程，並以收據記錄儲存庫變更。採 MIT 授權，可透過 npm 安裝。
  • YYLO Ledger - 程式設計代理程式專案的命令列任務與工作流程帳本：以雜湊鏈結 Markdown 在儲存庫中保存看板與任務狀態、追蹤收據和封存資料，並透過代理程式工作樹驅動具型別的合併與發布流程。採 MIT 授權。

研究與知識檢索

Section titled “研究與知識檢索”

  • BGPT MCP - MCP 伺服器，讓 AI 代理程式存取從全文研究中擷取原始實驗資料所建立的科學論文資料庫。每篇論文提供 25 個以上的結構化欄位，包括方法、結果、樣本數與品質分數。GitHub

  • Chunk Tuner - 開源 Python 函式庫與 MCP 伺服器，可為 RAG 評測文件分塊策略、評分檢索品質，並為語料庫推薦設定。

  • II-Commons - 每日更新的技能與 CLI，可在 arXiv、PubMed/PMC 及受支援的美國政策語料庫中進行確定性檢索。

  • Spraay x402 Gateway - x402 付款閘道，為 AI 代理程式提供 23 個研究與參考端點：Wikipedia、arXiv、PubMed、Wikidata、學術引文查詢、實體擷取等。可透過 Base 與 Solana 上的 USDC 按次付費，無須 API 金鑰或訂閱。另提供 39 個類別、150 多個端點，涵蓋地理空間、AI 推論、DeFi 與運算。GitHub

  • Suppr - 為研究人員打造的 AI 文獻搜尋、文件翻譯與深度研究工作區。

工作流程

Section titled “工作流程”

^ 回到頂端 ^

  • sim - Sim Studio 提供輕量直覺的介面，可快速建置並部署能連接常用工具的 LLM。

專案

Section titled “專案”

^ 回到頂端 ^

訓練資源

Section titled “訓練資源”

^ 回到頂端 ^

如何學習資料科學？當然是透過實作資料科學！好吧，剛起步時這個回答可能不太有幫助。本節依投入程度由低至高，列出一些學習資源：教學、大型開放式線上課程（MOOC）、密集課程與大專院校。

教學

Section titled “教學”

^ 回到頂端 ^

免費課程

Section titled “免費課程”

^ 回到頂端 ^

大型開放式線上課程（MOOC）

Section titled “大型開放式線上課程（MOOC）”

^ 回到頂端 ^

密集課程

Section titled “密集課程”

^ 回到頂端 ^

大專院校

Section titled “大專院校”

^ 回到頂端 ^

資料科學工具箱

Section titled “資料科學工具箱”

^ 回到頂端 ^

本節彙整資料科學領域中有用的套件、工具、演算法及其他資源。

演算法

Section titled “演算法”

^ 回到頂端 ^

以下列出一些機器學習與資料探勘演算法和模型，可協助你理解資料並從中找出意義。

三種機器學習系統

Section titled “三種機器學習系統”
  • 依據人類監督下的訓練
  • 依據即時增量學習
  • 依據資料點比較與模式偵測

比較

Section titled “比較”
  • datacompy - 用來比較兩個 Pandas DataFrame 的 DataComPy 套件。

監督式學習

Section titled “監督式學習”

非監督式學習

Section titled “非監督式學習”

半監督式學習

Section titled “半監督式學習”

強化學習

Section titled “強化學習”

資料探勘演算法

Section titled “資料探勘演算法”

現代資料探勘演算法

Section titled “現代資料探勘演算法”

深度學習架構

Section titled “深度學習架構”

一般機器學習套件

Section titled “一般機器學習套件”

^ 回到頂端 ^

深度學習套件

Section titled “深度學習套件”

PyTorch 生態系

Section titled “PyTorch 生態系”

TensorFlow 生態系

Section titled “TensorFlow 生態系”

Keras 生態系

Section titled “Keras 生態系”

視覺化工具

Section titled “視覺化工具”

^ 回到頂端 ^

其他工具

Section titled “其他工具”

^ 回到頂端 ^

連結說明
資料科學生命週期流程資料科學生命週期流程是一套流程，可協助資料科學團隊持續且永續地從構想邁向價值。本儲存庫記錄了這套流程。
資料科學生命週期範本儲存庫資料科學生命週期專案的範本儲存庫。
TabGAN使用 GAN、擴散模型與 LLM，搭配對抗式篩選與隱私指標來產生合成表格資料。
RexMex通用推薦系統評估指標函式庫，可進行公平評估。
ChemicalX以 PyTorch 為基礎的深度學習函式庫，用於藥物配對評分。
FileShot.io安全的零知識加密檔案分享（在瀏覽器中使用 AES-256-GCM）。無須帳號，採 MIT 授權，可自行架設，並可選擇連結到期時間。
CorpusExplorer為語料庫語言學家及文字／資料探勘愛好者打造的軟體。可用 60 多種語言建立自己的語料庫，並使用 50 多種工具與視覺化功能。
PyTorch Geometric Temporal動態圖上的表徵學習。
Little Ball of Fur適用於 NetworkX 的圖取樣函式庫，提供類似 Scikit-Learn 的 API。
Karate Club適用於 NetworkX 的非監督式機器學習擴充函式庫，提供類似 Scikit-Learn 的 API。
ML Workspace一站式網頁機器學習與資料科學 IDE。工作區以 Docker 容器部署，並預先安裝多種熱門資料科學函式庫（例如 TensorFlow、PyTorch）和開發工具（例如 Jupyter、VS Code）。
xonsh shell以 Python 驅動的 Shell，可整合、管理與協調多數以 Python 撰寫的資料科學函式庫，讓你建置管線、程式碼及命令式工作流程。也可作為 Jupyter Notebook 的核心。
Neptune.ai友善社群的平台，協助資料科學家建立並分享機器學習模型。Neptune 有助於團隊合作、基礎架構管理、模型比較與可重現性。
steppy輕量級 Python 函式庫，可快速且可重現地進行機器學習實驗。提供極簡介面，便於設計整潔的機器學習管線。
steppy-toolkit精選神經網路、Transformer 與模型的集合，讓機器學習工作更快速、更有效率。
Google Datalab使用 Python、SQL 等熟悉語言，以互動方式輕鬆探索、視覺化、分析與轉換資料。
Hortonworks Sandbox個人專用、可攜式的 Hadoop 環境，附有十多個互動式 Hadoop 教學。
R免費的統計運算與圖形軟體環境。
Tidyverse一組專為資料科學設計、具備明確設計主張的 R 套件。所有套件共用底層設計理念、語法與資料結構。
RStudioR 的 IDE，提供強大的使用者介面。免費且開放原始碼，支援 Windows、Mac 與 Linux。
Python - Pandas - Anaconda完全免費、適用於企業的 Python 發行版，可進行大規模資料處理、預測分析與科學運算。
Pandas 圖形介面Pandas 圖形介面。
NuriStat免費開源的 SPSS 替代工具，以選單操作的桌面統計軟體（t 檢定、ANOVA、迴歸、生存分析、ROC），支援 SPSS .sav 匯入與匯出。
Polars以 Rust 與 Python 撰寫的高速 DataFrame 函式庫，旨在提供比 Pandas 更快的替代方案。
CiteMe免費的學術引文產生器，內建參考資料檢查工具，可標示偽造或幻覺引文。搜尋 11 個以上學術資料庫（OpenAlex、PubMed、Semantic Scholar、CrossRef、SciELO），提供 40 多種引文格式與公開 API。無須註冊；支援英文、西班牙文、葡萄牙文、法文與德文。
Scikit-LearnPython 機器學習。
NumPyNumPy 是 Python 科學運算的基礎，支援大型多維陣列與矩陣，並提供多種可對這些陣列執行運算的高階數學函式。
VaexPython 函式庫，可快速視覺化大型資料集並計算統計資料。
SciPySciPy 可搭配 NumPy 陣列使用，並提供高效的數值積分與最佳化常式。
資料科學工具箱Coursera 課程。
資料科學工具箱部落格。
Wolfram 資料科學平台將數值、文字、圖像、GIS 或其他資料交由 Wolfram 處理，執行完整的資料科學分析與視覺化，並自動產生豐富的互動報告；一切皆由革命性的知識導向 Wolfram Language 驅動。
Datadog為大規模資料科學提供解決方案、程式碼與 DevOps 工具。
Variance無須撰寫 JavaScript，即可為網頁建置強大的資料視覺化。
Kite 開發套件Kite 軟體開發套件（Apache License 2.0），簡稱 Kite，是一組函式庫、工具、範例與文件，旨在簡化以 Hadoop 生態系為基礎建置系統的流程。
Domino Data Labs無須任何基礎架構或設定，即可執行、擴充、分享與部署模型。
Apache Flink高效、分散式、通用的資料處理平台。
Apache HamaApache Hama 是 Apache 頂層開源專案，可執行超越 MapReduce 的進階分析。
WekaWeka 是一套用於資料探勘任務的機器學習演算法集合。
OctaveGNU Octave 是一種高階直譯語言，主要用於數值運算。（免費版 Matlab）
Apache Spark閃電般快速的叢集運算。
Hydrosphere Mist一項服務，可將 Apache Spark 分析工作與機器學習模型發布為即時、批次或反應式網頁服務。
Data Mechanics資料科學與工程平台，讓 Apache Spark 更方便開發者使用，且更具成本效益。
Caffe深度學習框架。
TorchLuaJIT 的科學運算框架。
Nervana 的 Python 深度學習框架Intel® Nervana™ 參考深度學習框架，致力於在所有硬體上提供最佳效能。
SkaleNodeJS 高效能分散式資料處理。
Aerosolve為人類打造的機器學習套件。
Intel 框架Intel® 深度學習框架。
Datawrapper開源資料視覺化平台，協助所有人製作簡潔、正確且可嵌入的圖表。另見 github.com。
Tensor FlowTensorFlow 是開源的機器智慧軟體函式庫。
自然語言工具套件入門易學且功能強大的自然語言處理與分類工具組。
FunASR工業級語音辨識工具組，支援 50 多種語言，內建 VAD、標點符號、說話者分離與情緒偵測。另附 OpenAI 相容的 API 伺服器。
Annotation Lab免費、端對端、無程式碼的文字標註與深度學習模型訓練／微調平台。開箱即支援 Spark NLP 模型，包括命名實體辨識、分類、關係擷取與斷言狀態。不限使用者、團隊、專案與文件數量。
Node.js NLP 工具組此模組涵蓋部分 NLP 基礎原理與實作，重點在效能。處理 NLP 範例或訓練資料時，記憶體很快就會耗盡。因此此模組中的所有實作都採用串流方式，只將當前處理步驟所需的資料保留在記憶體中。
Julia適用於技術運算的高階、高效能動態程式語言。
IJuliaJulia 語言後端，結合 Jupyter 互動式環境。
Apache Zeppelin網頁式筆記本，可使用 SQL、Scala 等工具進行資料導向的互動式分析，並建立協作文件。
Featuretools以 Python 撰寫的開源自動化特徵工程框架。
Optimus以 PySpark 為後端，提供資料清理、預處理、特徵工程、探索性資料分析及簡易機器學習功能。
Albumentations快速且不受框架限制的圖像增強函式庫，實作多種增強技術。開箱即支援分類、分割與偵測。曾用於贏得 Kaggle、Topcoder 及 CVPR 工作坊中的多項深度學習競賽。
DVC開源資料科學版本控制系統，可協助追蹤、整理資料科學專案，並讓專案具備可重現性。最基本的用途是對大型資料與模型檔案進行版本控制及分享。
Lambdo工作流程引擎，可將（i）特徵工程與機器學習、（ii）模型訓練與預測、（iii）資料表填入與欄位評估整合至同一分析管線，大幅簡化資料分析。
Feast特徵儲存庫，用於管理、探索與存取機器學習特徵。Feast 為模型訓練與模型服務提供一致的特徵資料檢視。
Polyaxon可重現且可擴充的機器學習與深度學習平台。
UBIAI易於團隊使用的文字標註工具，具備完整的自動標註功能。支援 NER、關係與文件分類，也提供發票標記用的 OCR 標註。
Trains自動化實驗管理、版本控制與 AI DevOps。
Hopsworks開源、資料密集型機器學習平台，內含特徵儲存庫。可擷取並管理線上（MySQL Cluster）與離線（Apache Hive）特徵，並大規模訓練和提供模型服務。
MindsDB為開發者打造的可解釋 AutoML 框架。使用 MindsDB，只需一行程式碼即可建置、訓練並使用最先進的 ML 模型。
Lightwood以 PyTorch 為基礎的框架，可將機器學習問題拆解為能無縫串接的小區塊，目標是只用一行程式碼建立預測模型。
AWS Data Wrangler開源 Python 套件，擴充 Pandas 函式庫的能力，將 DataFrame 與 AWS 資料服務（Amazon Redshift、AWS Glue、Amazon Athena、Amazon EMR 等）連接。
Amazon RekognitionAWS Rekognition 服務讓使用 Amazon Web Services 的開發者能在應用程式中加入圖像分析功能。可編目資產、自動化工作流程，並從媒體與應用程式中擷取意義。
Amazon Textract自動從任何文件中擷取印刷文字、手寫內容與資料。
Amazon Lookout for Vision使用電腦視覺偵測產品瑕疵，將品質檢查自動化。辨識缺少的產品零件、車輛與結構損壞及其他異常，全面落實品質控管。
Amazon CodeGuru透過 ML 驅動的建議，自動執行程式碼審查並最佳化應用程式效能。
CML開源工具組，可在資料科學專案中使用持續整合。透過 GitHub Actions 與 GitLab CI 自動訓練及測試類似正式環境的模型，並在 pull／merge request 中自動產生視覺化報告。
Dask開源 Python 函式庫，可輕鬆將分析程式碼轉換為分散式運算系統（大數據）。
DuckDB程序內 SQL OLAP 資料庫管理系統。
Statsmodels以 Python 為基礎的推論統計、假設檢定與迴歸框架。
Gensim開源函式庫，用於自然語言文字的主題建模。
spaCy高效能自然語言處理工具組。
Grid Studio網頁試算表應用程式，完整整合 Python 程式語言。
Python 資料科學手冊Python 資料科學手冊：完整內容以 Jupyter Notebook 呈現
Shapley以資料為基礎的架構，可量化機器學習集成模型中分類器的價值。
DAGsHub以開源工具打造的平台，用於管理資料、模型與管線。
Deepnote新型資料科學筆記本，相容於 Jupyter，支援即時協作並在雲端執行。
ValohaiMLOps 平台，負責機器協調、自動重現與部署。
PyMC3Python 機率程式設計函式庫（貝葉斯推論與機器學習）。
PyStanStan 的 Python 介面（貝葉斯推論與建模）。
hmmlearn隱馬可夫模型的非監督式學習與推論。
Chaos Genius以 ML 驅動的分析引擎，用於離群值／異常偵測與根本原因分析。
PySADPython 函式庫，用於串流資料異常偵測。
Nimblebox全端 MLOps 平台，協助全球資料科學家與機器學習從業人員透過瀏覽器探索、建立並推出多雲端應用程式。
TowheePython 函式庫，可將非結構化資料編碼為嵌入向量。
LineaPy是否曾因整理冗長雜亂的 Jupyter Notebook 而感到挫折？LineaPy 是開源 Python 函式庫，只需兩行程式碼，就能將雜亂的開發程式碼轉換為正式環境管線。
envd🏕️ 為資料科學與 AI／ML 工程團隊打造的機器學習開發環境。
探索資料科學函式庫搜尋工具 🔎，可探索並尋找精選的熱門與新興函式庫、頂尖作者、熱門專案套件、討論、教學及學習資源。
MLEM🐶 遵循 GitOps 原則管理版本並部署 ML 模型。
MLflowMLOps 框架，用於管理 ML 模型的完整生命週期。
cleanlabPython 函式庫，適用於以資料為核心的 AI，並可自動偵測 ML 資料集中的各種問題。
AutoGluonAutoML 工具，可輕鬆為圖像、文字、表格、時間序列與多模態資料產生準確預測。
Arize AIArize AI 社群版可觀測性工具，用於監控正式環境的機器學習模型，並追查資料品質、效能漂移等問題的根本原因。
Aureo.io專注於人工智慧建置的低程式碼平台。使用者可運用基礎資料建立管線、自動化流程，並與人工智慧模型整合。
ERD Lab為開發者打造的免費雲端實體關係圖（ERD）工具。
Arize-Phoenix在筆記本中使用 MLOps：發掘洞見、找出問題、監控並微調模型。
CometMLOps 平台，提供實驗追蹤、模型正式環境管理、模型登錄庫與完整資料沿革，支援從訓練到正式環境的整個 ML 工作流程。
Opik在開發與正式環境的整個生命週期中評估、測試並發布 LLM 應用程式。
SynthicalAI 驅動的協作研究環境。尋找相關論文、建立文獻集並摘要內容，一站完成。
teeplot工作流程工具，可自動整理資料視覺化輸出。
Streamlit適用於機器學習與資料科學專案的應用程式框架。
Gradio為機器學習模型建立可自訂的使用者介面元件。
Weights & Biases實驗追蹤、資料集版本管理與模型管理。
DVC開源機器學習專案版本控制系統。
Optuna自動化超參數最佳化軟體框架。
Ray Tune可擴充的超參數調整函式庫。
Apache Airflow以程式方式撰寫、排程與監控工作流程的平台。
Prefect為現代資料技術堆疊打造的工作流程管理系統。
Kedro開源 Python 框架，可建立可重現、易維護的資料科學程式碼。
Hamilton輕量級函式庫，可撰寫並管理可靠的資料轉換流程。
SHAP以賽局理論為基礎的方法，用來解釋任何機器學習模型的輸出。
InterpretMLInterpretML 實作了可解釋提升機（EBM），這是一種以廣義加法模型（GAM）為基礎、現代且完全可解釋的機器學習模型。此開源套件也為 EBM、其他白箱模型及黑箱模型解釋提供視覺化工具。
LIME解釋任何機器學習分類器預測結果的方法。
flyte機器學習工作流程自動化平台。
dbt資料建置工具。
zasper強化版資料科學 IDE。
skrubPython 函式庫，可簡化表格型機器學習的前處理與特徵工程。
Glyph不受框架限制的 TypeScript 函式庫，可產生、搜尋並比較 MinHash 指紋，快速執行文字相似度分析、重複資料刪除與檢索。
Codeflash每次都能發布飛快的 Python 程式碼。
Hugging Face廣受歡迎的開放平台，可分享 ML 模型與資料集，並協作 NLP 和生成式 AI 專案。
Chinese-Elite開源專案，使用 LLM 解析公開資料，自動建立關係網路並以互動圖表呈現。
Desbordante開源資料剖析工具，專注於探索與驗證複雜模式，例如數值關聯規則、差異相依性、否定約束等。
dna-claude-analysis個人基因組分析工具組，包含 Python 指令碼，可分析原始 DNA 資料的 17 個類別（健康風險、祖源、藥物基因體學、營養、心理學等），並產生終端機風格的單頁 HTML 視覺化。
RunMat快速的 MATLAB 語法執行環境，可自動執行 CPU／GPU 運算並融合陣列核心。
Turbostream終端機使用者介面，可在即時資料串流上實驗自訂規則引擎與選擇性 LLM 分析，無須煩惱串流基礎架構或背壓。
WFGY ProblemMap開源「失效圖譜」，整理 LLM 與 RAG 管線中 16 種常見問題，列出可觀察徵兆與建議修正方式，供資料科學團隊參考。
Deploybase追蹤所有雲端與推論服務供應商的即時 GPU 與 LLM 定價。
DeepAnalyze具代理能力的 LLM，可自主完成各種資料科學任務，無須人工介入。
Disco超越人類的探索式資料分析。找出表格資料中 LLM 與人工探索容易錯過的特徵交互作用和子群體效應，並提供 p 值、效應量與文獻引文。公開資料可免費使用。
AI for Database用自然語言與資料庫對話，無須 SQL。立即取得洞見、建立自動更新的儀表板，並依資料庫變更觸發自動化工作流程。
Crypto Pump Scanner以 AI 驅動的加密貨幣交易機器人，使用 LSTM 神經網路（準確率 84.6%）。具備即時暴漲偵測、經 walk-forward 驗證的模型，支援多個交易所（Bybit、Binance、OKX、Gate.io）。開源。
Future AGI開源平台，可在單一回饋循環中模擬、評估、追蹤、設定防護、路由並最佳化 LLM 與 AI 代理程式應用程式，讓代理程式不只接受監控，也能自我改進。可自行架設。採 Apache-2.0 授權。
ipynbtopdf瀏覽器版 Jupyter Notebook 檢視器與匯出工具，可將 .ipynb 筆記本轉換為 PDF、HTML 與 Python，無須安裝 Python 或 TeX。

文獻與媒體

Section titled “文獻與媒體”

^ 回到頂端 ^

本節收錄更多延伸閱讀資料、值得收看的頻道，以及值得聆聽的演講。

書籍

Section titled “書籍”

^ 回到頂端 ^

書籍優惠（含推廣連結）

Section titled “書籍優惠（含推廣連結）”

期刊、出版品與雜誌

Section titled “期刊、出版品與雜誌”

^ 回到頂端 ^

電子報

Section titled “電子報”

^ 回到頂端 ^

  • AI Weekly - 由產業領袖策劃的 AI 情報簡報，涵蓋模型、募資、政策與應用。自 2017 年起每週發布 3 次，訂閱者超過 4 萬人。
  • DataTalks.Club. 每週寄送資料相關主題的電子報。封存。
  • Analytics Engineering Roundup. 資料科學電子報。封存。
  • Techpresso. 免費每日電子報，報導 AI、ML 與科技領域最重要的發展。封存。
  • DiamantAI. 以淺白方式說明實用 AI 工程與生成式 AI：為建置者介紹 RAG、代理程式與 LLM 應用模式。
  • Bamboo Weekly - 以時事與真實公開資料為題的每週 pandas 練習，附完整解答。兩年以上的期數免費，最新期數的前兩題及解答也免費。封存。

郵寄清單

Section titled “郵寄清單”

^ 回到頂端 ^

部落客

Section titled “部落客”

^ 回到頂端 ^

簡報

Section titled “簡報”

^ 回到頂端 ^

Podcast

Section titled “Podcast”

^ 回到頂端 ^

YouTube 影片與頻道

Section titled “YouTube 影片與頻道”

^ 回到頂端 ^

社群交流

Section titled “社群交流”

^ 回到頂端 ^

以下列出一些社群媒體連結，歡迎與其他資料科學家交流！

Facebook 帳號

Section titled “Facebook 帳號”

^ 回到頂端 ^

Twitter 帳號

Section titled “Twitter 帳號”

^ 回到頂端 ^

Twitter說明
Big Data Combine為資料科學家提供快速、即時的試用機會，協助將模型變現為交易策略
Big Data Mania資料視覺化高手、資料記者、成長駭客，《Data Science for Dummies》作者（2015）
Big Data Science大數據、資料科學、預測建模、商業分析、Hadoop、決策與作業研究。
Charlie Greenbacker@ExploreAltamira 資料科學總監
Chris SaidTwitter 資料科學家
Clare Corthell@mattermark 的開發、設計與資料科學工作者 #hackerei
DADI Charles-Abner@Ekimetrics 的 #資料科學家。#機器學習 #資料視覺化 #動態圖表 #Hadoop #R #Python #NLP #Bitcoin #資料愛好者
Data Science Central業界大數據從業者的一站式資源。
Data Science London資料科學、大數據、資料駭客、資料迷、資料新創、開放資料
Data Science Renee記錄自己從 SQL 資料分析師轉行、攻讀工程碩士並成為資料科學家的歷程
Data Science Report致力於引導並推動資料科學與分析領域的職涯發展
Data Science Tips為世界各地資料科學家提供秘訣與技巧！#資料科學 #大數據
Data Vizzard資料視覺化、資安、軍事
DataScienceX
deeplearning4j
DJ Patil白宮資料長、@RelateIQ 副總裁。
Domino Data Lab
Drew Conway資料迷、駭客、衝突研究者。
Emilio Ferrara#網路、#機器學習與#資料科學，研究#社群媒體。@IndianaUniv 博士後研究員
Erin Bartolo投入#大數據領域，享受與其炒作之間愛恨交織的關係。@iSchoolSU #資料科學計畫經理
Greg Reda在 GrubHub 從事資料與 pandas 相關工作
Gregory PiatetskyKDnuggets 總裁、分析／大數據／資料探勘／資料科學專家、KDD 與 SIGKDD 共同創辦人、兩家新創公司的前首席科學家、兼職哲學家。
Hadley WickhamRStudio 首席科學家，並兼任奧克蘭大學、史丹佛大學與萊斯大學統計學教授。
Hakan Kardas資料科學家
Hilary Mason@accel 駐點資料科學家。
Jeff Hammerbacher轉推資料科學相關內容
John Myles WhiteFacebook 科學家與 Julia 開發者。《Machine Learning for Hackers》及《Bandit Algorithms for Website Optimization》作者。推文僅代表個人觀點。
Juan Miguel LavistaMicrosoft 資料科學團隊首席資料科學家
Julia Evans駭客、Pandas、資料分析
Kenneth Cukier《經濟學人》資料編輯，也是《Big Data》共同作者 (https://www.big-data-book.com/).
Kevin Davenporthttps://www.meetup.com/San-Diego-Data-Science-R-Users-Group/ 的主辦人
Kevin Markham資料科學講師，也是 Data School 創辦人
Kim Rees互動式資料視覺化與工具。資料漫遊者。
Kirk Borne資料科學家、天文物理學博士、頂尖#大數據影響者。
Linda Regber資料說故事者、視覺化工作者。
Luis Rei博士生。程式設計、行動、網頁、人工智慧、智慧機器人、機器學習、資料探勘、自然語言處理與資料科學。
Mark StevensonSalt（@SaltJobs）資料分析招募專家。分析、洞見、大數據、資料科學
Matt Harrison全端 Python 工程師、作者、講師的個人觀點，目前也從事資料科學。偶爾聊育兒、家庭生活與有機園藝。
Matthew Russell社群網路探勘。
Mert NuhoğluBizQualify 資料科學家、開發者
Monica RogatiJawbone 資料工作者。曾在 LinkedIn 將資料轉化為故事與產品。文字探勘、應用機器學習、推薦系統。前遊戲玩家、前機器程式設計師；命名者。
Noah Iliinsky視覺化與互動設計師、實用自行車騎士。視覺化書籍作者：https://www.oreilly.com/pub/au/4419
Paul Miller雲端運算／大數據／開放資料分析師與顧問。作家、講者與主持人。Gigaom Research 分析師。
Peter Skomoroch建立智慧系統以自動化工作並改善決策。創業家，前 LinkedIn 首席資料科學家。機器學習、產品、網路
Prash ChanIBM 解決方案架構師、主資料管理、資料品質與資料治理部落客。資料科學、Hadoop、大數據與雲端。
Quora 資料科學Quora 的資料科學主題
R-Bloggers推文分享 R 部落圈文章、資料科學會議，以及資料科學家的公開職缺。
Rand Hindi
Randy Olson研究人工智慧的電腦科學家、資料 tinkerer、@DataIsBeautiful 社群領袖。#開放科學倡議者。
Recep ErolUALR 資料科學迷
Ryan Orban資料科學家、遺傳摺紙愛好者、硬體迷
Sean J. Taylor社會科學家、駭客、Facebook 資料科學團隊成員。關鍵詞：實驗、因果推論、統計、機器學習、經濟學。
Silvia K. SpivaCisco #資料科學
Harsh B. GuptaBBVA Compass 資料科學家
Spencer Nelson資料迷
Talha Oz熱愛 ABM、SNA、DM、ML、NLP、HI、Python 與 Java。Kaggle／資料科學家中的頂尖百分位
Tasos Skarlatidis複雜事件處理、大數據、人工智慧與機器學習。熱愛程式設計與開源。
Terry Timko資訊治理、大數據、資料即服務、資料科學、開放／社群／商業資料融合
Tony BaerOvum IT 分析師，負責大數據與資料管理，也涉及一些系統工程。
Tony Ojeda資料科學家、作者、創業家。@DataCommunityDC 共同創辦人。@DistrictDataLab 創辦人。#資料科學 #大數據 #DataDC
Vamshi AmbatiPayPal 資料科學。#NLP、#機器學習；博士，卡內基美隆大學校友（部落格：https://allthingsds.wordpress.com )
Wes McKinneyPandas（Python 資料分析函式庫）。
WileyEd@Seagate 資深經理、大數據分析、前 McKinsey 顧問。#大數據與#分析推廣者，熱愛#Hadoop、#雲端、#數位與#R
WNYC 資料新聞團隊@WNYC 資料新聞團隊。實踐資料驅動新聞、以視覺方式呈現並公開工作方法。
Alexey Grigorev資料科學作者
İlker Arslan資料科學作者，主要分享 Julia 程式設計內容
INEVITABLE位於英國的 AI 與資料科學新創公司
Jan Oliver RüdigerML、DL 與資料科學，專注於文字／資料探勘

Telegram 頻道

Section titled “Telegram 頻道”

^ 回到頂端 ^

  • Open Data Science – 第一個資料科學 Telegram 頻道。涵蓋資料科學相關的各類技術與熱門內容：AI、大數據、機器學習、統計、數學及其應用。
  • Loss function porn — 分享資料科學／機器學習主題的精美貼文，附影片或圖形視覺化。
  • Machinelearning – 每日機器學習新聞。

Slack 社群

Section titled “Slack 社群”

頂端

GitHub 群組

Section titled “GitHub 群組”

資料科學競賽

Section titled “資料科學競賽”

一些資料探勘競賽平台

趣味內容

Section titled “趣味內容”

資訊圖表

Section titled “資訊圖表”

^ 回到頂端 ^

預覽說明
資料科學家與資料工程師的主要差異
DataCamp 提供的八步驟成為資料科學家視覺指南 (圖片)
所需技能心智圖 (圖片)
Swami Chandrasekaran 透過地鐵路線圖呈現課程規劃。
作者：@kzawadz，來源：twitter
由 Data Science Central 提供
資料科學之戰：R 與 Python
如何選擇統計或機器學習技術
選擇合適的估計器
資料科學產業：誰負責什麼
資料科學 文氏 歐拉圖
Springboard 提供的不同資料科學技能與職務
應避免的資料謬誤以簡單友善的方式教導非資料科學家／非統計學家的同事如何避免資料分析錯誤。內容來自 Geckoboard 的資料素養課程。

資料集

Section titled “資料集”

^ 回到頂端 ^

漫畫

Section titled “漫畫”

^ 回到頂端 ^

其他 Awesome 清單

Section titled “其他 Awesome 清單”

嗜好

Section titled “嗜好”

HagiCode

HagiCode 是面向專案開發的 AI 編碼工作台：豐富、便利的介面互動讓規劃、Agent 執行與專案工作更容易上手和跟進，帶來更投入的開發體驗。

透過豐富、便利的介面互動，讓規劃、Agent 執行與專案工作更容易上手和跟進。

造訪 HagiCode閱讀文件
  • 智慧OpenSpec 工作流程將意圖轉化為從提案、設計、任務到交付的可執行路徑。
  • 高效多 Agent 並行推進研究、實作與審查，並支援多儲存庫變更與你熟悉的 Agent CLI。
  • 有趣豐富、便利的介面互動讓規劃、Agent 執行與專案工作更容易上手和跟進，帶來更投入的開發體驗。

下載 Windows 版

從 Microsoft Store 取得所有下載

讓想法化為交付成果。

HagiCode 是面向專案開發的 AI 編碼工作台：以 OpenSpec 工作流程規劃變更，多 Agent 並行執行，再由 Hero Scenario 讓進度一目了然，將想法化為交付成果。

下載 HagiCode產品文件
智慧
OpenSpec 工作流程將意圖轉化為從提案到交付的可執行路徑。
高效
多 Agent 並行推進研究、實作與審查。
有趣
豐富、便利的介面互動，讓規劃、Agent 執行與專案工作更容易跟進。

© 2026 HagiCode | Powered By hagilight-starlight@0.21.0 | Branch: main | Commit: 745b50b | Built:

要離開 Awesome Site 嗎？

您即將前往外部網站。我們無法控制其內容或隱私慣例。

目的地

繼續前往網站